BlankSkip: Early-exit Object Detection onboard Nano-drones

1. Il Problema

L'implementazione di reti neurali profonde (DNN) per la visione artificiale a bordo di nano-drone (UAV di dimensioni ridotte, diametro < 10 cm) è fondamentale per l'autonomia, ma è fortemente limitata dalle risorse computazionali estremamente ridotte delle loro piattaforme hardware.

• Vincoli Hardware: Piattaforme come il Bitcraze Crazyflie 2.1 (con SoC GAP8) offrono circa 10 MiB di memoria RAM, un budget di potenza di circa 1 W e frequenze di clock basse (centinaia di MHz).
• Inefficienza degli approcci attuali: Le soluzioni esistenti per l'Object Detection (OD) si basano su modelli compressi (es. MobileNet-SSD) che applicano un grafo computazionale fisso a ogni frame, indipendentemente dal contenuto.
• Il contesto reale: In scenari di esplorazione, una frazione significativa dei frame catturati può essere "vuota" (senza oggetti di interesse). Elaborare questi frame con la pipeline completa di rilevamento spreca risorse computazionali preziose, limitando il frame rate effettivo e la reattività del drone.

2. Metodologia: BLANKSKIP

Gli autori propongono BLANKSKIP, un meccanismo di Early-Exit (EE) adattivo specifico per l'Object Detection su nano-drone. L'idea centrale è sfruttare la sparsità della presenza di oggetti tra i frame.

• Architettura: Il sistema decompone il problema in due sottocompiti sequenziali all'interno di un'unica rete:
  1. Classificazione Binaria (Early-Exit): Una branca ausiliaria leggera (auxiliary branch) viene attaccata a uno strato intermedio del backbone (MobileNetV2). Questa branca classifica il frame come "vuoto" (nessun oggetto) o "non vuoto".
  2. Object Detection: La pipeline completa di rilevamento (SSD) viene eseguita solo se la branca ausiliaria determina che il frame contiene oggetti di interesse.
• Meccanismo di Decisione: Se la probabilità che il frame sia vuoto supera una soglia di confidenza $\tau$, l'inferenza si interrompe immediatamente, evitando il resto del backbone e le teste di rilevamento.
• Addestramento:
  • La rete è addestrata end-to-end con una funzione di perdita composita: $L_{total} = L_{loc} + L_{cls} + \lambda \cdot L_{EE}$.
  • $L_{EE}$ è una cross-entropia binaria pesata che penalizza gli errori della branca di uscita.
  • Vengono utilizzati pesi di classe ($w_0, w_1$) per bilanciare il trade-off tra risparmio computazionale (evitare falsi negativi, cioè frame vuoti elaborati inutilmente) e affidabilità del rilevamento (evitare falsi positivi, cioè saltare frame con oggetti).
• Ottimizzazione Iperparametrica (HPO): La scelta della posizione dello strato di uscita, dei parametri di addestramento e della soglia $\tau$ è formulata come un problema di ottimizzazione bayesiana (usando TPE/Optuna) per trovare il punto ottimale tra accuratezza e risparmio computazionale.
• Deploy: Il modello viene quantizzato a 8-bit (Quantization-Aware Training - QAT) e compilato per l'architettura GAP8 utilizzando il compilatore open-source DORY.

3. Contributi Chiave

1. Proposta BLANKSKIP: Un meccanismo di Early-Exit per OD che utilizza un task di classificazione binaria semplice per identificare i frame vuoti, riducendo la latenza media senza richiedere modelli multipli.
2. Ottimizzazione End-to-End: Addestramento congiunto che ottimizza la qualità del rilevamento e l'affidabilità dell'uscita anticipata, con controllo esplicito sul trade-off tramite pesi di classe.
3. Ottimizzazione Bayesiana: Formulazione del problema di posizionamento della branca, iperparametri e soglia come un problema di HPO bayesiano per gestire le interdipendenze complesse.
4. Validazione su Hardware Reale: Implementazione e test su un vero nano-drone (Crazyflie 2.1) con SoC GAP8, dimostrando la fattibilità pratica.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su due dataset: Himax EE (dataset specifico per nano-drone, arricchito con frame vuoti sintetici) e Cityscapes (dataset urbano complesso).

Su Himax EE (Dataset Nano-drone):

• Throughput: BLANKSKIP raggiunge un 1.86 FPS in media, un miglioramento del 24% rispetto al modello statico MobileNet-SSD 1.0x (1.50 FPS).
• Accuratezza: Si registra una diminuzione minima della mAP (Mean Average Precision) di soli 0.015 (da 0.555 a 0.540) rispetto al modello statico completo.
• Risparmio Computazionale:
  • Il 39.8% dei frame viene saltato (early-exit).
  • Il costo medio di inferenza (MAC) si riduce del 22.5%.
  • Quando l'early-exit viene attivato, il costo crolla del 57.9% rispetto alla pipeline completa.
• Posizionamento Ottimale: La branca posizionata allo stadio 4 (layer 9) del backbone ha mostrato il miglior compromesso, offrendo un'accuratezza di classificazione del 94.4% per i frame vuoti.

Su Cityscapes (Dataset Urbano):

• Il metodo si generalizza bene: pur con un dataset più complesso e denso, si ottiene un risparmio computazionale del 12.1% saltando il 26.7% dei tile (patch) di immagine.
• La mAP scende da 0.229 a 0.204 (-11%), un compromesso accettabile dato il guadagno in efficienza.

Deploy su Hardware:

• Il modello quantizzato a 8-bit gira su GAP8 mantenendo un'efficienza elevata (4.87 MAC/ciclo) e confermando che l'overhead della branca aggiuntiva è trascurabile (solo 0.078M parametri in più, ~1.1% in totale).

5. Significato e Impatto

Il lavoro di BLANKSKIP è significativo per diversi motivi:

• Autonomia Reale: Dimostra che è possibile eseguire visione artificiale complessa su hardware estremamente limitato (nano-drone) senza affidarsi al cloud, abilitando scenari di esplorazione e ricerca e salvataggio in ambienti interni.
• Efficienza Dinamica: Supera i limiti dei modelli statici adattando il carico computazionale al contenuto del frame, liberando risorse per altre attività critiche come la navigazione e l'evitamento ostacoli.
• Fattibilità Hardware: Fornisce una prova concreta che tecniche avanzate di inferenza adattiva (spesso studiate su GPU) possono essere implementate con successo su microcontrollori embedded a bassissimo consumo.
• Scalabilità: La capacità di funzionare sia su dataset specifici per droni che su dataset urbani complessi suggerisce che l'approccio è robusto e trasferibile ad altri scenari di edge computing.

In sintesi, BLANKSKIP offre un punto di compromesso (Pareto-optimal) tra accuratezza e complessità computazionale, permettendo ai nano-drone di "respirare" computazionalmente quando l'ambiente è vuoto, migliorando così la loro capacità di reazione e autonomia operativa.