BlankSkip: Early-exit Object Detection onboard Nano-drones

Probleemstelling

Het implementeren van computer-vision Deep Neural Networks (DNN's) voor objectdetectie (OD) op nano-drone-platforms (zoals de Bitcraze Crazyflie 2.1) is essentieel voor autonome vlucht, maar wordt beperkt door extreem strenge hardware-beperkingen. Deze platforms hebben vaak minder dan 10 MiB RAM, een vermogensbudget van ongeveer 1 Watt en een lage kloksnelheid.

Bestaande oplossingen focussen op het comprimeren van modellen (via kwantisatie, pruning of lichte architecturen), maar deze gebruiken een vast computationeel graf voor elke ingangsfoto. Dit is inefficiënt in exploratiescenario's waar een groot deel van de beelden "leeg" is (geen objecten van belang). Het verwerken van deze lege frames met de volledige detectiepijplijn verspilt waardevolle rekkracht en verhoogt de latentie, wat de reactievermogen van de drone tijdens snelle manoeuvres belemmert. Hoewel "Early Exit" (EE) methoden succesvol zijn voor beeldclassificatie, is hun toepassing op dichte taken zoals objectdetectie op zwaar beperkte platforms nog onvoldoende onderzocht.

Methodologie: BLANKSKIP

De auteurs stellen BLANKSKIP voor, een adaptief netwerk dat gebruikmaakt van de sparsiteit van objecten in videoframes. In plaats van elke frame volledig te verwerken, wordt het probleem opgesplitst in twee sequentiële sub-taken:

1. Binair Classificatie (Early Exit): Een lichtgewicht hulpvertakking (auxiliary branch) wordt toegevoegd op een tussenliggende laag van de backbone (MobileNetV2). Deze tak bepaalt of een frame objecten bevat ("non-empty") of niet ("empty").
2. Objectdetectie: Alleen als de tak het frame als "non-empty" classificeert (boven een drempelwaarde $\tau$), wordt de volledige detectiepijplijn (SSD-head) uitgevoerd. Bij een "empty" classificatie stopt de inferentie vroeg, wat aanzienlijke rekkracht bespaart.

Technische Kenmerken:

• Architectuur: De EE-tak bestaat uit twee convolutielagen, Global Average Pooling en twee volledig verbonden lagen. Deze voegt slechts 1,1% tot 3,0% extra parameters toe aan het basismodel.
• Training: Het model wordt end-to-end getraind met een samengestelde verliesfunctie:
  $$L_{total} = L_{loc} + L_{cls} + \lambda \cdot L_{EE}$$
  Waarbij $L_{EE}$ een gewogen binary cross-entropy is. Class-weights ($w_0, w_1$) stellen de gebruiker in staat om de afweging te sturen tussen het vermijden van gemiste detecties (false positives in de EE-tak) en het maximaliseren van energiebesparing.
• Hyperparameter-Optimalisatie (HPO): De plaatsing van de tak, leertempo's, verliesgewichten en de drempelwaarde $\tau$ worden geoptimaliseerd via Bayesiaanse Optimalisatie (met TPE in Optuna) om de beste balans te vinden tussen mAP, rekenkosten en EE-accuraatheid.
• Implementatie: Voor de deploy op de GAP8 SoC (zonder Floating Point Unit) worden alle modellen gekwantiseerd naar 8-bit integer (Quantization-Aware Training) en gecompileerd met de DORY compiler.

Belangrijkste Bijdragen

1. BLANKSKIP Architectuur: Een effectieve EE-mechanisme voor objectdetectie dat frames zonder objecten filtert voordat de zware detectiepijplijn wordt aangeroepen.
2. Geoptimaliseerde Training: Een end-to-end trainingsstrategie met een samengestelde loss-functie en class-weights om de afweging tussen detectiekwaliteit en rekbesparing te beheersen.
3. Bayesiaanse HPO: Een formulering van het ontwerpprobleem (takplaatsing, hyperparameters, drempels) als een Bayesiaanse optimalisatieprobleem om de complexe afhankelijkheden tussen deze variabelen op te lossen.
4. Real-world Deploy: Succesvolle implementatie op de Bitcraze Crazyflie 2.1 met een 8-bit gekwantiseerd model, wat een praktische validatie biedt voor nano-drone toepassingen.

Resultaten

De methode is getest op twee datasets: Himax EE (specifiek voor nano-drone, aangepast met synthetische lege frames) en Cityscapes (complexere stedelijke dataset).

Himax EE Resultaten:

• Doorvoersnelheid: Op de Crazyflie 2.1 (GAP8 SoC) bereikte BLANKSKIP een gemiddelde doorvoersnelheid van 1,86 FPS, een verbetering van 24% ten opzichte van de statische baseline (1,50 FPS).
• Accuraatheid: De daling in mean Average Precision (mAP) was minimaal, slechts 0,015 (van 0,555 naar 0,540).
• Rekenkosten: Er werd een gemiddelde reductie van 22,5% in Multiply-And-Accumulate (MAC) operaties per frame bereikt. Bij een "early exit" daalt de kost tot 230 MMACs (een reductie van 57% ten opzichte van de volledige pass).
• Skip-ratio: Ongeveer 39,8% van de frames kon worden overgeslagen.

Cityscapes Resultaten:

• Op de complexere Cityscapes dataset (met hogere resolutie en meer objecten) werd een mAP van 0,204 behaald (tegenover 0,229 voor de statische baseline, een daling van 11%).
• Er werd 26,7% van de tiles overgeslagen met een reductie van 12,1% in gemiddelde MACs.
• Dit toont aan dat de methode generaliseert naar complexere scenario's, hoewel de "leegte" van frames hier lager is.

Validatie op echte data:
Bij toepassing op een echt opgenomen dronevideo (met 71,7% lege frames) bereikte het systeem een doorvoersnelheid van 2,07 FPS (37,7% verbetering), wat aantoont dat de voordelen in realistische scenario's nog groter kunnen zijn dan in de geteste datasets.

Betekenis en Conclusie

BLANKSKIP demonstreert dat adaptieve inferentie (Early Exit) haalbaar en effectief is voor objectdetectie op extreem beperkte nano-drone-platforms. Door slim gebruik te maken van de inhoud van de beelden, kan de drone meer frames per seconde verwerken zonder significante verlies in detectiekwaliteit. Dit stelt de drone in staat sneller te reageren op dynamische omgevingen en laat ruimte over voor andere kritieke taken zoals navigatie en obstakelontwijking. De studie vult een belangrijke lacune op in de literatuur door EE-methoden succesvol toe te passen op dichte taken (objectdetectie) in plaats van alleen classificatie, specifiek gericht op de realiteit van embedded AI-hardware.