Early Exiting U-Net for Efficient Processing on UAVs: A Case Study in Environmental Monitoring

Probleemstelling

Olielekken vormen een ernstige bedreiging voor mariene ecosystemen en kusteconomies. Vroege schatting van de dikte van een olievlek is cruciaal voor effectieve bestrijding. Onbemande luchtvaartuigen (UAV's) zijn ideaal voor monitoring vanwege hun lage kosten en hoge resolutie, maar ze hebben beperkte rekenkracht, geheugen en energiebudgetten.

Bestaande oplossingen zoals het standaard U-Net-model zijn te groot voor UAV-hardware. Hoewel een gecomprimeerde variant, de Tiny U-Net, succesvol is geïmplementeerd op FPGA-platforms (met een IoU van 0,79), verwerkt deze architectuur elke radarafbeelding via het volledige inferentieproces. Dit leidt tot onnodige rekentijd en energieverbruik, zelfs bij eenvoudige scènes waar een snellere, minder diepe analyse voldoende vertrouwen zou opleveren.

Methodologie

De auteurs introduceren een Early Exiting (EE) mechanisme in de Tiny U-Net-architectuur om deze inefficiëntie aan te pakken.

1. Architectuur-aanpassing:

   • Er wordt een extra "early exit"-tak toegevoegd tussen het tweede convolutieblok en de bottleneck-laag van de Tiny U-Net.
   • Normaal gesproken doorloopt de data het volledige netwerk. Bij de EE-tak wordt na het tweede blok een tussentijdse voorspelling gedaan.
   • Op basis van deze voorspelling wordt een vertrouwensscore (confidence score) berekend. Als deze score een vooraf ingestelde drempelwaarde ($T$) overschrijdt, wordt de inferentie hier gestopt en wordt de output teruggegeven. Anders wordt het netwerk verder doorlopen tot het einde.

2. Vertrouwensberekening:

   • De score ($C_M$) wordt berekend als het gemiddelde van de maximale softmax-waarden over alle pixels in de outputkaart.
   • Deze drempelwaarde $T$ is dynamisch instelbaar tijdens de inferentie en vereist geen hertraining van het model.

3. Training en Data:

   • Het model is getraind op een synthetische dataset van 555 olielek-scenario's (504 trainen, 51 testen) met een breedband-radar (4–12 GHz).
   • Er is gebruikgemaakt van twee forward passes per trainingsinstance (één via de volledige weg, één via de early exit) om de gewichten van beide paden simultaan te optimaliseren.
   • De training vond plaats met PyTorch en BREVITAS voor 8-bit integer quantization-aware training.

Belangrijkste Bijdragen

• Integratie van Early Exiting in Tiny U-Net: De eerste toepassing van dit mechanisme specifiek voor UAV-gedreven olielek-dikte-schatting, waarbij een balans wordt gezocht tussen modelgrootte en adaptieve rekentijd.
• Adaptieve Inference: Een systeem dat de complexiteit van de inferentie aanpast aan de moeilijkheidsgraad van de inputscène, waardoor eenvoudige gevallen sneller worden verwerkt.
• Hardware-bewust ontwerp: De methode is specifiek ontworpen voor FPGA-implementaties om het dynamische stroomverbruik te verlagen, wat direct de vliegtijd van UAV's beïnvloedt.

Resultaten

De experimenten tonen een duidelijke afweging (trade-off) tussen prestaties (IoU) en efficiëntie (aantal vermenigvuldigingen en stroomverbruik):

• Prestaties (IoU):

  • De baseline Tiny U-Net bereikt een IoU van 0,79.
  • Met de Early Exit-architectuur kan een vergelijkbare prestatie worden behaald. Bij een agressieve drempel (waarbij alle samples de early exit gebruiken) daalt de IoU naar 0,76 (een daling van slechts ~2-3%).
  • Bij een tussenliggende drempel (bijv. $T = 0,945$) wordt een IoU van 0,77 behaald, wat slechts een daling van 2% is ten opzichte van de baseline.

• Rekenkosten en Stroomverbruik:

  • Bij een agressieve drempel (alleen early exit) wordt het aantal vermenigvuldigingen (MACs) met 42,22% gereduceerd ten opzichte van de baseline.
  • Het geschatte dynamische stroomverbruik daalt van 124 mW (baseline bij 100x100 resolutie) naar 72 mW voor de early exit-paden.
  • Een drempel van $T=0,945$ biedt een reductie van 22,64% in vermenigvuldigingen en een IoU-daling van slechts 2%, wat als een optimale instelling wordt beschouwd.

• Kwaliteit van Output:

  • Kaarten gegenereerd via de early exit zijn iets ruwer (meer ruis) en hebben minder scherpe randen dan de volledige pass, maar zijn voldoende voor ruwe dikteschatting. De full-pass is beter in het onderscheiden van zeer dunne lagen (0 vs 1 mm).

Betekenis en Conclusie

Dit werk demonstreert dat Early Exiting een krachtige techniek is om deep learning-modellen op energie-beperkte UAV-platforms efficiënter te maken.

• Operationeel Voordeel: Door het gemiddelde stroomverbruik en de rekentijd te verlagen, kan de vliegtijd van UAV's worden verlengd, wat essentieel is voor langdurige monitoringmissies.
• Praktische Toepasbaarheid: De methode maakt real-time edge-AI voor radar-sensoren haalbaar zonder dat er zware hardware nodig is.
• Beperkingen en Toekomst: De huidige resultaten zijn gebaseerd op synthetische data; validatie op echte radar-data is noodzakelijk. Ook wordt er gesuggereerd om de drempelwaarde dynamisch aan te passen aan omgevingscondities en de hardware-implementatie op FPGA verder te optimaliseren om statisch stroomverbruik te minimaliseren.

Kortom, de auteurs hebben bewezen dat het slimme "stoppen" van inferentie bij voldoende vertrouwen de computatiekosten met bijna de helft kan verlagen met minimaal verlies aan nauwkeurigheid, wat een grote stap is voor autonome milieumonitoring.