Nano-U: Efficient Terrain Segmentation for Tiny Robot Navigation

Technische Samenvatting: Nano-U: Efficiënte Terreinsegmentatie voor Navigatie van Kleine Robots

Probleemstelling
Terreinsegmentatie is een cruciale perceptie-capaciteit voor autonome mobiele robots die opereren in ongestructureerde buitenomgevingen, zoals landbouwvelden en natuurlijke paden. Hoewel deep learning-modellen de standaard zijn geworden voor robuuste segmentatie, vereisen state-of-the-art architecturen (bijv. U-Net, DeepLabV3) doorgaans honderden miljoenen parameters en GPU-gebaseerde inferentie. Deze middelenbehoeften zijn incompatibel met de strikte geheugenbudgetten van enkele kilobytes en de milliwatt-vermogensbeperkingen van microcontrollers (MCU's) die worden gebruikt in kleine, goedkope robotplatforms. Bestaande TinyML-oplossingen vertrouwen vaak op dedicated ML-accelerators of richten zich op eenvoudigere classificatietaken, waardoor er een gat ontstaat voor robuuste, binaire begaanbaarheidsschatting op algemene, betaalbare hardware.

Methodologie
De auteurs stellen Nano-U voor, een volledig framework voor het implementeren van binaire terreinsegmentatie op een goedkope ESP32-S3 microcontroller. De aanpak integreert drie kerncomponenten:

1. Netwerkarchitectuur (Nano-U):

   • Geïnspireerd door de U-Net architectuur, is Nano-U een zeer compact encoder-decoder netwerk ontworpen om binnen de 320 KB interne RAM van de ESP32-S3 te passen.
   • Het verwerkt 60×80×3 kleurafbeeldingen.
   • Om het geheugengebruik te minimaliseren, laat het netwerk standaard skip-verbindingen weg, die RAM zouden vereisen om encoder feature maps op te slaan tot het decoder-stadium. In plaats daarvan vertrouwt het op een zevenfasige pipeline met behulp van depthwise separable convolutions en nearest-neighbor upsampling.
   • Het uiteindelijke model bevat slechts 3.357 parameters (na layer fusion), wat ongeveer 33 KB inneemt in INT8-precisie.

2. Trainingsstrategie (Quantization-Aware Distillation - QAD):

   • Om de minimale capaciteit van het netwerk en de nauwkeurigheidsdegradatie die typisch geassocieerd wordt met INT8-kwantisatie te compenseren, gebruiken de auteurs een single-pass Quantization-Aware Distillation (QAD) pipeline.
   • Knowledge Distillation: Een groot "teacher" netwerk (BU-Net, ~12,85M parameters) stuurt de student (Nano-U) aan. De distillatieverlies gebruikt temperature scaling in de sigmoid-ruimte om de outputdistributie te verzachten, waardoor gradiëntsignalen op ambigue grenspixels worden blootgesteld die harde labels zouden onderdrukken.
   • Quantization-Aware Training (QAT): Fake-kwantisatie nodes worden vanaf de eerste epoch geïnjecteerd om 8-bit integer rekenkunde te simuleren tijdens de forward pass, terwijl volledige precisie gradiënten behouden blijven via een straight-through estimator.
   • De totale verliesfunctie combineert binary cross-entropy (harde labels) en mean squared error (zachte distillatie), waarbij gewicht wordt toegekend aan het prioriteren van precisie voor veiligheidskritische navigatie.

3. Deployment Framework (MicroFlow):

   • Het gekwantiseerde model wordt geïmplementeerd met behulp van MicroFlow, een compiler-gebaseerde inference engine geschreven in Rust.
   • In tegenstelling tot interpreter-gebaseerde oplossingen (bijv. TensorFlow Lite Micro), lost MicroFlow de netwerktopologie op compile-tijd op met behulp van procedurele macros. Dit elimineert operator-registers, dynamische geheugenallocatie en de overhead van de interpreter.
   • Het systeem draait in een no-std omgeving op bare metal, waarbij alleen noodzakelijke peripherals worden geactiveerd en OS-taken (bijv. FreeRTOS) worden vermeden, waardoor het beschikbare RAM maximaliseert en het energieverbruik minimaliseert.

Belangrijkste Bijdragen

• Nano-U Design: Een nieuw binair segmentatienetwerk met ~3.000 parameters dat binnen de strikte geheugenbeperkingen van commodity MCU's past, terwijl het dense output-capaciteiten behoudt.
• QAD Pipeline: Een verenigde trainingsregime die kennisdistillatie combineert met quantization-aware training, waardoor een klein INT8-model een hoge nauwkeurigheid kan bereiken op uitdagende landbouwdatasets.
• Compiler-gebaseerde Executie: Een uitbreiding van de MicroFlow engine om de specifieke operators te ondersteunen die vereist zijn voor Nano-U (MaxPool2D, nearest-neighbor upsampling), wat een energie-efficiënt uitvoeringspad demonstreert zonder dedicated ML-accelerators.
• Datasets en Release: De introductie van TinyAgri, een aangepaste dataset verzameld van een kleine rover in landbouwvelden, en de publieke release van het Nano-U model en de dataset.

Experimentele Resultaten
Het framework werd geëvalueerd op twee datasets: de Botanic Garden dataset (gestructureerde paden) en TinyAgri (dichte vegetatie, uitdagende lichtomstandigheden).

• Nauwkeurigheid:

  • Op Botanic Garden bereikte de INT8 Nano-U 87,0% mIoU, wat overeenkomt met zijn FP32 tegenhanger en een verwaarloosbare degradatie vertoont vergeleken met de teacher (95,1% mIoU).
  • Op de meer uitdagende TinyAgri dataset bereikte het INT8-model 70,0% mIoU (vs. 88,3% voor FP32). Hoewel details bij de grenzen verloren gingen, identificeerde het model succesvol de kerngebieden die begaanbaar zijn, waarbij een F1-score van 0,82 werd behouden.
  • Het model vertoonde een hoge precisie (0,96 op Botanic Garden, 0,81 op TinyAgri) met een gematigde recall, wat wijst op een conservatieve onder-segmentatiestrategie die gunstig is voor de veiligheid.

• Hardwareprestaties (ESP32-S3-CAM):

  • Latentie: De inferentietijd was 844 ms (ongeveer 1,2 FPS).
  • Geheugen: Het piekgebruik van de interne Data RAM was 257 KB, waardoor ~60 KB vrij bleef.
  • Vermogen: Het actieve inferentievermogen was 470 mW (een overhead van 333 mW boven de idle baseline), wat resulteerde in een energieverbruik van 281 mJ per inferentie.
  • Deze metrieken demonstreren dat de compiler-gebaseerde aanpak de overhead aanzienlijk vermindert in vergelijking met standaard interpreter-gebaseerde implementaties.

Betekenis en Beperkingen
Het artikel stelt dat dit werk de haalbaarheid aantoont van real-time binaire terreinsegmentatie op commodity microcontrollers zonder gespecialiseerde accelerators. De combinatie van QAD en compiler-gebaseerde inferentie stelt kleine robots in staat om perceptietaken uit te voeren die voorheen beperkt waren tot grotere platforms.

De auteurs erkennen specifieke beperkingen:

• Latentie: Bij ~1,2 FPS is het systeem geschikt voor langzaam bewegende grondplatforms, maar onvoldoende voor snellere voertuigen of taken die een fijne temporele resolutie vereisen.
• Resolutie: De 60×80 outputresolutie wordt bepaald door geheugenbeperkingen in plaats van taakeisen; een hogere resolutie zou de precisie van padplanning verbeteren.
• Generalisatie: Het model is getraind en getest op specifieke datasets; generalisatie over diverse vegetatietypen, lichtomstandigheden en bodustexturen vereist verdere validatie.
• Pipeline Integratie: Huidige benchmarks isoleren de inferentielatentie door afbeeldingen uit PSRAM te laden; een volledig closed-loop systeem met live camerabeelden en robotbesturing moet nog worden gedemonstreerd.