🤖 AI

Real-Time Semantic Segmentation with Optimized RetinaNet Architectures for Embedded Automotive Systems

Dit artikel introduceert Opt-RetinaSeg, een geoptimaliseerde architectuur voor semantische segmentatie afgeleid van RetinaNet, die een lichtgewicht backbone, een gestroomlijnde FPN en een driestaps optimalisatiepipeline gebruikt om real-time, nauwkeurige prestaties te behalen op hulpbronnenbeperkte embedded automotive platforms.

Oorspronkelijke auteurs: Sai Sidharth D

Gepubliceerd 2026-07-28

📖 5 min leestijd🧠 Diepgaand

CC0 1.0

Oorspronkelijke auteurs: Sai Sidharth D

Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een auto voor die de wereld niet alleen ziet als een waas van vormen, maar als een gedetailleerde kaart waarbij elke afzonderlijke pixel weet wat het is: een voetganger, een rijstrooklijn, een stopbord of een stuk lucht. Dit is de droom van "semantische segmentatie", de superkracht die zelfrijdende auto's in staat stelt om in een fractie van een seconde levensreddende beslissingen te nemen. Maar hier zit de crux: de hersens achter dit zicht zijn meestal enorme, hongerige computers die enorme stopcontacten en koele, ruime kamers nodig hebben om te draaien. Echte auto's zitten echter vol met piepkleine, energiezuinige computers die zulke zware taken niet aankunnen. De grote vraag in deze hoek van de wetenschap is: hoe krimpen we deze gigantische, slimme hersenen zodat ze in het dashboard van een auto passen zonder dat ze vergeten hoe ze moeten zien? Dit artikel pakt exact dat puzzelstuk aan, door te onderzoeken hoe je een krachtig visueel systeem kunt nemen, het overtollige vet eraf kunt strippen en het razendsnel kunt laten draaien op de kleine chips die in moderne voertuigen te vinden zijn.

De auteurs van dit paper, onder leiding van Sai Sidharth D, besloten een slimme truc toe te passen. Ze namen een beroemd computer vision-ontwerp genaamd RetinaNet — oorspronkelijk gebouwd om objecten te spotten zoals een havik een muis spot — en herverbeelden dit om een volledig beeld van de weg te schilderen in plaats van alleen dingen in kaders te plaatsen. Ze noemen hun nieuwe creatie Opt-RetinaSeg. Denk aan RetinaNet als een hoogwaardige, professionele filmcrew. Het is geweldig in het vinden van dingen, maar het is zwaar en traag. Het team vroeg zich af: "Wat als we de beste instincten van de crew behouden, maar hun zware uitrusting vervangen door een lichte, wendbare rugzak?"

Om dit te doen, hebben ze niet alleen de filmcrew gekrompen; ze hebben de hele operatie herbouwd. Eerst vervingen ze de standaard, zware "backbone" (het deel van het netwerk dat het zware werk doet van het zien) door een hybride lichtgewicht feature extractor. Stel je een bouwploeg voor die een kleine, efficiënte drone gebruikt om de gemakkelijke, open delen van een gebouw te scannen, maar overschakelt naar een sterke, ervaren menselijke ploeg wanneer ze de complexe, lastige hoeken moeten inspecteren. Deze hybride aanpak vermindert het gewicht van het systeem met ongeveer 73% terwijl de ogen scherp blijven.

Vervolgens reorganiseerden ze de communicatie van het team. Het oorspronkelijke ontwerp had een "Feature Pyramid Network" (FPN) dat leek op een manager die briefjes doorgeeft in een zeer hoge, redundante toren. De auteurs realiseerden zich dat de bovenste verdiepingen van deze toren grotendeels leeg waren en alleen maar energie verspillen. Ze hakten de onnodige bovenste niveaus eraf en stroomlijnden de communicatie, waardoor het team sneller en met minder verwarring communiceert. Ze pasten ook de "loss function" aan — de leraar die het werk van de student beoordeelt. In wegscènes zijn er miljoenen pixels voor "weg" en "lucht", maar heel weinig voor "voetganger" of "verkeersbord". De oude leraar zou zich vervelen bij het nakijken van de makkelijke "weg"-pixels en de zeldzame, belangrijke pixels negeren. De nieuwe leraar gebruikt een speciale "focal loss"-strategie, die werkt als een strenge coach die alleen tegen de studenten schreeuwt die moeite hebben met de moeilijke stof (de zeldzame objecten), zodat de auto een kleine fietser niet mist omdat er te veel lege wegen zijn om naar te kijken.

Maar de magie stopte niet bij het ontwerp. Het team paste een drietraps "compressie-pipeline" toe om het model nog kleiner te maken, zoals het inpakken van een koffer voor een reis.

Pruning (Snoeien): Ze sneden 40% van de "channels" (de interne paden) weg die niet veel werk verrichten, zoals het verwijderen van ongebruikte rijstroken van een snelweg.
Quantization (Kwantisering): Ze stapten over van zware, precieze decimalen (floating-point) naar eenvoudige, snelle gehele getallen (INT8), vergelijkbaar met de overstap van een high-definition videostream naar een scherpe, efficiënte standaarddefinitie-stream die direct laadt.
Knowledge Distillation (Kennisdestillatie): Dit is het meest speelse deel. Ze lieten een gigantisch, superintelligent "leraar"-netwerk (een massief ResNet-101 model) een klein, gecomprimeerd "student"-model onderwijzen. De student leerde de intuïtie van de leraar na te bootsen, waardoor de nauwkeurigheid die het mogelijk verloren was tijdens het snoeien en samenpersen, werd hersteld.

De resultaten? Toen ze dit nieuwe systeem testten op echte rijdata (van de Cityscapes en BDD100K datasets) en het draaiden op echte hardware (een NVIDIA Jetson Xavier NX en een Qualcomm QCS610 chip), waren de cijfers indrukwekkend. Het model behaalde 73,9% nauwkeurigheid in het begrijpen van de scène (gemeten als mIoU) terwijl het draaide op 70,4 frames per seconde (FPS). Om dit in perspectief te plaatsen: de originele zware versie haalde slechts ongeveer 9,4 FPS. Dat is een 7,4x versnelling! De modelgrootte kromp ook met 4 keer, waardoor het klein genoeg is voor de computer van een auto zonder veel nauwkeurigheid te verliezen (minder dan 3% daling vergeleken met de zware baseline).

Het paper suggereert dat deze aanpak bewijst dat RetinaNet-afgeleide architecturen, wanneer systematisch geoptimaliseerd, levensvatbare kandidaten zijn voor real-time rijden. Ze lieten zien dat je geen nieuw type brein vanaf nul hoeft uit te vinden; soms moet je gewoon een bewezen model nemen, het een knipbeurt geven, het leren efficiënt te zijn, en het laten draaien op de hardware die al in onze auto's zit. De auteurs merken op dat hoewel het model snel en accuraat is, toekomstig werk kan gaan over het nog meer bewust maken van specifieke auto-chips of het helpen onthouden van het vorige frame om flikkering in video te verminderen. Voor nu hebben ze echter aangetoond dat een lichtgewicht, geoptimaliseerd visueel systeem de weg duidelijk kan zien, snel genoeg om ons veilig te houden, en klein genoeg om in het handschoenenkastje te passen.

Technische Samenvatting: Real-time Semantische Segmentatie met Geoptimaliseerde RetinaNet-architecturen voor Embedded Automotive Systemen

Probleemstelling

Geavanceerde rijassistentiesystemen (ADAS) en autonome voertuigen vereisen een dichte, real-time scène-begrip om veilige, lage-latentie beslissingen te kunnen nemen. Semantische segmentatie, waarbij een klasse-label aan elke pixel wordt toegewezen, is cruciaal voor taken zoals vrije-ruimte schatting en rijstrookdetectie. Echter, state-of-the-art segmentatienetwerken zijn doorgaans geoptimaliseerd voor high-end GPU's, waardoor ze niet voldoen aan de strikte eisen voor latentie, geheugen en vermogen van embedded automotive Electronic Control Units (ECU's) en System-on-Chip (SoC) platformen. Bovendien presenteren automotive scènes ernstige voorgrond-achtergrond klasse-imbalansen (bijv. uitgestrekte weg/lucht gebieden versus zeldzame voetgangers) en extreme schaalvariaties, wat standaard detectie- en segmentatiearchitecturen uitdaagt.

Methodologie

Het paper stelt Opt-RetinaSeg voor, een semantische segmentatie-architectuur afgeleid van het RetinaNet detectie-framework, die specifiek is gestructureerd en geoptimaliseerd voor hulpbron-beperkte embedded hardware. De methodologie bestaat uit vier kerncomponenten:

1. Architectuurontwerp

Lichtgewicht Hybride Backbone: In plaats van de standaard ResNet-50 construeren de auteurs een hybride backbone. Vroege stadia (C2–C3) maken gebruik van depthwise-separable convoluties om de berekening te verminderen waar de ruimtelijke resolutie het hoogst is. Latere stadia (C4–C5) gebruiken standaard residual bottleneck blocks met full-rank 3×3 convoluties om rijke cross-channel mixing voor abstracte feature aggregatie te waarborgen. Squeeze-and-Excitation (SE) blokken worden na elk stadium ingevoegd om de kanaal-belangrijkheid te herkalibreren.
Hergestructureerde Feature Pyramid Network (FPN): Aangepast van de op detectie gerichte FPN van RetinaNet, behoudt de segmentatieversie alleen de niveaus P2–P5 en laat de grovere niveaus (P6–P7) vallen die weinig bijdragen aan dichte pixelvoorspelling. De FPN gebruikt 1×1 convoluties voor laterale verbindingen en nearest-neighbor upsampling gevolgd door 3×3 depthwise-separable convoluties om aliasing te onderdrukken, wat de FPN-berekening met ~35% vermindert.
Compacte Segmentatiekop: Piramide-niveaus worden geupsampled naar een gemeenschappelijke resolutie (1/4 inputgrootte), geconcateneerd en verwerkt door twee 3×3 convolutionele lagen en een 1×1 classificatielaag.

2. Klasse-gebalanceerde Verliesfunctie

Om de ernstige pixel-niveau klasse-imbalans in wegscènes aan te pakken, introduceren de auteurs een verliesfunctie geïnspireerd door focal loss:
$L = -\sum_{c=1}^{C} \alpha_c (1 - p_c)^\gamma y_c \log(p_c)$

$\alpha_c$ (Klasse-gewicht): Een afgeknipte inverse-frequentieratio die zeldzame klassen (bijv. voetgangers, verkeersborden) zwaarder weegt, terwijl het gradiëntexplosie voor extreem zeldzame subtypes voorkomt via een afknijpgrens ( $\alpha_{max} = 50$ ).
$\gamma$ (Focus-parameter): Ingesteld op 2, dit weegt goed geclassificeerde pixels lager, waardoor het netwerk zich kan concentreren op moeilijke voorbeelden en zeldzame klassen.

3. Drie-fasen Optimalisatiepipeline

Om aan de embedded deployment-doelstellingen te voldoen, wordt een post-training compressiepipeline toegepast:

Gestructureerde Pruning: 40% van de kanalen met de laagste L1-norm belangrijkheidsscores wordt verwijderd, gevolgd door 15 epochs aan fine-tuning.
INT8 Post-Training Quantization: Gewichten en activaties worden gekwantiseerd naar 8-bit integers met kalibratie op een subset van trainingsafbeeldingen, waarbij gebruik wordt gemaakt van per-kanaal schaling om fouten te minimaliseren.
Knowledge Distillation: Het geprunede en gekwantiseerde "student"-netwerk wordt gefinetuned met een gecombineerde verliesfunctie van de segmentatietaak en de Kullback-Leibler (KL) divergentie tegenover een hoog-capacitief ResNet-101 "teacher"-netwerk om de nauwkeurigheid te herstellen die verloren is gegaan tijdens compressie.

4. Deployment

De geoptimaliseerde modellen worden gecompileerd voor specifieke hardware:

NVIDIA Jetson Xavier NX: Geëxporteerd naar ONNX en gecompileerd via TensorRT (v8.5) voor Volta GPU executie.
Qualcomm QCS610: Geconverteerd naar DLC-formaat via de Qualcomm SNPE SDK (v2.x) voor executie op de Hexagon NPU.

Belangrijkste Bijdragen

Opt-RetinaSeg Architectuur: Een nieuw segmentatieontwerp dat de RetinaNet FPN hergebruikt met een hybride backbone en gedecoupleerde kop, wat een balans bereikt tussen computationele efficiëntie en representatieve capaciteit.
Klasse-gebalanceerde Focal Loss: Een op maat gemaakte verliesfunctie specificaal ontworpen om de extreme voorgrond-achtergrond imbalans in automotive datasets te verzachten zonder de training te destabiliseren.
Verenigde Compressiepipeline: Een systematische integratie van gestructureerde pruning, INT8 quantisatie en knowledge distillation, die aantoont dat deze technieken gezamenlijk kunnen worden toegepast op FPN-gebaseerde segmenters met minimale nauwkeurigheidsdegradatie.
Uitgebreide Embedded Evaluatie: Uitgebreide benchmarking op de Cityscapes en BDD100K datasets over twee verschillende embedded platformen (NVIDIA GPU en Qualcomm NPU), wat een realistische beoordeling geeft van de real-world deployment prestaties.

Resultaten

Geëvalueerd op de Cityscapes en BDD100K datasets, vertoont het voorgestelde model significante verbeteringen in de nauwkeurigheid-latentie trade-off:

Prestaties: Het uiteindelijke geoptimaliseerde model bereikt 73.9% mIoU bij 70.4 FPS op de NVIDIA Jetson Xavier NX.
Efficiëntie: Vergeleken met een ResNet-50 baseline biedt het model een 7.4x versnelling in inferentie en een 4x reductie in modelgrootte (van 27.4 MB naar 7.1 MB), met minder dan 3% nauwkeurigheidsdegradatie (76.8% vs. 73.9% mIoU).
Vergelijking: Opt-RetinaSeg presteert beter dan gevestigde lichtgewicht methoden zoals BiSeNetV2 (72.6% mIoU, 47.3 FPS) en ICNet in zowel nauwkeurigheid als throughput op dezelfde hardware.
Vermogen: Op de Jetson Xavier NX opereert het model binnen een 15W vermogensbudget (gemeten op 11.8W) zonder thermische throttling over langdurige workloads.

Betekenis en Claims

Het paper claimt dat RetinaNet-afgeleide architecturen, wanneer systematisch gestructureerd en geoptimaliseerd, levensvatbare kandidaten zijn voor real-time semantische segmentatie in embedded automotive perceptie-pipelines. Het werk demonstreert dat het mogelijk is om competitieve nauwkeurigheid (nabij zware ResNet-50 baselines) te bereiken terwijl aan de strikte latentie- en vermogensbudgetten van automotive ECU's wordt voldaan. De auteurs positioneren hun aanpak als een praktische oplossing voor het implementeren van dichte pixel-wijze predictie op huidige generatie automotive SoC's, waarmee de kloof tussen hoog-nauwkeurige research modellen en productie-klare embedded systemen wordt overbrugd. Toekomstig werk wordt geïdentificeerd als het verkennen van hardware-bewuste neurale architectuur zoektochten (NAS), temporele consistentie voor videostreams, en joint detection-and-segmentation multi-task heads.