⚡ electrical engineering

Uncertainty in Real-Time Semantic Segmentation on Embedded Systems

Dit artikel presenteert een methode die diepe kenmerkextractie combineert met Bayesiaanse regressie en momentenpropagatie om real-time semantische segmentatie op ingebouwde systemen onzekerheidsbewust te maken zonder de voorspellende prestaties te verstoren.

Oorspronkelijke auteurs: Ethan Goan, Clinton Fookes

Gepubliceerd 2026-04-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ethan Goan, Clinton Fookes

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een slimme camera hebt die voor een zelfrijdende auto werkt. Deze camera moet in een fractie van een seconde kunnen zeggen: "Dat is een auto, dat is een voetganger, en dat is de weg." Dit heet semantische segmentatie.

Het probleem is dat deze camera's vaak op kleine, krachtige computers zitten (zoals in een auto of robot), die niet zo sterk zijn als de enorme servers in een datacenter. Ze moeten snel werken, maar ze mogen ook niet "dom" zijn. Ze moeten weten wanneer ze het niet zeker weten.

Dit papier van Ethan Goan en Clinton Fookes lost precies dit probleem op. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Zekere" maar "Dwaze" Camera

Normale slimme camera's zijn als een student die alles uit zijn hoofd heeft geleerd. Als hij een vraag ziet, geeft hij direct het antwoord. Maar als hij een vraag krijgt waar hij nooit over heeft nagedacht (bijvoorbeeld een vreemd gekleurd voertuig in mist), geeft hij toch een antwoord, alsof hij het zeker weet. Dat is gevaarlijk.

Om te weten hoe zeker een model is, gebruiken wetenschappers vaak een methode waarbij ze het model duizenden keren laten "gokken" met willekeurige variaties. Dit is als een student die een examen 1000 keer doet om te zien hoe vaak hij hetzelfde antwoord geeft. Dat kost te veel tijd en energie. Een auto kan niet wachten tot de computer 1000 keer nadenkt; hij moet nu reageren.

2. De Oplossing: De Twee-Delig Team

De auteurs van dit papier hebben een slimme truc bedacht. Ze splitsen het probleem op in twee teams:

Team 1: De Snelheidsduivel (Deterministisch)
Dit is het grootste deel van het brein van de camera. Het kijkt naar de afbeelding en haalt alle details eruit (vormen, kleuren, randen). Dit team is al getraind, werkt razendsnel en doet dit op een vaste manier. Het is als een ervaren schilder die snel een schets maakt.
Team 2: De Twijfelaar (Probabilistisch)
Dit is een heel klein, lichtgewicht team dat alleen kijkt naar het laatste stukje van de schets. In plaats van één antwoord te geven, geeft dit team een berekening van twijfel. Het zegt niet alleen "Dat is een auto", maar "Dat is waarschijnlijk een auto, maar ik heb 10% twijfel omdat het mistig is."

3. Hoe werkt de "Twijfel" zonder te vertragen?

In plaats van het hele model 1000 keer te laten draaien (wat te traag is), gebruiken ze een wiskundige truc genaamd Momenten-propagatie.

De Analogie van de Golf:
Stel je voor dat je een golfbeweging tekent. Je hoeft niet elke waterdruppel te meten. Je kunt de golf zelf beschrijven met twee getallen: hoe hoog de golf is (gemiddelde) en hoe breed hij is (variatie/onzekerheid).
De auteurs laten hun model niet duizenden keren gokken. In plaats daarvan berekenen ze direct hoe breed de "golf van twijfel" is. Ze gebruiken wiskunde om direct te zeggen: "Hier is het antwoord, en hier is hoe breed de zone van onzekerheid eromheen is."

Dit is als het verschil tussen het meten van elke regenbui apart (te traag) en het kijken naar de weersvoorspelling die direct zegt: "Er valt regen, en de kans is 80% met een marge van 10%."

4. De Twee Soorten Twijfel

Het systeem kan twee soorten onzekerheid onderscheiden, wat heel handig is voor veiligheid:

Epistemische Onzekerheid (Het model weet het niet):
- Voorbeeld: De camera ziet een vreemd object dat lijkt op een auto, maar het is een grote plastic pop. Het model heeft dit nooit eerder gezien.
- Betekenis: "Ik weet niet wat dit is, omdat ik dit niet heb geleerd."
- Actie: De auto moet voorzichtig zijn of de bestuurder waarschuwen.
Aleatorische Onzekerheid (De data is vaag):
- Voorbeeld: De rand van een weg is wazig door regen of een schaduw.
- Betekenis: "Ik weet wat het is, maar de foto is zo wazig dat ik de rand niet precies kan zien."
- Actie: De auto moet weten dat de rand onzeker is, maar het object zelf is herkenbaar.

5. Waarom is dit belangrijk?

Dit papier laat zien dat je deze slimme "twijfel-meting" kunt toevoegen aan bestaande camera's die al op kleine computers (zoals in een auto) werken, zonder dat ze langzamer worden.

Vroeger: Ofwel snel en zeker (maar dan weet je niet of je zeker weet), ofwel zeker over je onzekerheid (maar dan is het te traag voor een auto).
Nu: Je krijgt snelheid én inzicht in je twijfel.

Conclusie

Kort samengevat: De auteurs hebben een manier gevonden om slimme camera's op kleine computers niet alleen te laten kijken, maar ook te laten nadenken over hun eigen twijfels. Ze gebruiken een slimme wiskundige afkorting (in plaats van duizenden gokken) om dit in real-time te doen. Dit maakt zelfrijdende auto's en robots veiliger, want ze weten nu wanneer ze moeten stoppen en niet blindelings door moeten rijden.

Probleemstelling

Semantische segmentatiemodellen zijn essentieel voor toepassingen zoals autonome voertuigen, robotica en mens-computerinteractie. Deze toepassingen vereisen niet alleen real-time prestaties, maar ook betrouwbare informatie over onzekerheid (uncertainty), vooral in veiligheidskritieke scenario's.

De huidige uitdagingen zijn:

Beperkte hardware: Embedded systemen (zoals autonome auto's) hebben beperkte rekenkracht en geheugen.
Berekeningskosten van onzekerheid: Bestaande methoden om onzekerheid te kwantificeren (zoals Monte Carlo Dropout) vereisen meerdere forward passes door het netwerk. Dit is te rekentijdintensief voor real-time toepassingen op embedded hardware.
Gebrek aan epistemische onzekerheid: Bestaande real-time modellen kunnen vaak geen onderscheid maken tussen aleatorische onzekerheid (onzekerheid door ruis in de data) en epistemische onzekerheid (onzekerheid door het model zelf, die te reduceren is).

Methodologie

De auteurs stellen een lichtgewicht, analytische methode voor om onzekerheid in real-time te berekenen op embedded hardware. De kern van de aanpak is een scheiding tussen deterministische kenmerkextractie en probabilistische classificatie.

1. Architectuur en Modelopbouw:

Deterministische Feature Extractor: Een vooraf getraind diep leermodel (bijv. ENet, BiSeNet, PIDNet) wordt gebruikt om kenmerken te extraheren. De parameters ( $\theta$ ) van deze netwerklagen zijn vast en worden niet als random variabelen behandeld.
Probabilistische Regressie: De laatste convolutielaag van het netwerk wordt vervangen door een probabilistische laag. De weights en biases ( $\omega$ ) van deze laag worden behandeld als random variabelen.
Bayesiaanse Raamwerk: In plaats van dure Monte Carlo-sampling, wordt er gebruik gemaakt van Expectation Propagation (EP) en moment propagation.

2. Inferentie en Onzekerheidsberekening:

SWAG (Stochastic Weight Averaging Gaussian): Om de posterior van de latent variables $\omega$ te benaderen, gebruiken de auteurs een diagonale SWAG-methode. In plaats van het empirisch gemiddelde van SGD-iteraties te gebruiken, gebruiken ze de vooraf getrainde weights als het gemiddelde ( $\bar{\omega}$ ) en berekenen ze de variantie op basis van de iteraties. Dit resulteert in een diagonale covariantiematrix, wat de berekening aanzienlijk versnelt.
Analytische Afleiding: De inferentie vindt plaats in de logit-ruimte. De posterior van de logits wordt als een Gaussische verdeling gemodelleerd.
EPSoftmax: Omdat de softmax-functie niet-lineair is, kan er geen exacte analytische oplossing zijn voor de uiteindelijke kategoriale verdeling. De auteurs passen momentenpropagatie toe (gebaseerd op Log-Normale eigenschappen) om de mean en variantie van de softmax-uitvoer te benaderen. Dit stelt hen in staat om een geldige kategoriale verdeling te genereren zonder multiple forward passes.

3. Onzekerheidsmetrieken:

Epistemische Onzekerheid: Wordt berekend via de entropie van de Gaussische verdeling van de logits (afgeleid uit de variantie van de modelparameters).
Aleatorische Onzekerheid: Wordt benaderd via de entropie van de uiteindelijke kategoriale verdeling (de output van de softmax).
Class-Conditionele Onzekerheid: De methode kan specifieke onzekerheid per klasse visualiseren (bijv. "hoe onzeker is het model specifiek over de klasse 'voetganger'?").

Belangrijkste Bijdragen

Lichtgewicht Methode: Een nieuwe aanpak die Bayesiaanse methoden combineert met momentenpropagatie, waardoor onzekerheid in real-time kan worden berekend op resource-beperkte hardware.
Betekenisvolle Metrieken: Ontwikkeling van real-time metrieken voor zowel aleatorische als epistemische onzekerheid, inclusief class-conditionele onzekerheid, die nuttig zijn voor besluitvorming.
Eenvoudige Integratie: De methode kan eenvoudig worden toegepast op bestaande, vooraf getrainde real-time segmentatiemodellen zonder dat het hele netwerk opnieuw getraind hoeft te worden (alleen de laatste laag wordt aangepast).

Resultaten

De methode werd getest op de NVIDIA Jetson AGX Xavier embedded platform met verschillende datasets (CityScapes, CamVid, CoCoStuff, ADE20k) en modellen (ENet, BiSeNet, PIDNet).

Prestaties: De probabilistische modellen behaalden vergelijkbare nauwkeurigheid (mIOU, F1-scores) als hun deterministische tegenhangers.
Snelheid: Hoewel er een lichte daling in frames-per-second (fps) was ten opzichte van pure point-estimate netwerken, bleven de snelheden voldoende voor real-time toepassingen (bijv. ~57 fps voor Bayes-BiSeNetV1 op CityScapes).
Onzekerheidsvisualisatie:
- Epistemische onzekerheid was het hoogst bij objecten van belang (waar het model minder zeker is over de structuur).
- Aleatorische onzekerheid concentreerde zich rond de randen van objecten (waar de data onduidelijk is).
- Class-conditionele onzekerheid toonde specifiek waar het model twijfelde over een bepaalde klasse (bijv. "truck" vs. "auto").

Betekenis en Toekomstperspectief

Dit paper is significant omdat het het gat overbrugt tussen geavanceerde onzekerheidskwantificatie en de praktische beperkingen van embedded systemen.

Veiligheid: Het stelt autonome systemen in staat om te "weten wat ze niet weten", wat cruciaal is voor veilige besluitvorming (bijv. een auto moet voorzichtig zijn als de onzekerheid over een voetganger hoog is).
Efficiëntie: Het vermijdt de noodzaak voor zware Monte Carlo-sampling, waardoor onzekerheid berekenbaar wordt op hardware die typisch in de rand van het netwerk (edge) zit.
Toekomst: De auteurs wijzen erop dat toekomstig onderzoek moet focussen op het integreren van aleatorische onzekerheid in het trainingsproces van de basisnetwerken en op het ontwikkelen van strategieën om deze onzekerheidsinformatie effectief te gebruiken in besluitvormingsprotocollen zonder de rekenlast te hoog te maken.

Kortom, de auteurs tonen aan dat het mogelijk is om real-time, onzekerheidsbewuste semantische segmentatie uit te voeren op embedded hardware, wat een belangrijke stap is voor de veilige implementatie van AI in de echte wereld.