🤖 AI

Image Quality Dependent Degradation for AI Systems

Dit artikel stelt een strategie voor voor gedegradeerde uitval bij op AI gebaseerde automatische rijsystemen die een nieuwe normalizing flow-methode gebruikt om de beeldkwaliteit te schatten en betrouwbaarheidsdrempels dynamisch te verlagen, waardoor kritieke fouten onder omstandigheden met een lage kwaliteit worden verminderd zonder terug te vallen op fallback-oplossingen.

Oorspronkelijke auteurs: Yannick Kees, Elena Hoemann, Frank Köster, Sven Hallerbach

Gepubliceerd 2026-07-29

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yannick Kees, Elena Hoemann, Frank Köster, Sven Hallerbach

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je in een auto rijdt met een brein dat gemaakt is van wiskunde in plaats van vlees. Dit "brein" is een type kunstmatige intelligentie genaamd een neuraal netwerk, en zijn taak is om naar de wereld te kijken via een camera en dingen te spotten zoals voetgangers, stopborden of andere auto's. Het is hier geweldig in wanneer het weer zonnig is en de lens schoon is, maar het heeft een geheim zwak punt: het raakt in de war als het beeld wazig, donker of bedekt met vuil is. Denk aan een superintelligente student die elke test haalt in een stille bibliotheek, maar begint te gokken zodبق een sirene buiten afgaat. De grote vraag die wetenschappers zich stellen is: hoe leren we deze AI om te weten wanneer hij een "slecht plaatje" ziet en om dienovereenkomstig zijn gedrag aan te passen, in plaats van blind te gokken of volledig uit te schakelen? Dit artikel duikt in dat probleem en verkent een strategie waarbij de AI toegeeft: "Hé, dit uitzicht is rommelig," en besluit extra voorzichtig te zijn in plaats van te proberen perfect nauwkeurig te zijn.

De onderzoekers achter deze studie, werkend bij het Duitse Centrum voor Lucht- en Ruimtevaart, stellen een slimme oplossing voor die ze een "fail-degraded" systeem noemen. Normaal gesproken, wanneer een systeem slechte gegevens krijgt, probeert het misschien eerst de afbeelding te herstellen of schakelt het over naar een andere sensor, zoals een laser scanner. Maar dit team suggereert een andere aanpak: laat de AI de camera blijven gebruiken, maar verander hoe de AI beslissingen neemt op basis van hoe "vies" het beeld eruitziet. Ze bouwden een speciale kwaliteitscontroleur die werkt als een rechter, die de binnenkomende foto bekijkt en deze vergelijkt met de duizenden foto's waar de AI van heeft geleerd. Als de foto bekend en helder is, blijft de AI zelfverzekerd en scherp. Maar als de foto vreemd, donker of ruizig is, wordt de AI nerveus en verlaagt hij zijn bewaking. In plaats van te zeggen: "Ik ben 90% zeker dat dat een persoon is," zegt hij misschien: "Ik ben slechts 40% zeker, maar ik markeer het toch wel, want het is beter om veilig dan sorry te zijn."

Om dit mogelijk te maken, gebruikten het team een wiskundig hulpmiddel genaamd een "normalizing flow". Je kunt dit zien als een zeer strikte bibliothecaris die de exacte look van elk "goed" boek in de bibliotheek heeft onthouden (de trainingsdata). Wanneer er een nieuw boek arriveert, controleert de bibliothecaris of het in het patroon past. Als het boek een modderige, gescheurde bende is die niet op de plank thuishoort, trekt de bibliothecaris een rood vlaggetje. In hun experimenten slaagde deze bibliothecaris erin om te spotten wanneer afbeeldingen werden verduisterd, bedekt met digitale ruis, wazig werden, of zelfs werden gesimuleerd met valse lensflares en vuil. Het systeem gokte niet alleen; het mat hoe "onwaarschijnlijk" een foto was om een schoon, standaard beeld te zijn.

Zodra het systeem weet dat een afbeelding van lage kwaliteit is, activeert het een veiligheidsschakelaar. Normaal gesproken zou een AI een detectie negeren als hij niet 100% zeker is, om valse alarmen te voorkomen. Maar in deze "fail-degraded" modus draait de AI het script om. Het accepteert lagere betrouwbaarheidsniveaus om ervoor te zorgen dat het niets cruciaals mist. De onderzoekers testten dit op een voetgangersdetectiesysteem, wat cruciaal is voor autonoom rijden. Ze ontdekten dat wanneer de beeldkwaliteit daalde, hun methode het aantal voetgangers dat de AI daadwerkelijk opmerkte (een metriek genaamd "recall") aanzienlijk verbeterde. Hoewel dit betekende dat de AI ook een paar valse meldingen maakte—denkende dat hij een persoon zag waar er geen was—vermoedde hij hiermee succesvol de veel gevaarlijkere fout te vermijden om een echte persoon volledig te missen.

Het artikel suggereert dat deze aanpak een slimmer evenwicht creëert tussen nauwkeurigheid en veiligheid. In heldere omstandigheden focust de AI op precisie. In rommelige omstandingen focust hij op het niet missen van iets. De auteurs merken op dat als de afbeelding volledig gecorrumpeerd zou zijn, het systeem zo voorzichtig zou worden dat het een voetganger in elk enkel frame zou detecteren, wat effectief tegen de auto zegt: "Ik kan niets duidelijk zien, dus ik zal niet bewegen." Hoewel dit extreem klinkt, benadrukt het de kern van het idee: het is veiliger voor een autonoom systeem om overdreven voorzichtig te zijn in slechte omstandigheden dan om met zelfvertrouwen een fout te maken. Het team demonstreerde dit met een werkend prototype dat in realtime draait, waarmee bewezen wordt dat een AI zijn eigen betrouwbaarheidsniveaus on the fly kan aanpassen, wat het een betrouwbaardere partner voor de weg maakt.

Technische Samenvatting: Beeldkwaliteitsafhankelijke Degradatie voor AI-systemen

Probleemstelling
AI-perceptiesystemen, met name in veiligheidskritische domeinen zoals geautomatiseerd rijden, vertonen een sterke afhankelijkheid van de kwaliteit van de invoerbeelden. Hoewel diepe neurale netwerken uitblinken in interpolatie binnen de distributie van hun trainingsdata, hebben ze moeite met extrapolatie wanneer ze worden geconfronteerd met gecorrumpeerde of inferieure input (bijv. door ruis, duisternis of sensor-slijtage). Een cruciale uitdaging is dat niet alle fouten een gelijke impact hebben; bij voetgangersdetectie is een vals negatief (het missen van een voetganger) aanzienlijk kritieker dan een vals positief (het detecteren van een niet-bestaande voetganger). Traditionele fouttolerante benaderingen vertrouwen vaak op "fail-operational" systemen die overschakelen naar redundante sensoren (bijv. LiDAR) of volledig uitschakelen. Deze fallback-oplossingen zijn echter niet altijd beschikbaar of wenselijk. De auteurs stellen een "fail-degraded" benadering voor waarbij het systeem een verminderde maar gecontroleerde functionaliteit behoudt tijdens fouten, waarbij specifiek de voorkeur wordt gegeven aan het vermijden van kritieke fouten (gemiste detecties) boven algemene nauwkeurigheid wanneer de beeldkwaliteit slecht is.

Methodologie
Het voorgestelde systeem werkt als een plug-and-play module die de betrouwbaarheidsdrempel van een bestaande objectdetector aanpast op basis van real-time beeldkwaliteitsschatting. De methodologie bestaat uit drie hoofdonderdelen:

Handmatige Kenmerkextractie: In plaats van te vertrouwen op semantische kenmerken van diepe backbones (die kwaliteitsbeïnvloedende augmentaties kunnen negeren), extraheert het systeem een vector van niet-referentiële beeldkwaliteitskenmerken (IQA-eigenschappen). Deze omvatten helderheid, kleurrijkheid, contrast, energie, over-/onderbelichting, verzadiging, scherpte, signaal-ruisverhouding (SNR), scheefheid (skewness), spectraal centrum en PSNR.
Kwaliteitsschatting via Normalizing Flows (NF): Een Normalizing Flow-netwerk ( $\eta_\theta$ ) wordt getraind op de handmatige kenmerkvectoren van de trainingsdataset. De NF leert de waarschijnlijkheidsdichtheid van een "goede" beeldkwaliteit. Tijdens de inferentie wordt de log-likelihood ( $L(x)$ ) van de kenmerken van een binnenkomend beeld berekend. Een hoge waarschijnlijkheid duidt erop dat de beeldkwaliteit vergelijkbaar is met de trainingsdistributie, terwijl een lage waarschijnlijkheid wijst op een out-of-distribution (OOD) of gedegradeerde staat.
Fail-Degraded Drempelconversie: Het systeem past de betrouwbaarheidsdrempel ($conf(x)$) van de objectdetector dynamisch aan op basis van de berekende log-likelihood. Gebruikmakend van een phase-field representatie-aanpak, wordt de drempel gedefinieerd als:
$conf(x) = \frac{1}{2} \tanh(\alpha(L(x) - \tau)) + \frac{1}{2}$
Waarbij $\tau$ $τ$ een drempelwaarde is afgeleid van de likelihood-distributie van de trainingsdata (gesteld op de mediaan), en $\alpha$ $α$ de breedte van de transitie regelt.
- Hoge Kwaliteit (Hoge $L(x)$ ): De drempel blijft hoog, waarbij de nadruk ligt op precisie en nauwkeurige voorspellingen.
- Lage Kwaliteit (Lage $L(x)$ ): De drempel wordt verlaagd, waarbij de nadruk ligt op recall om ervoor te zorgen dat kritieke objecten (voetgangers) niet worden gemist, zelfs als dit ten koste gaat van een toename van het aantal vals positieven.

Belangrijkste Bijdragen

Fail-Degraded Systeemontwerp: De auteurs ontwikkelen een strategie waarbij perceptiesubsystemen met verminderde functionaliteit (verlaagde betrouwbaarheidsdrempels) kunnen opereren tijdens fouten, in plaats van uit te schakelen of over te gaan naar veilige staten, waardoor de operationele reikwijdte van de AI-component wordt uitgebreid.
Nieuwe Kwaliteitsmonitoring: Er wordt een nieuw monitoringsysteem geïntroduceerd dat gebruikmaakt van Normalizing Flows, getraind op handmatige beeldstatistieken, om beelddegradatie te detecteren. Deze aanpak is onafhankelijk van de specifieke architectuur van de objectdetector en vereist geen hertraining van de detector zelf.
Empirische Validatie: De methode wordt gevalideerd op state-of-the-art objectdetectoren (YOLOv11 en DETR) met behulp van de BDD100k dataset, waarbij het vermogen om zich aan te passen aan diverse beeldperturbaties wordt aangetoond.

Experimentele Resultaten
De experimenten werden uitgevoerd met de BDD100k dataset voor training en testen, met aanvullende validatie op de Zenseact OpenDataset (ZOD) en CARLA gesimuleerde data.

OOD Detectie: De Normalizing Flow onderscheidde succesvol tussen de trainingsdistributie (BDD100k) en andere datasets. Gesimuleerde CARLA-data vertoonden minimale overlap met real-world data, terwijl ZOD een breder bereik liet zien maar significante overlap vertoonde.
Augmentatie Detectie: Het systeem werd getest tegen zes soorten beeldaugmentaties: duisternis, ruis, vuil, onscherpte (blur), lensflare en rolling shutter. De NF detecteerde alle augmentatietypes betrouwbaar, waarbij de log-likelihood afnam naarmate de intensiteit van de augmentatie toenam. Opvallend genoeg stelden de auteurs vast dat het gebruik van latente kenmerken uit een ResNet-18 backbone er niet in slaagde om deze augmentaties betrouwbaar te detecteren, wat de keuze voor handmatige kenmerken valideert.
Detectorprestaties: Wanneer toegepast op een YOLOv11 voetgangersdetector:
- Recall: Het fail-degraded systeem verbeterde de recall voor afbeeldingen van lage kwaliteit (met een lage log-likelihood) aanzienlijk, waardoor het aantal gemiste voetgangers werd verminderd.
- Precisie: Zoals verwacht nam de precisie voor afbeeldingen van lage kwaliteit licht af door de lagere drempel, wat leidde tot meer vals positieven.
- Totaal: Het systeem verbeterde de recall voor 377 afbeeldingen in de testset, terwijl het een hoge recall behield voor afbeeldingen van hoge kwaliteit. De gemiddelde recall per frame steeg van 0,428 (vaste drempel) naar 0,474 (fail-degraded), terwijl de gemiddelde precisie marginaal daalde van 0,996 naar 0,984.
Real-Time Vermogen: Een ROS 2-implementatie toonde aan dat de beeldkwaliteitsbeoordeling en objectdetectie parallel kunnen draaien, wat de geschiktheid van het systeem voor real-time toepassingen bevestigt.

Betekenis en Claims
Het artikel claimt dat deze aanpak het vertrouwen in AI-gebaseerde systemen in geautomatiseerd rijden vergroot door kritieke fouten (gemiste voetgangers) in ongunstige omstandigheden te voorkomen zonder over te gaan tot volledige systeemuitschakelingen. De auteurs presenteren dit als een afweging tussen betrouwbaarheid en prestaties: in bekende, hoogwaardige scenario's maximaliseert het systeem de nauwkeurigheid; in onbekende, laagwaardige scenario's geeft het prioriteit aan veiligheid door ervoor te zorgen dat kritieke objecten worden gedetecteerd.

De auteurs merken bescheiden op dat hun huidige aanpak zich richt op globale beeldkwaliteit. Zij erkennen dat voor specifieke taken zoals voetgangersdetectie, lokale kwaliteit (bijv. de kwaliteit van de specifieke bounding box regio) relevanter kan zijn. Toekomstig werk wordt voorgesteld om de aanpak aan te passen aan lokale bounding box-analyse en mogelijk asymmetrische loss-functies tijdens de detector-training te integreren. Het artikel concludeert dat hoewel een volledig gecorrumpeerd beeld het systeem zou kunnen dwingen om overal voetgangers te detecteren (wat het rijden verhindert), de voorgestelde methode ervoor zorgt dat het systeem alleen degradeert wanneer dat nodig is, waardoor een balans tussen veiligheid en bruikbaarheid wordt behouden.

Technische Samenvatting: Beeldkwaliteitsafhankelijke Degradatie voor AI-systemen

Meer zoals dit