Scalable Evaluation of the Realism of Synthetic Environmental Augmentations in Images

Probleemstelling

De betrouwbare evaluatie van AI-systemen voor veilige toepassingen (zoals autonoom rijden) vereist testdata voor zeldzame en veiligheidskritieke situaties (bijv. zware regen, sneeuw, mist, nacht). Het verzamelen van dergelijke data uit operationele omgevingen is vaak onmogelijk of te risicovol. Hoewel generatieve AI (GenAI) een veelbelovende oplossing biedt om synthetische testcases te genereren via beeldbewerking, is de bruikbaarheid ervan afhankelijk van de realisme van de gegenereerde beelden.

Er bestaat een "simulatie-naar-realiteit gap": als de gegenereerde omstandigheden niet geloofwaardig zijn, zeggen evaluaties op deze data weinig over het gedrag van het AI-systeem in de echte wereld. Bestaande methoden zijn vaak gebaseerd op regelmatige (rule-based) augmentaties die fysiek onnauwkeurig zijn, of ze missen een schaalbaar, geautomatiseerd evaluatiekader om de kwaliteit van GenAI-methoden objectief te meten zonder kostbare menselijke annotatie.

Methodologie

De auteurs presenteren een schaalbaar framework om de realisme van synthetische omgevingsaugmentaties te evalueren. Het onderzoek vergelijkt twee paradigma's op 40 heldere dagbeelden uit de ACDC-dataset (Adverse Conditions Dataset with Correspondences):

1. Augmentatiemethoden:

   • Rule-based: Traditionele bibliotheken (imgaug, albumentations) die gebruikmaken van handgeschreven heuristieken (bijv. ruis toevoegen, helderheid verlagen).
   • Generatieve AI: Vier state-of-the-art beeldbewerkingsmodellen: OpenAI GPT-Image-1, Google Gemini 2.5 Flash, Alibaba Qwen Image Edit Plus, en Black Forest Labs Flux Kontext. Deze modellen reageren op natuurlijke taal prompts (bijv. "Voeg zware regen toe met natte wegoppervlakken").

2. Evaluatiemethoden (Complementair):

   • VLM Jury (Perceptueel Realisme): Een ensemble van drie Vision-Language Models (GPT-4o, Claude Sonnet 4, Gemini 2.5 Pro) fungeert als jury. Ze beoordelen afbeeldingen op basis van twee criteria:
     • Condition Realism: Lijkt de gegenereerde weersomstandigheid echt?
     • Semantic Preservation: Zijn de objecten en ruimtelijke relaties uit de originele afbeelding behouden?
       De jury geeft een binaire beslissing (accepteren/verwerpen).
   • Embedding-based Distributional Analysis (Statistisch Realisme): Meting van de afstand in de semantische feature-ruimte tussen gegenereerde beelden en echte adverse-condition beelden. Hiervoor worden CLIP en DINOv3 embeddings gebruikt. De Relative Mahalanobis Distance wordt berekend om te bepalen hoe dicht de gegenereerde beelden bij de verdeling van echte data liggen, terwijl gedeelde achtergrondkenmerken worden genegeerd.

3. Baseline:

   • Echte adverse-condition beelden uit de dataset worden ook door de VLM jury beoordeeld om een "praktisch plafond" (ceiling) te bepalen, aangezien zelfs echte beelden niet altijd perfect worden geaccepteerd door de jury.

Belangrijkste Bijdragen

• Schaalbaar Evaluatieframework: Een geautomatiseerd protocol dat GenAI-methoden kan vergelijken met traditionele methoden zonder menselijke tussenkomst, gebruikmakend van een VLM-jury en statistische analyse.
• Uitgebreide Benchmark: Een systematische vergelijking van regelmatige bibliotheken versus moderne foundation modellen over vier specifieke weersomstandigheden (mist, regen, sneeuw, nacht).
• Analyse van Falingsmodi: Een diepgaande analyse van waarom methoden falen (onrealistisch uiterlijk vs. semantische veranderingen), wat inzicht geeft in de fundamentele trade-offs tussen augmentatieparadigma's.
• Validatie van VLM's: Het paper toont aan dat VLM-juries een robuust alternatief kunnen zijn voor menselijke evaluatie bij het ranken van augmentatiemethoden, hoewel absolute scores met voorzichtigheid moeten worden geïnterpreteerd.

Resultaten

1. GenAI overtreft Rule-based methoden:

   • Generatieve AI-methoden presteren aanzienlijk beter. De beste GenAI-methode (Qwen) bereikte een acceptatiepercentage van 0,948, terwijl de beste rule-based methode (imgaug) slechts 0,263 haalde. Dit is een factor van ongeveer 3,6x verschil.
   • Rule-based methoden faalden bijna volledig bij complexe transformaties zoals nacht en sneeuw, omdat ze geen globale scenesimulatie kunnen uitvoeren.

2. Prestatie per Omstandigheid:

   • Mist: De makkelijkste te simuleren conditie; zelfs rule-based methoden presteren hier redelijk goed (dichtbij GenAI-prestaties).
   • Regen en Sneeuw: Vereisen fijnmazige manipulatie; GenAI presteert hier sterk (0,82–0,93 acceptatie), terwijl rule-based methoden faalt.
   • Nacht: Blijft uitdagend, maar top-GenAI-methoden (Qwen, Gemini) bereiken bijna het plafond van echte beelden (0,958 acceptatie).

3. Discrepantie tussen Evaluatiemodaliiteiten:

   • Er is een opvallende discrepantie voor nachtbeelden: Hoewel VLM-jury's GenAI-uitvoer als zeer realistisch beoordelen, liggen de embedding-afstanden (Mahalanobis) ver van de echte data-verdeling. Dit suggereert dat embedding-methoden mogelijk te gevoelig zijn voor globale kleurstatistieken en de contextuele juistheid van verlichting (bijv. koplampen) missen.
   • OpenAI vs. Qwen: OpenAI had de kleinste statistische afstand in CLIP-ruimte, maar werd door de VLM-jury als minder realistisch beoordeeld dan Qwen. Dit wijst erop dat statistische nabijheid niet altijd perceptueel realisme garandeert.

4. Falingsmodi Trade-off:

   • Rule-based: Falen bijna uitsluitend door onrealistisch uiterlijk (97,5%), maar behouden de semantiek perfect.
   • GenAI: Bereikt visueel realisme, maar faalt soms door semantische veranderingen (bijv. objecten die verdwijnen of veranderen). Top-modellen (Qwen, Gemini) vinden de beste balans.

5. Baseline Realiteit:

   • Zelfs echte adverse-condition beelden worden niet 100% geaccepteerd door de VLM-jury (bijv. regen: 93,3%, sneeuw: 91,7%). Dit stelt een praktisch plafond neer: synthetische methoden die deze scores benaderen, presteren op het niveau van echte data.

Betekenis en Conclusie

Het paper concludeert dat moderne generatieve beeldbewerkingsmodellen (zoals Qwen en Gemini) een schaalbare en effectieve oplossing bieden voor het genereren van realistische synthetische testdata voor veiligheidskritieke AI-evaluaties. Traditionele regelmatige bibliotheken zijn ongeschikt voor scenario's waar realisme essentieel is.

De auteurs benadrukken dat:

• Een combinatie van perceptuele (VLM) en statistische (embedding) evaluatie nodig is voor een volledig beeld.
• VLM-scores beter gebruikt moeten worden voor relatieve ranking dan voor absolute kwaliteitscertificering.
• Er een fundamentele afweging bestaat tussen het behoud van semantische inhoud en het bereiken van visueel realisme.

Voor de praktijk betekent dit dat ontwikkelaars van evaluatiepipelines voor autonoom rijden nu schaalbaar realistische testdata kunnen genereren voor zeldzame weersomstandigheden, mits ze kiezen voor de juiste generatieve modellen en rekening houden met de beperkingen van semantische consistentie.