Operating Within the Operational Design Domain: Zero-Shot Perception with Vision-Language Models

Technische Samenvatting: Werken binnen het Operationeel Ontwerpdomein met Zero-Shot Vision-Language Modellen

Probleemstelling
De wijdverbreide invoering van Systemen voor Autonomie in het Verkeer (ADS) wordt niet enkel beperkt door functionaliteit, maar door de noodzaak van verifieerbare veiligheid en naleving van strenge regelgeving. Een centraal concept in deze regelgeving is het Operationeel Ontwerpdomein (ODD), dat de specifieke omgevings- en operationele voorwaarden definieert waaronder een ADS veilig functioneert. Het waarborgen van ODD-naleving vereist perceptiesystemen die in staat zijn een breed scala aan statische en tijdelijke omgevings-elementen te detecteren (bijvoorbeeld wegmarkeringen, weersomstandigheden, verkeersborden en wegoppervlakken). Traditionele benaderingen die vertrouwen op handmatig ontwikkelde, taakspecifieke perceptiemodellen, zijn inefficiënt voor de diverse en evoluerende aard van ODD-taxonomieën. Er is een kritieke behoefte aan een flexibel, aanpasbaar perceptiesysteem dat complexe ODD-elementen kan herkennen zonder uitgebreide hertraining, met name voor zeldzame of evoluerende omstandigheden die onpraktisch zijn om exhaustief vooraf in kaart te brengen.

Methodologie
De auteurs onderzoeken het potentieel van Vision-Language Modellen (VLM's) om te fungeren als "zero-shot ODD-sensoren". De studie hanteert een meerfasig experimenteel ontwerp:

1. Datasetconstructie: De auteurs hebben een aangepaste dataset samengesteld, ODD-TAX-232, bestaande uit 2.320 afbeeldingen die 232 distincte ODD-concepten vertegenwoordigen. Deze concepten zijn gecategoriseerd in vijf groepen: Verkeersborden, Wegmarkeringen, Landschapselementen, Weersomstandigheden en Triggervoorwaarden. De dataset focust op fijnmazige omgevingskenmerken relevant voor infrastructuur in Europa, het VK en de VS, waarbij bewegende objecten zijn uitgesloten om statische perceptiecapaciteiten te isoleren.
2. Zero-Shot Optimalisatie: Voordat de modellen werden vergeleken, voerden de auteurs een ablatiestudie uit op het GPT-4o-model om optimale prompting-strategieën te identificeren. Ze testten diverse benaderingen, waaronder:
   • Basislijn: Vlakke taxonomielijsten en label-aliasing.
   • Procesgericht: Zelfverfijning, twee-traps pipelines (bijvoorbeeld classificatie afhankelijk van de weg) en Persona-Decompositie (toewijzen van gespecialiseerde rollen zoals "Weerexpert" of "Bordexpert").
   • Redeneerverbeteringen: Chain-of-Thought (CoT) prompting om tussenstappen in het redeneren af te dwingen.
   • Retrieval-Augmented Generation (RAG): Integratie van externe kennisbanken om tokengebruik te verminderen.
   • Koppeling: Multi-traps pipelines waarbij outputs van de ene fase de volgende informeren.
3. Modelbeoordeling: Met behulp van de best presterende prompt-strategie (Persona + CoT) evalueerden de auteurs vier VLM's:
   • Gesloten bron Algemeen: GPT-4o en Gemini 2.5 Pro.
   • Open bron Algemeen: Llama 4 Maverick.
   • Open bron Gespecialiseerd: Molmo-72B.
4. Taken: De evaluatie omvatte twee taken:
   • Classificatie: Bepalen of een afbeelding een specifiek ground-truth ODD-element bevat (gemeten door Recall).
   • Detectie: Lokaliseren van het element binnen de afbeelding met behulp van coördinaten van omhullende rechthoeken (gemeten door Precision, F1-score en ruimtelijke nauwkeurigheid via Average L2 Error). Dit werd getest op zowel de aangepaste ODD-TAX-232 als de Mapillary Vistas-dataset (die annotaties van omhullende rechthoeken leverde).

Belangrijkste Bijdragen
Het artikel levert drie primaire artefacten bij aan het vakgebied:

1. Empirische Studie: Een uitgebreide analyse van zero-shot ODD-classificatie en -detectie over vier VLM's, inclusief een gedetailleerde foutanalyse van veelvoorkomende foutpatronen.
2. Optimalisatieanalyse: Een ablatie van zero-shot optimalisatiestrategieën, waarbij een overzicht van kosten versus prestaties wordt geboden (tokenbudget versus recall) en wordt geïdentificeerd dat Chain-of-Thought prompting verankerd in definities met persona-decompositie de beste resultaten oplevert.
3. Open Bronnen: Een publiek beschikbare suite van herbruikbare prompt-sjablonen, aanpassingsrichtlijnen en de ODD-TAX-232-dataset om toekomstig onderzoek en uitbreiding te faciliteren.

Resultaten

• Prompting-strategie: De Persona + CoT-strategie behaalde de hoogste recall (0,73) op ODD-TAX-232, wat significant beter was dan de basislijn (0,40) en andere strategieën zoals RAG of gekoppelde pipelines (die vaak de prestaties verlaagden door foutpropagatie). Deze hoge prestatie ging echter gepaard met aanzienlijke tokenkosten (~25.000 tokens per steekproef).
• Modelprestaties (Classificatie): Modellen met gesloten bron (GPT-4o en Gemini 2.5 Pro) toonden superieure prestaties (Recall ~0,72–0,73) in vergelijking met open-bronalternatieven (Llama 4 Maverick op 0,67, Molmo-72B op 0,45). Hoewel GPT-4o en Gemini 2.5 Pro overall vergelijkbaar waren, toonde GPT-4o een voorsprong in herkenning van borden en weer, terwijl Gemini uitblonk in markeringen en landschap.
• Modelprestaties (Detectie): Op de Mapillary Vistas-dataset behaalde GPT-4o de beste balans tussen precisie (0,82) en recall (0,922), resulterend in de hoogste F1-score (0,87). Gemini 2.5 Pro had de hoogste recall (0,977) maar lagere precisie. Llama 4 Maverick toonde de hoogste ruimtelijke nauwkeurigheid (laagste L2-fout) maar bleef achter in de totale F1-score. Molmo-72B presteerde slecht op precisie en F1-score.
• Datasetdiscrepantie: Alle modellen presteerden significant beter op Mapillary Vistas dan op ODD-TAX-232. De auteurs schrijven dit toe aan de grovere, meer voorkomende categorieën in Mapillary versus de fijnmazige, zeldzame en veiligheidskritieke concepten in ODD-TAX-232, die minder frequent voorkomen in voortrainingsdata.

Betekenis en Aanspraken
De auteurs concluderen dat VLM's, hoewel ze veelbelovend potentieel tonen voor ODD-herkenning, een zero-shot recall van ongeveer 0,73 onvoldoende is voor zelfstandige, aan boord productie-implementatie in veiligheidskritieke toepassingen waarbij ongedetecteerde ODD-overtredingen kunnen leiden tot onveilige systeemactivering.

In plaats daarvan positioneert het artikel VLM's als zeer haalbare hulpmiddelen voor offline toepassingen, zoals:

• ODD-auditing voorafgaand aan de route.
• Rapportage van regelgevingsconformiteit.
• Seeding van simulaties.

In deze contexten zijn de kosten van gemiste detecties lager, en kan menselijk toezicht compenseren voor resterende fouten. De studie benadrukt dat het ontwerp van prompts (specifiek CoT met persona-decompositie) even kritiek is als modelselectie. Bovendien betogen de auteurs dat aggregate metrieken op algemene datasets zoals Mapillary Vistas de bereidheid voor ODD-perceptie kunnen overschatten; taxonomie-bewuste evaluaties die zich richten op fijnmazige, veiligheidskritieke elementen, zijn essentieel voor een accurate beoordeling. Het werk ebt de weg voor transparante, effectieve en aanpasbare ODD-gebaseerde perceptiesystemen, mits deze binnen passende veiligheidsgrenzen worden gebruikt.