RoadscapesQA: A Multitask, Multimodal Dataset for Visual Question Answering on Indian Roads

Probleemstelling

Autonome voertuigen zijn afhankelijk van geavanceerde perceptiesystemen om visuele omgevingen te interpreteren en effectieve beslissingen te nemen. Hoewel er veel multimodale datasets bestaan voor het rijden (zoals KITTI, nuScenes, BDD100K), zijn deze grotendeels gefocust op gestructureerde omgevingen in de VS, Europa en specifieke Aziatische landen (zoals China en Japan). Deze omgevingen kenmerken zich door goed gemarkeerde wegen, consistent onderhoud en gestandaardiseerde verkeersregels.

Er bestaat echter een significant gat in de data voor ontwikkelende landen, met name in Zuid-Azië (India). De verkeersomstandigheden in India zijn fundamenteel anders:

• Hoge verkeersdichtheid en onvoorspelbaar gedrag van verkeersdeelnemers.
• Heterogene voertuigtypes (van vrachtwagens tot riksja's en dieren).
• Ongemarkeerde wegen en gebrek aan standaard infrastructuur.
• Frequent interactie met niet-gemotoriseerde actoren (voetgangers, fietsers, dieren).
• Variabele omstandigheden, waaronder nachtverkeer en rural omgevingen.

Bestaande datasets dekken deze "ongestructureerde" scenario's onvoldoende, wat de ontwikkeling van robuuste Vision-Language Models (VLM's) voor deze regio belemmert.

Methodologie

1. Dataverzameling (Roadscapes)

• Bron: De dataset is verzameld in Zuid-India (de corridors Coimbatore en Kochi) en het verbindingswegennet ertussen.
• Hardware: In plaats van dure sensoren (LiDAR, multi-camera rigs) is gebruik gemaakt van een monoculaire camera (dashcam) met een resolutie van 1920x1080 en 30 FPS. Dit maakt de dataset representatiever voor resource-constrained settings.
• Omvang: Er zijn 35 rijsequenties (totaal 5 uur) opgenomen, variërend van dag tot nacht. Na filtering van vervormde frames resulteerde dit in 8.983 beelden.
• Diversiteit: De dataset omvat snelwegen, stadsstraten, dorpswegen en service roads, met zowel dag- als nachtelijke omstandigheden.

2. Annotatie en Privacy

• Anonymisatie: Een semi-automatische pipeline (YOLOv5) is gebruikt om kentekens te detecteren en te verbergen, gevolgd door handmatige verificatie.
• Annotatie-strategie: Om de kosten en tijd te beperken, is een zero-shot YOLOWorld-model gebruikt voor voor-annotatie van objectklassen (auto's, vrachtwagens, bussen, etc.). Deze annotaties zijn vervolgens handmatig geverifieerd en verbeterd door een team van vier mensen.
• Privacy: De dataset wordt vrijgegeven onder een niet-commerciële licentie vanwege privacywetgeving.

3. Generatie van VQA (Visual Question Answering)
In plaats van handmatig duizenden vragen te schrijven, heeft het team een regelgebaseerde heuristiek ontwikkeld bovenop de objectdetectie-annotaties. Hiermee zijn automatisch vraag-antwoordparen gegenereerd voor drie hoofdcategorieën:

• Object Counting: (Bijv. "Hoeveel verkeersborden zijn er?")
• Object Description: (Bijv. "Wat is de kleur van de truck?")
• Surrounding Description: (Bijv. "Wat is de verkeersdichtheid?" of "Wat is het tijdstip?")
  Elk beeld heeft gemiddeld 7 vragen.

4. Experimenteel Opzet
De auteurs hebben meerdere Vision-Language Models (VLM's) geëvalueerd in een zero-shot setting (zonder fijnafstemming op de dataset):

• Phi-3.5, GPT-4o, GPT-4o-mini, Paligemma.
• Metingen: Exact-match nauwkeurigheid voor tellingen en cosinus-相似heid (met sentence embeddings) voor beschrijvende taken.

Belangrijkste Bijdragen

1. Roadscapes Dataset: Een diverse dataset van bijna 9.000 beelden uit Zuid-India, specifiek gericht op ongestructureerde omgevingen, inclusief nachtelijke en rurale scenario's die vaak ontbreken in bestaande benchmarks.
2. Generatie Framework: Een schaalbaar framework dat computer vision-annotaties combineert met heuristische regels en scene graphs om grote hoeveelheden VQA-data te genereren zonder enorme menselijke inspanning.
3. Baseline Evaluaties: De eerste benchmarks voor beeld-VQA-taken op Indiase wegdata, inclusief een diepgaande analyse van hallucinaties in VLM's.
4. Focus op Realiteit: De dataset bevat sensor-artefacten zoals bewegingsonduidelijkheid, glans en schaduwen (door voorruit/dashboard), wat cruciaal is voor het trainen van modellen voor realistische, goedkope hardware.

Resultaten

De evaluatie van de VLM's leverde de volgende inzichten op:

• Object Counting: Phi-3.5 presteerde het beste met een nauwkeurigheid van 66,7%. Veelvoorkomende fouten waren onderschatting (missen van objecten in complexe scènes), overschatting en hallucinaties (niet-bestaande objecten melden).
• Object Description: Dit bleek de moeilijkste taak. Paligemma scoorde het hoogst (cosinus-similarity 0,501), maar fouten zoals het verkeerd benoemen van kleuren of klassen waren frequent.
• Surrounding Description: GPT-4o presteerde hier het sterkst (similarity 0,701), vooral bij het bepalen van tijdstippen en verkeersdichtheid.
• Hallucinaties:
  • De hallucinatiegraad was het hoogst bij Object Description (50% - 61% over alle modellen).
  • 4o-mini had de hoogste hallucinatiegraad voor beschrijvingen (61,6%).
  • Modellen presteerden relatief goed bij contextuele vragen (Surrounding Description), met hallucinatiepercentages rond de 6-7% voor de beste modellen.

Betekenis en Conclusie

Het paper benadrukt dat bestaande VLM's moeite hebben met de fijne perceptie en semantische redenering die nodig is in de chaotische, ongestructureerde verkeersomgevingen van India. Hoewel de modellen redelijk goed presteren bij contextuele vragen, falen ze vaak bij het nauwkeurig beschrijven van objectattributen (kleur, klasse).

RoadscapesQA is een belangrijke stap voorwaarts omdat het:

1. De geografische en scenario-diversiteit van bestaande datasets aanvult met een representatief beeld van Zuid-India.
2. Bewijst dat lage-kosten camera's en geautomatiseerde annotatie-methoden kunnen leiden tot waardevolle datasets voor autonoom rijden.
3. Een benchmark biedt om de betrouwbaarheid en veiligheid van VLM's te testen in real-world scenario's die verder gaan dan de "perfecte" gestructureerde omgevingen van het Westen.

De auteurs merken op dat toekomstig werk zich moet richten op het uitbreiden van de geografische dekking binnen India, het toevoegen van ruimtelijke relaties (links/rechts) en het ontwikkelen van complexere multi-turn dialogen om de bruikbaarheid voor autonoom rijden verder te vergroten.