Probing Visual Concepts in Lightweight Vision-Language Models for Automated Driving

Deze studie analyseert de interne activaties van Vision-Language Models voor autonoom rijden en identificeert twee faalmodi—perceptueel en cognitief—waarbij blijkt dat hoewel objectaanwezigheid lineair gecodeerd is, ruimtelijke concepten zoals oriëntatie slechts impliciet worden vertegenwoordigd en dat prestaties snel verslechteren naarmate objecten verder weg zijn.

De kern

Titel: Waarom "Slimme" Auto's soms Dom Kijken: Een Simpele Uitleg

Stel je voor dat je een zeer intelligente, maar jonge chauffeur hebt. Deze chauffeur kan prachtige verhalen vertellen, begrijpt complexe regels en kan zelfs plannen maken voor een hele reis. Maar als je hem vraagt: "Zie je die rode verkeerskegel links of rechts?" of "Hoeveel mensen lopen daar?", dan kijkt hij soms verward en geeft hij het verkeerde antwoord.

Dit is precies wat er gebeurt met Vision-Language Models (VLMs): slimme computerprogramma's die beelden en taal combineren, en die steeds vaker worden gebruikt in zelfrijdende auto's.

De auteurs van dit onderzoek (Nikos, Reenu en hun team) wilden weten: Waarom faalt deze slimme chauffeur bij simpele vragen? Om dit te ontdekken, hebben ze niet gekeken naar het eindantwoord, maar naar de "gedachten" van de computer terwijl hij naar het beeld kijkt.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Drie Delen van de "Gedachtegang"

Een slimme auto-robot bestaat uit drie hoofdonderdelen, die samenwerken als een team:

• De Oog (Vision Encoder): Kijkt naar de foto en haalt er details uit.
• De Vertaler (Projector): Zorgt dat de visuele informatie begrijpelijk wordt voor het taalgedeelte.
• De Brein (LLM): Het grote brein dat de taal begrijpt en het antwoord formuleert.

Het probleem is: als de auto een fout maakt, weten we niet waar het misging. Was het het oog dat niets zag? Was het de vertaler die de boodschap verdraaide? Of was het het brein dat de boodschap niet snapte?

2. De "Tijdsreiskamer" (Counterfactuals)

Om dit op te lossen, hebben de onderzoekers een magische truc bedacht. Ze creëerden twee bijna identieke foto's, waarbij alleen één ding anders was.

• Foto A: Een voetganger staat op de weg.
• Foto B: Dezelfde weg, maar de voetganger is verdwenen.

Alles is hetzelfde: de lucht, de bomen, de auto's. Alleen de voetganger is weg. Dit noemen ze "counterfactual sets".

Vervolgens hebben ze een kleine test (een "lineaire probe") getraind om te kijken of de computer, op elk moment in zijn "gedachtegang", kan zien of die voetganger er wel of niet is. Het is alsof je een detector door het brein van de auto loopt en vraagt: "Zie je hier een voetganger?"

3. Wat Vonden Ze? (De Grote Ontdekkingen)

Ze ontdekten twee soorten "falen", die ze Perceptueel en Cognitief noemen.

A. Perceptueel Falen (Het Oog is blind)

Soms is de informatie gewoon niet aanwezig in de computer.

• Analogie: Stel je voor dat je door een mistig raam kijkt. Je ziet de vorm van een persoon, maar de details zijn zo wazig dat je niet kunt zeggen of hij links of rechts loopt.
• De bevinding: Als objecten ver weg zijn (bijv. 50 meter), wordt het beeld zo klein dat de "Oog" van de computer de details verliest. De test kan dan ook niet zien of er een voetganger is. De informatie is simpelweg weggevaagd voordat hij het brein bereikte.

B. Cognitief Falen (Het Brein is afwezig)

Dit is het meest interessante deel. Soms is de informatie wel aanwezig, maar gebruikt de computer het niet.

• Analogie: Stel je voor dat je een foto van een voetganger aan je vriend laat zien. Je vriend zegt: "Ik zie de voetganger heel duidelijk!" (De test slaagt). Maar als je vraagt: "Zit hij links of rechts?", zegt hij: "Geen idee, ik gok maar." en geeft het verkeerde antwoord.
• De bevinding: De computer had de informatie over de richting van de voetganger in zijn geheugen, maar het "Brein" (de taalcomponent) wist die informatie niet goed te koppelen aan de vraag. Het was alsof het antwoord er was, maar de computer dacht: "Oh, dat is niet belangrijk voor mijn zin."

4. De "Richting" van de Gedachten

De onderzoekers ontdekten ook dat sommige dingen heel duidelijk in de computer staan, en andere niet:

• Aanwezigheid: "Is er iets?" is heel makkelijk. De computer ziet dit als een helder, recht lijntje in zijn gedachten.
• Aantal: "Hoeveel?" is iets lastiger, maar nog steeds goed te zien.
• Richting en Ruimte: "Loopt hij naar links of rechts?" is heel vaag. De computer heeft geen duidelijk lijntje voor deze richting. Het is alsof de informatie in een wirwar van lijnen zit die de computer niet kan ontcijferen.

5. Waarom is dit belangrijk voor zelfrijdende auto's?

Voor een zelfrijdende auto is het cruciaal om te weten of een voetganger links of rechts loopt, vooral als die ver weg is.

• Als het een Perceptueel probleem is (het oog ziet het niet), moeten we betere camera's of betere beeldverwerking bouwen.
• Als het een Cognitief probleem is (het brein ziet het wel, maar gebruikt het niet), moeten we de computer anders leren om te denken, zodat hij de visuele informatie beter koppelt aan de taal.

Conclusie

Deze studie laat zien dat zelfrijdende auto's soms niet "dom" zijn, maar dat hun "oog" en hun "brein" niet altijd goed samenwerken. Soms zien ze het niet, en soms zien ze het wel, maar vergeten ze het. Door te weten waar het misgaat, kunnen ingenieurs de auto's veiliger maken voor de lange weg.

Kortom: Soms is het probleem dat de auto blind is, en soms is het probleem dat de auto gewoon niet luistert.

Technische samenvatting

Probleemstelling

Vision-Language Models (VLMs) worden steeds vaker ingezet voor geautomatiseerd rijden vanwege hun redeneervermogen en generalisatiecapaciteit voor "long-tail" scenario's (onverwachte situaties). Echter, deze modellen falen vaak op simpele visuele vragen die cruciaal zijn voor het verkeer (bijv. "Is er een voetganger?" of "In welke richting kijkt hij?"). De oorzaken van deze fouten zijn slecht begrepen. Bestaande VLM-architecturen bestaan uit drie componenten: een visuele encoder, een projector en een Large Language Model (LLM). Wanneer een model faalt, is het onduidelijk of dit komt door een tekortkoming in de visuele extractie, degradatie door de projector, of een onvermogen van de LLM om visuele informatie te koppelen aan taal. Er is een gebrek aan inzicht in waar precies de "bottlenecks" in de informatiestroom liggen, vooral voor lichtgewicht modellen die geschikt zijn voor voertuighardware.

Methodologie

De auteurs gebruiken een lineaire probe-methode om te analyseren hoe specifieke visuele concepten lineair gecodeerd zijn in de tussentijdse activaties van de VLM.

1. Contravante Dataset (Counterfactual Sets):

   • Er zijn gesynthetiseerde datasets gegenereerd met behulp van de CARLA-simulator.
   • De datasets bevatten beeldparen die identiek zijn, behalve voor één specifiek visueel concept.
   • De onderzochte concepten zijn:
     • Aanwezigheid: Is er een object (voetganger/barrel) aanwezig?
     • Aantal: Hoeveel objecten zijn er (0-4)?
     • Ruimtelijke relatie: Waar bevindt zich een object ten opzichte van een ander (links/rechts van de weg, welke knipperlicht brandt)?
     • Oriëntatie: In welke richting beweegt een object (links/rechts)?
   • De objecten worden op verschillende afstanden geplaatst (5m tot 50m) om het effect van afstand te testen.

2. Modelselectie:

   • Er zijn vier state-of-the-art (SOTA) VLMs onder de 4 miljard parameters getest (geschikt voor voertuigen): Ovis2.5, InternVL3.5, en twee varianten van VST (VST-SFT en VST-RL).

3. Activatie-extractie en Probing:

   • Activaties worden geëxtraheerd uit elke laag van de visuele encoder, de projector en de LLM.
   • Om de 2D-activaties om te zetten naar 1D voor lineaire probes, worden twee strategieën gebruikt:
     • Average Pooling: Gemiddelde van alle patch-activaties (test op expliciete lineaire codering).
     • Region Pooling: Het beeld wordt opgesplitst in linker- en rechterhelften om minimale ruimtelijke structuur te behouden (test op impliciete codering via ruimtelijke structuur).
   • Er worden eenvoudige lineaire classificatoren getraind op deze activaties om te zien of ze de concepten kunnen onderscheiden.

4. Validatie:

   • Cosine Similarity: Om te verifiëren of de probes dezelfde concept-richting leren in plaats van dataset-specifieke ruis.
   • Activation Steering: Het toevoegen van de geleerde probe-vector aan de activaties tijdens generatie om te testen of dit causaal de output van het model verandert.
   • Out-of-Distribution: Testen op echte data (nuScenes) om generalisatie te beoordelen.

Belangrijkste Bijdragen

1. Analyse van Informatiestroom: Een diepgaande analyse van hoe visuele informatie door de lagen van kleine VLMs stroomt voor vier kritieke verkeersconcepten.
2. Definitie van Falen: Het identificeren van twee distincte faalmodi:
   • Perceptuele Fout: Visuele informatie is niet lineair gecodeerd in de activaties (de informatie is "verloren" of niet bruikbaar).
   • Cognitieve Fout: Visuele informatie is wel lineair gecodeerd (hoge probe-accuracy), maar het model slaagt er niet in om deze correct te koppelen aan de taalsemantiek om het juiste antwoord te genereren.
3. Invloed van Afstand: Het aantonen dat de kwaliteit van visuele representaties snel degradeert naarmate objecten verder weg zijn, zelfs voor simpele concepten zoals aanwezigheid.

Resultaten

• Expliciete vs. Impliciete Codering:
  • Aanwezigheid: Wordt expliciet en lineair gecodeerd, vooral op korte afstanden. De LLM kan deze codering zelfs verbeteren door de vraag te gebruiken als context.
  • Ruimtelijke Relaties: De visuele encoder codeert deze niet expliciet lineair, maar behoudt wel voldoende ruimtelijke structuur (via region pooling) zodat de LLM dit later kan afleiden. Er is een "spike" in probe-accuracy in de middenlagen van de LLM waar deze informatie expliciet wordt gemaakt.
  • Oriëntatie: Wordt over het algemeen niet expliciet lineair gecodeerd in de activaties. De visuele encoder behoudt soms impliciete structuur, maar de LLM faalt vaak om dit om te zetten in een lineair scheidbare representatie voor het eindantwoord.
• Afstandseffect: De lineaire scheidbaarheid van concepten neemt snel af bij grotere afstanden (30-50m). De visuele encoder is hier de primaire bottleneck.
• Falensoorten:
  • Er is een significante kloof tussen de nauwkeurigheid van de probes en het daadwerkelijke model.
  • Perceptuele fouten treden op bij lange afstanden of complexe ruimtelijke taken.
  • Cognitieve fouten treden vaak op bij taken zoals het tellen van objecten of oriëntatie, waarbij de informatie wel aanwezig is in de laatste laag, maar het model het verkeerde antwoord kiest.
• Modelverschillen:
  • Ovis2.5 presteert over het algemeen het beste, vooral bij ruimtelijke taken.
  • InternVL3.5 toont een uniek patroon waar de codering in de eerste LLM-lagen daalt voordat deze herstelt, en de projector fungeert hier als een sterke bottleneck voor oriëntatie.
  • VST (specifiek getraind voor ruimtelijk inzicht) toont meer cognitieve fouten dan Ovis2.5, wat suggereert dat training alleen niet voldoende is om de koppeling tussen visie en taal te optimaliseren.

Betekenis en Conclusie

De studie biedt een cruciaal inzicht in waarom VLMs falen in geautomatiseerd rijden. Het onderscheid tussen perceptuele en cognitieve fouten is essentieel voor het ontwikkelen van oplossingen:

• Perceptuele fouten vereisen verbeteringen in de visuele encoder of de projector.
• Cognitieve fouten vereisen een betere afstemming (alignment) tussen visuele features en de taalruimte van de LLM tijdens het trainingsproces.

De bevindingen benadrukken dat het analyseren van de volledige architectuur (end-to-end) noodzakelijk is, in plaats van alleen de LLM te bekijken. Voor de toepassing in geautomatiseerd rijden is het zorgwekkend dat de representatiekwaliteit bij grotere afstanden (waar kritieke objecten vaak staan) sterk afneemt, wat de betrouwbaarheid van deze modellen in realistische verkeersscenario's in gevaar brengt.