Probing Visual Concepts in Lightweight Vision-Language Models for Automated Driving

Diese Studie analysiert die inneren Aktivierungen von leichten Vision-Language-Modellen für den autonomen Fahrverkehr, um festzustellen, dass visuelle Konzepte wie Objektpräsenz linear kodiert sind, während räumliche Eigenschaften oft nur implizit vorliegen, und identifiziert dabei zwei Hauptfehlermodi: eine wahrgenommene Unfähigkeit, visuelle Informationen zu erfassen, sowie eine kognitive Unfähigkeit, diese mit Sprachsemantik korrekt abzugleichen.

Das Wesentliche

🚗 Das Rätsel der „dummen" KI im Auto

Stell dir vor, du hast einen sehr schlauen, aber manchmal etwas verwirrten Reisebegleiter in deinem selbstfahrenden Auto. Dieser Begleiter ist eine KI, die sowohl Bilder sehen als auch sprechen kann (ein sogenanntes Vision-Language Model). Er ist super darin, komplexe Dinge zu verstehen, aber manchmal scheitert er an ganz einfachen Fragen: „Ist da vorne ein Fußgänger?" oder „Wie viele Ampeln sind rot?"

Die Forscher aus Irland und von Valeo haben sich gefragt: Warum macht er solche Fehler? Ist er blind? Oder versteht er einfach nicht, was er sieht?

Um das herauszufinden, haben sie nicht nur auf das Ergebnis geschaut, sondern wie ein Mechaniker, der den Motor öffnet, direkt in das Gehirn der KI geschaut.

🔍 Der Werkzeugkasten: Der „Lineare Sonden"-Test

Stell dir vor, die KI ist wie eine riesige Fabrik mit vielen Abteilungen:

1. Die Kamera (Vision Encoder): Nimmt das Bild auf.
2. Der Übersetzer (Projector): Wandelt das Bild in eine Sprache um, die das Gehirn versteht.
3. Das Gehirn (LLM): Denkt nach und gibt die Antwort.

Die Forscher haben eine clevere Methode benutzt, die sie „Lineare Sonden" nennen.

• Die Analogie: Stell dir vor, du hast einen Haufen durcheinander gewürfelter Lego-Steine (die Daten im Gehirn der KI). Du willst wissen, ob darin ein roter Stein (z. B. ein Fußgänger) versteckt ist.
• Statt das ganze Haus zu bauen, nehmen die Forscher einen einfachen Magnet (die Sonde). Wenn sie den Magnet durch die Lego-Haufen fahren, zeigt er an: „Hier ist ein roter Stein!" oder „Hier ist keiner."

Sie haben das durch alle Abteilungen der KI gemacht, um zu sehen, wo der rote Stein verloren geht.

🎭 Die zwei Arten, wie die KI scheitert

Das war die große Entdeckung der Studie. Die KI kann auf zwei völlig verschiedene Arten versagen:

1. Der „Blinden"-Fehler (Perzeptives Versagen)

Hier ist das Problem, dass die Information gar nicht erst im Gehirn ankommt.

• Die Analogie: Stell dir vor, du stehst in einem dunklen Raum und jemand fragt dich: „Ist da eine rote Laterne?" Du kannst sie nicht sehen, weil es zu dunkel ist oder deine Brille schmutzig ist.
• In der KI: Die Kamera (Vision Encoder) hat das Bild nicht richtig „gesehen" oder die Information wurde auf dem Weg zum Gehirn so stark verzerrt, dass sie verschwunden ist. Die Sonde findet den roten Stein nicht. Die KI ist hier wirklich „blind".

2. Der „Verwirrten"-Fehler (Kognitives Versagen)

Das ist der lustigere und gefährlichere Teil. Hier ist die Information da, aber die KI nutzt sie falsch.

• Die Analogie: Stell dir vor, du stehst in einem hell erleuchteten Raum und siehst die rote Laterne ganz deutlich. Aber als dich jemand fragt: „Was ist das?", antwortest du aus Versehen: „Das ist ein blauer Ball." Du hast die Information gesehen, aber dein Gehirn hat sie falsch zugeordnet.
• In der KI: Die Sonde findet den roten Stein ganz klar im Gehirn der KI (die Information ist da!). Aber wenn die KI die Frage bekommt, verknüpft sie das Bild nicht richtig mit dem Wort „Fußgänger". Sie weiß es eigentlich, sagt es aber nicht.

📏 Das Problem mit der Entfernung

Ein weiterer wichtiger Punkt: Je weiter weg ein Objekt ist, desto schlechter funktioniert die KI.

• Die Analogie: Wenn ein Fußgänger 5 Meter entfernt ist, ist er wie ein riesiger Riese auf dem Bildschirm. Die KI sieht ihn klar. Wenn er aber 50 Meter entfernt ist, ist er nur noch ein winziger Punkt.
• Die Studie zeigt: Bei 50 Metern wird die Information so unscharf, dass selbst die „Linearen Sonden" sie kaum noch finden können. Für ein Auto, das in 50 Metern Bremsen muss, ist das ein riesiges Problem.

🧪 Was haben sie getestet?

Sie haben die KI mit künstlichen Bildern aus einem Videospiel (CARLA) gefüttert, bei denen sie nur eine Sache verändert haben:

• Anwesenheit: Ist da ein Fußgänger oder nicht?
• Anzahl: Sind es 1 oder 3 Fußgänger?
• Richtung: Geht der Fußgänger nach links oder rechts?
• Position: Ist der Fußgänger links oder rechts von der Straße?

Sie haben dabei gesehen, dass die KI bei „Ist da jemand?" (Anwesenheit) ziemlich gut ist, aber bei „Nach links oder rechts?" (Richtung) oft versagt.

🚀 Was bedeutet das für uns?

Die Forscher sagen: Wir müssen die KI nicht nur „besser trainieren", sondern sie besser verstehen.

• Wenn sie blind ist (Fehler 1), müssen wir die Kamera oder den Bild-Verstärker verbessern.
• Wenn sie verwirrt ist (Fehler 2), müssen wir das Training ändern, damit sie lernt, Bilder und Wörter besser zusammenzubringen.

Fazit: Diese kleinen KI-Modelle sind vielversprechend für Autos, aber sie haben noch Schwächen. Sie sind nicht „dumm", sie haben nur manchmal einen „Kopfschmerz" (kognitiver Fehler) oder eine „schlechte Brille" (perzeptiver Fehler). Wenn wir wissen, welcher Fehler vorliegt, können wir das Auto sicherer machen.

Technische Zusammenfassung

1. Problemstellung

Vision-Language-Modelle (VLMs) gewinnen zunehmend an Bedeutung für das autonome Fahren, da sie über starke reasoning- und Generalisierungsfähigkeiten verfügen, um seltene „Long-Tail"-Szenarien zu bewältigen. Dennoch scheitern diese Modelle oft an einfachen visuellen Fragen, die für den Straßenverkehr kritisch sind (z. B. „Ist ein Fußgänger vorhanden?" oder „In welche Richtung schaut das Fahrrad?").

Das Hauptproblem ist, dass die Ursachen für diese Fehler bisher unklar sind. Es ist nicht bekannt, ob das Versagen auf einem Mangel an visueller Information in den frühen Schichten (Vision Encoder), einer Degradierung durch den Projektor oder einer fehlerhaften Zuordnung der visuellen Merkmale zur Semantik im Large Language Model (LLM) beruht. Da VLMs komplexe Blackbox-Architekturen sind, ist es schwierig, spezifische Engpässe im Informationsfluss zu identifizieren, insbesondere bei ressourcenbeschränkten, leichten Modellen (< 4 Mrd. Parameter), die in Fahrzeughardware (z. B. NVIDIA Jetson) eingesetzt werden.

2. Methodik

Die Autoren entwickeln einen Framework zur Untersuchung der inneren Repräsentationen von VLMs durch Lineare Probes (lineare Klassifikatoren), die auf den Zwischenaktivierungen des Modells trainiert werden.

• Gegenfaktische Datensätze (Counterfactual Sets): Um isolierte visuelle Konzepte zu testen, wurden mit dem Simulator CARLA spezifische Bildpaare erstellt. Diese Paare sind in allen Aspekten identisch, unterscheiden sich jedoch nur in einem gezielten visuellen Konzept. Die untersuchten Konzepte sind:

  1. Präsenz: Vorhandensein oder Fehlen eines Objekts (Fußgänger, Verkehrskegel).
  2. Anzahl: Anzahl der Objekte (0 bis 4).
  3. Räumliche Beziehung: Position relativ zu einem anderen Objekt (z. B. Blinker links/rechts, Fußgänger links/rechts der Straße).
  4. Orientierung: Blickrichtung oder Bewegungsrichtung (links/rechts).
  • Zusätzlich wurde der Einfluss der Entfernung (5m bis 50m) systematisch variiert.

• Architektur-Analyse: Die Aktivierungen wurden aus vier Komponenten extrahiert:

  1. Vision Encoder: Schichtweise Extraktion der Patch-Aktivierungen.
  2. Projektor: Transformation der visuellen Features in den LLM-Raum.
  3. LLM: Analyse der visuellen Token und des letzten Text-Tokens.
  • Pooling-Strategien: Um räumliche Informationen zu erhalten, wurden zwei Methoden angewendet: Average Pooling (für globale Konzepte wie Präsenz) und Region Pooling (Aufteilung in linke/rechte Bildhälften für räumliche Konzepte).

• Getestete Modelle: Vier state-of-the-art (SOTA) leichte VLMs (< 4 Mrd. Parameter): Ovis2.5-2B, InternVL3.5-2B, VST-3B (in SFT- und RL-Varianten).

3. Wichtige Beiträge

1. Analyse des Informationsflusses: Erste detaillierte Untersuchung, wie visuelle Konzepte (Präsenz, Anzahl, räumliche Beziehung, Orientierung) durch die gesamte Architektur leichter VLMs für den autonomen Fahrkontext fließen und wo Engpässe entstehen.
2. Identifikation von Fehlermodi: Einführung und Unterscheidung zweier fundamentaler Fehlerarten:
   • Perzeptiver Fehler (Perceptual Failure): Die visuellen Informationen sind in den Aktivierungen des Modells nicht linear kodiert (der Probe gelingt keine Unterscheidung).
   • Kognitiver Fehler (Cognitive Failure): Die visuellen Informationen sind in den Aktivierungen vorhanden und linear trennbar (hohe Probe-Accuracy), aber das Modell nutzt sie nicht korrekt, um die richtige Antwort zu generieren (niedrige Modell-Accuracy).
3. Entfernungsabhängigkeit: Nachweis, dass die Qualität der visuellen Repräsentation mit zunehmender Entfernung des Objekts rapide abnimmt, selbst für einfache Konzepte wie die Präsenz.

4. Ergebnisse und Analyse

• Präsenz & Anzahl: Das Vorhandensein von Objekten wird in den mittleren bis späten Schichten des Vision Encoders und im LLM bei kurzen Entfernungen (5–20m) sehr gut linear kodiert. Bei größeren Entfernungen (30–50m) sinkt die Trennschärfe signifikant, was auf einen Engpass im Vision Encoder hindeutet. Die Anzahl wird ebenfalls gut kodiert, zeigt aber einen leichten Engpass im Projektor bei einigen Modellen.
• Räumliche Beziehungen & Orientierung:
  • Diese Konzepte werden im Vision Encoder nicht explizit linear kodiert (niedrige Accuracy bei Average Pooling).
  • Jedoch wird die räumliche Struktur implizit durch die räumliche Anordnung der Patches erhalten (hohe Accuracy bei Region Pooling).
  • Im LLM erfolgt eine „Recovery": In den mittleren Schichten des LLM steigt die Accuracy für räumliche Beziehungen stark an, da das Modell die räumlichen Hinweise nutzt, um die Information explizit zu kodieren.
  • Bei Orientierung ist die Kodierung insgesamt schwächer; das LLM scheitert oft daran, die implizite räumliche Information in eine explizite lineare Repräsentation für das letzte Token zu überführen.
• Fehlermodi:
  • Perzeptiver Fehler: Tritt häufig bei großen Entfernungen oder bei feinkörnigen Konzepten (Orientierung) auf, wo die Information bereits im Encoder verloren geht.
  • Kognitiver Fehler: Tritt häufig auf, wenn die Information zwar vorhanden ist (hohe Probe-Accuracy), das Modell aber versagt, diese mit der Sprachsemantik zu verknüpfen (z. B. bei InternVL3.5 und VST-Modellen). Ovis2.5 zeigt hier die geringste Anfälligkeit.
• Entfernungseffekt: Die lineare Trennbarkeit visueller Konzepte verschlechtert sich mit zunehmender Entfernung drastisch. Dies ist kritisch für den autonomen Verkehr, wo kritische Objekte oft weit entfernt sind.
• Validierung: Durch Activation Steering wurde gezeigt, dass die gelernten Richtungen der Probes kausal die Ausgabe des Modells beeinflussen (z. B. ändert sich die Beschreibung des Bildes, wenn die Aktivierung in Richtung „Vorhandensein" gesteuert wird). Die Probes generalisieren auch auf reale Daten (nuScenes).

5. Bedeutung und Fazit

Die Studie liefert entscheidende Einblicke in die Grenzen aktueller leichter VLMs im Kontext des autonomen Fahrens.

• Unterscheidung der Fehlerquellen: Die Trennung zwischen perzeptiven und kognitiven Fehlern ist essenziell, da sie unterschiedliche Lösungsstrategien erfordern. Perzeptive Fehler erfordern Verbesserungen des Vision Encoders (z. B. bessere Auflösung oder Fokus auf ferne Objekte), während kognitive Fehler durch bessere Trainingsstrategien zur Ausrichtung von visuellen Features und Sprachsemantik behoben werden müssen.
• Implikationen für die Praxis: Da kritische Verkehrsteilnehmer oft in größerer Entfernung liegen und feinkörnige räumliche Details (wie Orientierung) schlecht kodiert sind, sind aktuelle VLMs für sicherheitskritische Anwendungen noch nicht vollständig verlässlich.
• Zukunftsperspektive: Die Arbeit unterstreicht die Notwendigkeit, VLMs nicht nur als Blackbox zu betrachten, sondern deren interne Repräsentationen zu analysieren, um spezialisierte, zuverlässige Systeme für den autonomen Fahrkontext zu entwickeln.