Where To Look? : Causal Tracing of Vision Encoders in VLM

Das Dilemma des Detektivs: Wie sehen KI-Augen eigentlich?

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, die Welt zu verstehen. Sie geben ihm eine Kamera und ein Gehirn und bitten ihn, ein Bild eines Hundes zu beschreiben. Jahrelang waren Wissenschaftler erstaunt darüber, dass diese „Vision-Language-Modelle“ (VLMs) dies mit unglaublicher Genauigkeit können. Doch eine hartnäckige Frage blieb: Wie machen sie das eigentlich? „Sehen“ sie den Hund wirklich so, wie wir es tun, oder raten sie nur basierend auf winzigen, verborgenen Hinweisen?

Um dem auf den Grund zu gehen, nutzen Forscher eine Technik namens kausale Verfolgung (causal tracing). Stellen Sie sich das wie das „Was-wäre-wenn“-Szenario eines Detektivs vor. Wenn Sie ein bestimmtes Stück Information aus dem Gehirn des Roboters nehmen und durch ein anderes ersetzen, ändert sich dann die Antwort? Wenn sich die Antwort drastisch ändert, war dieses Stück Information „kausal wichtig“. Normalerweise gehen wir davon aus, dass, wenn ein Roboter über einen Hund spricht, der wichtigste Teil seines Gehirns direkt auf den Hund schauen muss. Aber was, wenn der Roboter in Wirklichkeit auf das Gras, den Himmel oder die Schatten achtet und einfach nur rät, dass dort ein Hund ist? Dieses Paper taucht in dieses Geheimnis ein und fragt, ob die Teile der KI, die am wichtigsten sind, tatsächlich an den richtigen Stelle schauen.

---

Wohin schauen? Die große KI-Irreführung

In dieser Studie beschlossen die Forscher der LINGO Research Group, ein Spiel namens „Unterschiede finden“ mit einigen der klüsten KI-Modelle der Welt zu spielen. Sie wollten wissen: Wenn eine KI eine Frage zu einem Bild beantwortet, schaut der Teil ihres Gehirns, der die Schwerstarbeit leistet, tatsächlich auf das betreffende Objekt?

Um das herauszufinden, verwendeten sie einen cleveren Trick namens Aktivierungspatchen (activation patching). Stellen Sie sich das Gehirn der KI wie eine riesige Fabrik mit tausenden von Arbeitern (genannt „Tokens“) vor, die sich Notizen auf einem Förderband weitergeben.

1. Der saubere Durchlauf: Sie zeigen der KI ein klares Foto und eine Frage, wie zum Beispiel: „Wo ist die Dame im blauen Hemd?“ Die KI gibt eine Punktzahl dafür ab, wie gut sie das Bild versteht.
2. Der korrumpierte Durchlauf: Sie nehmen dasselbe Foto und fügen eine Menge statisches Rauschen hinzu (wie wenn man den Fernseher auf einen verrauschten Kanal stellt), sodass die KI verwirrt wird und ihre Punktzahl sinkt.
3. Der gepatchte Durchlauf: Dies ist der magische Schritt. Sie nehmen das „verwirrte“, verrauschte Foto, schleusen aber eine einzige, saubere Notiz aus dem Originalfoto in die Fabriklinie ein. Wenn die KI sich plötzlich wieder an die Antwort erinnert und die Punktzahl wieder steigt, war dieses spezifische Token das „Heldentoken“.

Die Forscher stellten dann eine einfache Frage: Kam dieses Heldentoken aus dem Teil des Bildes, der die Dame im blauen Hemd zeigt? Um dies zu messen, verwendeten sie ein mathematisches Werkzeug namens IoU (Intersection over Union), was nur eine schicke Art ist zu fragen: „Wie stark überschneidet sich diese Notiz mit der tatsächlichen Dame?“

Die schockierende Entdeckung: Die KI schaut überall hin – außer an den richtigen Ort

Die Ergebnisse waren ein wenig so, als fände man heraus, dass der beste Freund eines Mathematikers eine Aufgabe löst, indem er an die Decke starrt, anstatt auf die Zahlen zu schauen.

Das Team testete alles – vom klassischen CLIP-Modell bis hin zu massiven, modernen Giganten wie DeepSeek-VL, Qwen-2.5 und LLaVA. Sie erwarteten zu finden, dass die meisten „kausalen“ Tokens (die Helden) direkt auf dem Zielobjekt konzentriert sein würden. Stattdessen fanden sie eine schwache, fast nicht existierende Verbindung.

• Die Zahlen lügen nicht: Im CLIP-Modell lag die Korrelation zwischen „wichtig sein“ und „am richtigen Ort sein“ bei nur 0,062. Das ist praktisch null.
• Das Muster hält sich: Selbst in den größeren, intelligenteren Modellen blieben die Zahlen niedrig. Für DeepSeek-VL lag die Korrelation bei 0,0531 ± 0,0334 mit einer Art von Rauschen und bei 0,0520 ± 0,0041 mit einer anderen. Für Qwen-2.5 lag sie bei 0,0912 ± 0,0422.
• Die „Null-Überlappung“-Überraschung: In einem spezifischen Beispiel hatte ein Token, das einen massiven Einfluss auf die Antwort hatte (ein kausaler Score von 0,718), fast gar keine Überlappung mit dem Zielobjekt (ein IoU von nur 0,049). Es war, als hätte die KI das Rätsel gelöst, indem sie auf den Hintergrund schaute, nicht auf das Subjekt.

Die Autoren legen nahe, dass diese Modelle unglaublich gut darin sind, visuelle Informationen zu nutzen, aber nicht unbedingt in der spezifischen Lage dieser Informationen verankert (grounded) sind. Sie verlassen sich möglicherweise auf ein „verteiltes“ Netz von Hinweisen – wie die Farbe des Himmels, die Textur des Bodens oder die allgemeine Stimmung der Szene – anstatt auf das spezifische Objekt heranzuzoomen.

Bedeutet größer auch besser?

Sie denken vielleicht: „Nun, vielleicht waren die älteren, kleineren Modelle einfach schlecht darin, und die neuen Super-KIs haben das behoben.“ Die Forscher prüften dies ebenfalls. Sie untersuchten Modelle von 2023 bis hin zu den neuesten Veröffentlichungen aus dem Jahr 2025.

Das Urteil? Nö. Das Muster änderte sich nicht. Selbst die fortschrittlichsten Modelle, die komplexe Fragen beantworten und Anweisungen perfekt befolgen können, zeigen immer noch diese Diskrepanz. Die Autoren merken an, dass allein die Tatsache, dass ein Modell eine höhere Punktzahl in einem Test erzielt, nicht bedeutet, dass es eine bessere „räumliche Karte“ des Bildes entwickelt hat. Es scheint, dass eine starke Leistung nicht automatisch bedeutet, dass die KI an den richtigen Stelle schaut; es bedeutet nur, dass sie sehr gut darin ist, die richtige Antwort unter Verwendung der Hinweise zu erraten, die sie finden kann.

Der „Schnur-Test“: Verstehen sie Formen?

Um noch tiefer zu graben, stellte das Team eine andere Frage: Wenn man das „Aussehen“ eines Objekts wegnimmt, aber seine Form beibehält, versteht die KI es dann immer noch? Sie verwendeten eine Aufgabe mit Schnüren (Linien), bei der sie die Geometrie (die Form und Verbindungen) gleich ließen, aber das Erscheinungsbild änderten.

Sie fanden heraus, dass die Modelle visuelle Merkmale ausnutzen, um visuelle Strukturen zu verstehen. Wenn diese auf dem Aussehen basierenden Merkmale entfernt wurden, hatten die Modelle Schwierigkeiten, ihr Verständnis der Struktur aufrechtzuerhalten. Dies deutet darauf hin, dass die KI die Form nicht auf eine tiefe, strukturelle Weise unabhängig von ihrem Aussehen „sieht“; sie verlässt sich stark auf diese oberflächlichen Erscheinungs-Tricks, um die Verbindungen zu begreifen. Wenn diese Tricks wegfallen, verliert sich die KI.

Was das für die Zukunft bedeutet

Das Paper schließt mit einer klaren, wenn auch etwas beunruhigenden Botschaft: Es gibt eine Lücke zwischen „Sehen“ und „Schlussfolgern“.

Die Modelle sind nicht kaputt; sie arbeiten nur auf eine Weise, die wir nicht erwartet haben. Sie sind wie ein Detektiv, der ein Verbrechen lösen kann, indem er bemerkt, dass der Verdächtige immer einen roten Hut trägt, ohne jemals das Gesicht des Verdächtigen angesehen zu haben. Die „kausalen“ Teile ihres Gehirns leisten die Arbeit, aber sie schauen nicht zwangsläufig auf das Ziel.

Die Autoren planen nun, noch mehr Modelle und verschiedene Arten von Kamera-Architekturen zu untersuchen, um zu sehen, ob dies eine universelle Regel für alle modernen KIs ist oder nur eine Besonderheit der von ihnen getesteten Modelle. Für den Moment schlagen sie vor, dass wir nicht davon ausgehen sollten, dass eine KI, die ein Bild perfekt beschreiben kann, das Objekt auch wirklich so „sieht“, wie wir es denken. Die KI mag das ganze Bild sehen, aber den spezifischen Punkt, der uns wichtig ist, dabei übersehen.