🤖 AI

Binding Visual Features Point by Point

Dieser Artikel zeigt, dass das Trainieren von Vision-Language-Modellen zum Zeigen mittels Text einen internen sequenziellen visuellen Suchmechanismus induziert, der das Bindungsproblem effektiv löst, Fehler bei der Merkmalbindung eliminiert und eine kompositionelle Generalisierung in Szenen mit mehreren Objekten ermöglicht.

Ursprüngliche Autoren: Udith Haputhanthri, Declan Campbell, Rim Assouel, Jonathan D. Cohen, Taylor W. Webb

Veröffentlicht 2026-05-26

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Udith Haputhanthri, Declan Campbell, Rim Assouel, Jonathan D. Cohen, Taylor W. Webb

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie schauen durch ein Fenster auf eine belebte Party. Sie sehen einen roten Hut, einen blauen Hut, ein rotes Hemd und ein blaues Hemd. Wenn Sie einen schnellen Blick werfen, könnte Ihr Gehirn verwirrt werden und denken: „Diese Person trägt ein rotes Hemd und einen blauen Hut!" Diese Verwechslung wird als Bindungsproblem bezeichnet. Es tritt auf, wenn Ihr Gehirn die einzelnen Teile (rot, blau, Hut, Hemd) wahrnimmt, aber Schwierigkeiten hat, sie korrekt der richtigen Person zuzuordnen.

Lange Zeit waren Computer (speziell Vision Language Models, oder VLMs) hervorragend darin, zu erkennen, was auf einem Bild zu sehen ist, doch sie machen weiterhin dieselben „fehlerhaften" Fehler, wenn es darum geht, viele Objekte zu zählen oder zu sortieren. Sie sehen die Farben und Formen, können aber nicht verfolgen, welche Farbe zu welcher Form gehört.

Diese Arbeit untersucht, warum Computer dabei versagen und wie ein bestimmter Trick namens „Zeigen" dies behebt. Hier ist die Aufschlüsselung:

1. Das Problem: Das „unscharfe Gruppenfoto"

Die Autoren stellten fest, dass diese KI-Modelle versuchen, das gesamte Bild auf einmal zu verarbeiten, wie ein unscharfes Gruppenfoto, auf dem alle übereinander stehen. Da die KI alles gleichzeitig betrachtet, vermischen sich die Merkmale (wie „rot" und „Kreis"). Es ist, als würde man versuchen, fünf Personen gleichzeitig sprechen zu hören; man hört die Worte, kann aber nicht sagen, wer was gesagt hat.

2. Die Lösung: Die „Taschenlampe"-Strategie

Die Arbeit untersucht eine Methode, bei der die KI trainiert wird, Objekte einzeln zu markieren, bevor sie eine Frage beantwortet. Anstatt zu sagen „Es gibt 5 rote Kreise", wird die KI gezwungen zu sagen:

„Markierung 1: Roter Kreis bei (x, y)."
„Markierung 2: Roter Kreis bei (x, y)."
...und so weiter.

Die Forscher entdeckten, dass dies nicht nur eine ausgefallene Sprechweise ist. Wenn die KI dies tut, verändert sich tatsächlich die Funktionsweise ihres „Gehirns". Sie schaltet vom Betrachten des gesamten unscharfen Gruppenfotos auf die Verwendung einer mentalen Taschenlampe um. Sie richtet das Licht auf ein Objekt, fokussiert sich darauf, notiert die Koordinaten und dann bewegt sie das Licht zum nächsten Objekt.

3. Die „Suchköpfe": Der neue Muskel der KI

Die Autoren gruben tief im Code der KI (ihrem neuronalen Netzwerk) nach, um zu sehen, was unter der Haube passiert. Sie fanden eine spezifische Gruppe von Neuronen, die sie „Suchköpfe" nennen.

Stellen Sie sich diese als ein spezialisiertes Team von Arbeitern innerhalb der KI vor. Wenn die KI nur ratet, sind diese Arbeiter untätig. Aber wenn die KI gezwungen wird zu „zeigen", wachen diese Arbeiter auf und beginnen eine strenge, schrittweise Routine:

Finde ein Objekt.
Konzentriere dich nur auf dieses Objekt.
Ignoriere alles andere.
Bewege dich zum nächsten.

Genau so lösen Menschen das Bindungsproblem. Wir sehen die gesamte Szene nicht auf einmal perfekt; wir scannen sie, indem wir uns jeweils auf eine Sache konzentrieren, um Verwirrung zu vermeiden. Die Arbeit beweist, dass wir, indem wir die KI zum Zeigen anleiten, ihr im Wesentlichen dieselbe „menschliche" Scan-Strategie beibringen.

4. Das Ergebnis: Keine Verwechslungen mehr

Die aufregendste Erkenntnis ist, dass die KI, sobald sie das Zeigen lernt, aufhört, die „rotes Hemd/blauer Hut"-Fehler zu machen.

Davor: Wenn Sie die KI aufforderten, 15 Objekte zu zählen, würde sie verwirrt werden und eine falsche Zahl angeben, weil sie sie alle nicht auseinanderhalten konnte.
Danach: Da sie sie einzeln scannt, kann sie 15, 20 oder sogar mehr Objekte perfekt zählen, selbst wenn sie noch nie so viele gesehen hat.

Die große Erkenntnis

Die Arbeit zeigt, dass der Grund, warum diese KI-Modelle bei komplexen Aufgaben versagen, nicht darin liegt, dass sie nicht „intelligent" genug sind, sondern dass sie versuchen, zu viel auf einmal zu tun. Indem wir sie zwingen, zu zeigen (was wie eine physische Anweisung wirkt, die Szene zu scannen), entsperren wir eine verborgene Fähigkeit, die Welt sequenziell zu verarbeiten – ein Gegenstand nach dem anderen.

Es ist wie der Unterschied zwischen dem Versuch, 10 Bälle gleichzeitig zu jonglieren (was zum Fallenlassen führt) und dem Aufheben und Ablegen in eine Kiste, einen nach dem anderen. Der „Zeige"-Trick lehrt die KI, sie einen nach dem anderen aufzuheben und die Verwirrung ein für alle Mal zu lösen.

Technische Zusammenfassung: Bindung visueller Merkmale Punkt für Punkt

Problemstellung

Vision Language Models (VLMs) haben auf Standard-Benchmarks erhebliche Erfolge erzielt, zeigen jedoch bei Szenen mit mehreren Objekten anhaltende Fehler, insbesondere bei Aufgaben, die eine präzise Zuordnung von Merkmalen (z. B. Farbe und Form) zu einzelnen Entitäten erfordern. Diese Fehler äußern sich als „Bindungsfehler", wie etwa die falsche Identifizierung eines blauen Kreises, wenn das Bild ein blaues Quadrat und einen roten Kreis enthält. Die Autoren identifizieren dies als das Bindungsproblem, eine Herausforderung, die in der Kognitionswissenschaft und Neurowissenschaft gut dokumentiert ist.

Die Kernursache wird auf kompositionelle Repräsentationen zurückgeführt. In VLMs werden Merkmale unter Verwendung gemeinsamer Ressourcen dargestellt (z. B. ein „blau"-Vektor und ein „Kreis"-Vektor). Bei der parallelen Verarbeitung mehrerer Objekte (Feedforward-Modus) erzeugen diese gemeinsamen Ressourcen Interferenzen, die zu fehlerhaften Merkmalszuordnungen führen. Während die menschliche Vision dies durch serielle Verarbeitung überwindet – indem sie Objekte nacheinander betrachtet, um Interferenzen zu vermeiden –, bleibt unklar, ob und wie VLMs einen ähnlichen Mechanismus übernehmen können.

Methodik

Die Studie untersucht, ob „Zeigen via Text" – ein Verfahren, bei dem Modelle trainiert werden, vor der Generierung einer endgültigen Antwort explizite räumliche Koordinaten für Objekte auszugeben – eine interne serielle visuelle Suchroutine induziert, die das Bindungsproblem löst.

1. Mechanistische Analyse von Bindungsfehlern

Die Autoren analysierten zunächst die Repräsentationsstruktur von VLMs (speziell Qwen2.5-VL-7B-Instruct) mittels Representational Similarity Analysis (RSA). Sie verglichen die internen Embeddings des Modells mit idealisierten Matrizen für kompositionelle (gemeinsame Merkmalsvektoren) und konjunktive (einzigartige Vektoren für jede Merkmalskombination) Repräsentationen.

Ergebnis: Die Repräsentationen des Modells stimmten eng mit dem kompositionellen Muster überein ( $r=0,9269$ ), was bestätigt, dass Interferenzen aus überlappenden Merkmalscodes entstehen.
Aufmerksamkeitsanalyse: Bei visuellen Suchaufgaben wurde festgestellt, dass die Aufmerksamkeit des Modells unverhältnismäßig stark auf Ablenkungen gelenkt wurde, die ein einzelnes Merkmal mit dem Ziel teilten, was eine aufmerksamkeitliche Interferenz bestätigte.

2. Untersuchung von Zeigen via Text

Die Studie konzentrierte sich auf das Molmo-7B-Modell, das zum Zeigen trainiert wurde. Die Autoren führten eine mechanistische Analyse durch, um festzustellen, ob dieses Training eine serielle Aufmerksamkeit induziert, ohne eine explizite Überwachung der internen Aufmerksamkeitszustände.

Ausrichtung von Aufmerksamkeit und Koordinaten: Sie berechneten den Root-Mean-Square Error (RMSE) zwischen dem Schwerpunkt der internen Aufmerksamkeitsverteilung des Modells und den im Textoutput generierten Koordinaten.
Kausale Mediationsanalyse: Um Kausalität nachzuweisen, führten sie Eingriffe durch, bei denen Aufmerksamkeitskarten für verschiedene Punkte in einer Sequenz ausgetauscht wurden. Sie identifizierten spezifische Aufmerksamkeitsköpfe, die für das serielle Suchverhalten verantwortlich sind.

3. Feinabstimmungsexperimente

Um die Effekte des Lernens des Zeigens zu isolieren, feinabstimmten die Autoren Qwen2.5-VL-7B-Instruct, Gemma-3-12B und LLaVA-1.5-7B-HF auf zwei stark bindungsabhängige Aufgaben: Visuelle Suche und Zählen.

Bedingungen: Sie verglichen ein Direct Answer-Modell (ein einziger Forward-Pass) mit einem Point-to-Answer-Modell (generiert Koordinaten für jedes Objekt, dann die Antwort).
Generalisierungstests: Modelle wurden auf begrenzten Verteilungen trainiert (z. B. 1 Ziel, 6–10 Objekte) und auf Out-of-Distribution (OOD)-Szenarien getestet (z. B. 30–50 Ziele, 11–15 Objekte, Bilder aus der realen Welt).

Hauptbeiträge und Ergebnisse

1. Identifizierung von „Such-Köpfen"

Die Analyse ergab, dass das Lernen des Zeigens einen spezifischen internen Mechanismus induziert:

Serielle Aufmerksamkeit: Die interne Aufmerksamkeit des Modells verschiebt sich fokussiert nacheinander auf ein Objekt, was eng mit den generierten Koordinaten übereinstimmt (niedrigster RMSE in den mittleren Schichten, speziell Schicht 19 bei Molmo).
Such-Köpfe: Die kausale Mediationsanalyse identifizierte eine spezifische Gruppe von Aufmerksamkeitsköpfen in Schicht 19 (genannt Such-Köpfe), die kausal für die Steuerung dieser seriellen Suchroutine verantwortlich sind. Das Ablationieren dieser Köpfe verschlechterte die Leistung erheblich, während das Ablationieren zufälliger Köpfe dies nicht tat.
Algorithmisches Verhalten: Das Modell behält eine intrinsische Reihenfolge und eine Aufzeichnung der gezählten Objekte bei. Eingriffe zeigten, dass das Modell bereits gezählte Objekte überspringt und sequentiell fortschreitet, was einen ausgeklügelten Algorithmus zur Verfolgung von Objekten demonstriert.

2. Lösung des Bindungsproblems

Die Feinabstimmungsexperimente zeigten, dass der Point-to-Answer-Ansatz das Bindungsproblem effektiv löst:

Eliminierung von Fehlern: Im Gegensatz zu Direct Answer-Modellen, die keine Generalisierung zeigten und bei OOD-Zählungen auf 0 % Genauigkeit fielen, behielten Point-to-Answer-Modelle eine hohe Genauigkeit über steigende Objektzahlen und Vielfalt hinweg.
Reduzierte Interferenz: Nach dem Training zeigten Point-to-Answer-Modelle eine signifikant reduzierte Aufmerksamkeit für Ablenkungen, die Merkmale mit dem Ziel teilten, während die ursprünglichen Modelle stark davon abgelenkt wurden.
OOD-Generalisierung: Die Point-to-Answer-Modelle generalisierten erfolgreich auf höhere Zielzahlen bei der visuellen Suche und größere Objektzahlen in Bildern aus der realen Welt, was darauf hindeutet, dass sie eine generalisierbare serielle Prozedur gelernt haben, anstatt statistische Abkürzungen zu nutzen.

3. Generalisierbarkeit über Modelle hinweg

Das Phänomen des Auftretens von Such-Köpfen und der verbesserten Bindungsleistung wurde über verschiedene Modellfamilien hinweg beobachtet (Qwen2.5-VL, Gemma-3, LLaVA), was darauf hindeutet, dass die Fähigkeit zur seriellen visuellen Aufmerksamkeit eine erlernbare Eigenschaft von VLMs ist, wenn sie mit expliziter räumlicher Verankerung trainiert werden.

Bedeutung und Behauptungen

Die Arbeit behauptet einen Proof-of-Principle zu liefern, dass das Trainieren von VLMs zum Zeigen via Text eine effektive Lösung für das Bindungsproblem ist. Die Bedeutung dieser Arbeit liegt in drei Hauptbereichen:

Mechanistische Erklärung: Sie erklärt, warum sequenzielles und verankertes visuelles Reasoning die Leistung verbessert, und geht über empirische Beobachtungen hinaus, indem sie die spezifischen internen Mechanismen (Such-Köpfe und serielle Aufmerksamkeitsroutinen) identifiziert, die dies ermöglichen.
Brückenschlag zwischen Kognitionswissenschaft und KI: Sie zeigt, dass VLMs um eine Fähigkeit zur seriellen visuellen Aufmerksamkeit erweitert werden können, die der menschlichen Vision analog ist, wodurch sie die Grenzen der parallelen Verarbeitung in Szenen mit mehreren Objekten überwinden können.
Generalisierung vs. Memorierung: Sie hebt hervor, dass Direct Answer-Modelle Aufgaben möglicherweise über statistische Regelmäßigkeiten lösen (was zu einem Ausfall bei der Generalisierung führt), während serielle Verarbeitung eine echte kompositionelle Generalisierung ermöglicht, indem sie das Bindungsproblem umgeht, während die Vorteile kompositioneller Repräsentationen erhalten bleiben.

Die Autoren schließen, dass das aktuelle Trainingsverfahren zwar auf überwachtem Fine-Tuning mit prozedural generierten Spuren basiert, die Ergebnisse jedoch nahelegen, dass die Integration serieller visueller Aufmerksamkeit in allgemeinere Trainingsverfahren (z. B. durch Reinforcement Learning) eine vielversprechende Richtung für zukünftige Forschung ist.