Nodes Are Early, Edges Are Late: Probing Diagram Representations in Large Vision-Language Models

Die Studie zeigt, dass große Vision-Language-Modelle Knoteninformationen bereits im visuellen Encoder linear kodieren, während die Darstellung von Kanten erst in den Text-Token des Sprachmodells entsteht, was die Schwierigkeiten dieser Modelle beim Verständnis von Beziehungen und Richtungen in Diagrammen erklärt.

Das Wesentliche

Das große Rätsel: Warum verstehen KI-Modelle Diagramme nicht ganz richtig?

Stell dir vor, du hast einen sehr klugen Roboter (eine sogenannte „Large Vision-Language Model" oder LVLM), der Bilder und Texte lesen kann. Wenn du ihm einen wissenschaftlichen Graphen oder ein Flussdiagramm zeigst, kann er oft sagen: „Das ist ein roter Kreis" oder „Hier sind fünf Punkte". Das funktioniert super.

Aber wenn du ihn fragst: „Welche Richtung zeigt der Pfeil von Punkt A zu Punkt B?" oder „Verbindet diese Linie diese beiden Punkte?", dann stolpert der Roboter. Er verwechselt die Richtung oder sieht die Verbindung gar nicht.

Die Forscher aus dieser Studie wollten herausfinden: Warum ist das so? Wo genau im Gehirn des Roboters hakt es?

Die Untersuchung: Ein künstliches Labor

Um das herauszufinden, haben die Forscher kein echtes, chaotisches Diagramm aus dem echten Leben genommen. Stattdessen haben sie ein künstliches Labor gebaut.

• Sie erstellten einfache Diagramme mit bunten Punkten (Knoten) und Linien (Kanten).
• Sie stellten sicher, dass alles perfekt kontrolliert war: Immer 5 Punkte, immer bestimmte Farben, klare Linien.
• Das ist wie ein Test mit Lego-Steinen, bei dem man genau weiß, wo welcher Stein liegt, um zu sehen, wie der Roboter ihn verarbeitet.

Die Entdeckung: „Punkte sind früh, Linien sind spät"

Das ist der Kern der Entdeckung, der im Titel des Papers steckt: „Nodes Are Early, Edges Are Late" (Knoten sind früh, Kanten sind spät).

Stell dir das Gehirn des Roboters wie eine Forschungskette vor, in der Informationen von einem Team zum nächsten wandern:

1. Das Sehen-Team (Vision Encoder):

   • Wenn der Roboter das Bild sieht, scannt er es in kleinen Flecken ab.
   • Die Entdeckung: Das Sehen-Team erkennt die Punkte (Knoten) sofort! Wenn ein Punkt rot ist, weiß das Sehen-Team das sofort in einem bestimmten Fleck des Bildes. Auch globale Dinge wie „Wie viele Punkte gibt es insgesamt?" werden hier schon erfasst.
   • Aber: Die Linien (Kanten) und Pfeile? Die werden vom Sehen-Team nicht richtig verstanden. Sie sind für dieses Team noch unscharf oder nicht klar getrennt. Es ist, als würde das Sehen-Team sagen: „Ich sehe rote und blaue Flecken, aber was die Verbindung zwischen ihnen bedeutet, weiß ich noch nicht."

2. Das Denken-Team (Language Model):

   • Die Informationen wandern nun zum Text-Teil des Roboters, wo eigentlich die Sprache verarbeitet wird.
   • Die Entdeckung: Hier passiert das Magische. Erst wenn die Informationen in den Text-Token (den Wörtern der Frage) ankommen, werden die Linien plötzlich klar.
   • Wenn der Roboter die Frage liest: „Welche Farbe hat die Linie zwischen A und B?", dann „wacht" das Wissen über die Linie erst in diesem Moment auf.

Die Metapher:
Stell dir vor, du siehst ein Bild von zwei Freunden, die sich die Hand geben.

• Dein Auge (Vision Encoder) erkennt sofort: „Da ist ein Mann in Rot" und „Da ist eine Frau in Blau". Das ist einfach.
• Aber dein Gehirn muss erst arbeiten, um zu verstehen: „Aha, sie halten sich an der Hand, und zwar in diese Richtung!"
• Bei diesen KI-Modellen ist das Auge so gut, dass es die Personen sofort erkennt. Aber das Gehirn (der Text-Teil) muss die Verbindung erst „nachdenken", bevor es sie als klare Information speichern kann.

Warum ist das ein Problem?

Weil das Verstehen von Beziehungen (wer ist mit wem verbunden? wohin zeigt der Pfeil?) eine komplexe Aufgabe ist.
Da die Information über die Linien erst so spät im Prozess (im Text-Teil) klar wird, ist sie für das Modell schwerer zu nutzen. Es ist, als würde man versuchen, ein Puzzle zu lösen, bei dem die Ecken sofort sichtbar sind, aber die Verbindungslinien zwischen den Teilen erst im letzten Moment auftauchen. Das macht es schwierig, die Logik des Ganzen zu verstehen.

Der Beweis: Der „Kleber"-Test

Um sicherzugehen, dass diese Information wirklich wichtig ist, haben die Forscher einen kleinen Trick angewendet (Causal Intervention).
Sie haben sich vorgestellt, dass sie die „Gedanken" des Roboters über die Punkte und Linien manipulieren.

• Sie haben die Informationen über die Punkte im Sehen-Teil „verwischt" (ersetzt durch Durchschnittswerte).
• Ergebnis: Der Roboter wurde sofort dumm. Er konnte die Farbe der Punkte nicht mehr nennen. Das beweist: Die Information war da und wurde benutzt.
• Bei den Linien war es schwieriger, weil diese Information im Sehen-Teil gar nicht so klar war.

Fazit für den Alltag

Diese Studie zeigt uns, dass KI-Modelle nicht alles auf einmal „sehen".

• Sie sind Experten für Objekte (Punkte, Farben, Formen).
• Sie sind aber noch Anfänger bei Beziehungen (Linien, Pfeile, Verbindungen), weil diese Informationen erst sehr spät im Denkprozess klar werden.

Das erklärt, warum KI heute oft toll Bilder beschreiben kann, aber bei komplexen Diagrammen oder Logikrätseln, bei denen es auf die Verbindungen ankommt, noch Fehler macht. Die Forscher hoffen, dass dieses Wissen hilft, die nächsten Generationen von KIs zu bauen, die nicht nur die Teile sehen, sondern auch die Verbindungen zwischen ihnen verstehen.

Technische Zusammenfassung

1. Problemstellung

Große Vision-Language-Modelle (LVLMs) zeigen zwar beeindruckende Leistungen bei Benchmarks zum Verständnis von Diagrammen, scheitern jedoch häufig an der korrekten Erfassung von Beziehungen zwischen Elementen, insbesondere wenn diese durch Knoten und gerichtete Kanten (z. B. Pfeile, Linien) dargestellt werden.
Die zentrale Frage ist: Warum haben LVLMs Schwierigkeiten, relationale Informationen (wie Kantenrichtungen) zu verstehen, während sie einfache visuelle Attribute (wie Knotenfarbe) gut erkennen? Bisherige Arbeiten haben die internen Repräsentationen von Diagramm-Elementen (Knoten, Kanten, globale Struktur) in LVLMs noch nicht umfassend analysiert. Es bleibt unklar, wann und wo diese Informationen im Modell linear trennbar (d. h. explizit kodiert) werden.

2. Methodik

Um diese Lücke zu schließen, führen die Autoren eine umfassende Analyse der internen Repräsentationen durch, basierend auf folgenden Schritten:

• Synthetischer Datensatz: Es wurde ein kontrollierter Datensatz aus synthetischen Diagrammen (gerichtete Graphen) erstellt. Dieser umfasst 5 Knoten pro Diagramm mit variierenden Farben, Formen und Kantenverbindungen.
  • Um „Shortcut-Learning" (das Ausnutzen oberflächlicher Merkmale ohne echtes Verständnis) zu vermeiden, wurden zwei Varianten erstellt: Drand (zufällige Layouts) und Dfix (feste Layouts).
  • Ein spezieller Datensatz D⊥ enthält Diagramme, in denen die abgefragten Elemente (z. B. Knoten A) gar nicht existieren, um sicherzustellen, dass das Modell zuerst die Existenz prüft.
• Probing (Abtastung): Die Autoren trainieren lineare Klassifikatoren (Probes) auf den versteckten Zuständen (Hidden States) sowohl des Vision Encoders als auch des Language Models.
  • Ziel: Zu bestimmen, in welchen Schichten und an welchen Positionen (Image Patches oder Text-Tokens) Informationen wie Knotenfarbe, Kantenrichtung oder globale Struktur linear decodierbar sind.
  • Kategorien: Die Aspekte wurden in Single (lokal um einen Knoten), Multiple (Kombination, z. B. Kanten zwischen zwei Knoten) und Global (gesamtes Diagramm) unterteilt.
• Kausale Intervention: Um zu beweisen, dass die gefundenen Repräsentationen nicht nur vorhanden, sondern auch kausal für die Inferenz genutzt werden, wurden Hidden States mit hoher Probing-Accuracy durch den Durchschnitt anderer States ersetzt („Patchen"). Ein Leistungsabfall bei der VQA-Aufgabe (Visual Question Answering) nach dieser Manipulation bestätigt den kausalen Einfluss.

3. Wichtige Beiträge

1. Neuer synthetischer Datensatz: Ein kontrollierbarer Testdatensatz für Diagramme, der Verzerrungen natürlicher Bilder minimiert und eine feingranulare Analyse ermöglicht.
2. Entdeckung des „Early vs. Late"-Phänomens: Die Arbeit zeigt erstmals, dass die zeitliche und räumliche Kodierung von Diagramminformationen stark vom Informationstyp abhängt.
3. Kausale Validierung: Durch Interventionsexperimente wird nachgewiesen, dass die im Vision Encoder linear kodierten Informationen tatsächlich für die Schlussfolgerung genutzt werden.

4. Ergebnisse

Die Analyse der Modelle (hauptsächlich Qwen3-VL-8B, aber auch Qwen2.5-VL, LLaVA1.5, Gemma3) ergab folgende Kernbefunde:

• Knoten-Informationen (Early):
  • Informationen wie Knotenfarbe, -form und -anzahl sind bereits im Vision Encoder linear trennbar.
  • Diese Repräsentationen sind lokalisiert: Sie finden sich in den Hidden States der Bild-Patches, die den entsprechenden Knoten positionell entsprechen.
  • Globale Informationen (z. B. Gesamtzahl der Knoten) sind ebenfalls im Vision Encoder linear kodiert, verteilen sich jedoch breit über Hintergrund-Patches (Aggregationspunkte).
• Kanten-Informationen (Late):
  • Informationen über Kanten (Farbe, Stil, Existenz, Richtung) sind im Vision Encoder nicht linear trennbar. Die Probing-Accuracy bleibt hier nahe dem Zufallsniveau.
  • Erst im Language Model, spezifisch in den Text-Tokens, die die Frage oder die Zielknoten referenzieren, werden Kanteninformationen linear kodiert.
  • Das Modell aggregiert die visuellen Informationen aus dem Bild erst durch den Text-Kontext („Text Conditioning") zu einer für Kanten relevanten Repräsentation.
• Leistungskorrelation:
  • Die Schwierigkeit, Kantenrichtungen zu erkennen (niedrige VQA-Accuracy), korreliert direkt mit der Tatsache, dass diese Information erst spät (im Text-Teil des LMs) linear verfügbar ist.
  • Bei der Kausalintervention führte das „Patchen" von Knoten-Informationen im Vision Encoder zu einem starken Leistungsabfall, während das Patchen von Kanten-Informationen kaum Auswirkungen hatte (da diese dort noch nicht linear kodiert waren).

5. Bedeutung und Fazit

Die Studie liefert tiefgreifende Einblicke in die Architektur von LVLMs beim Umgang mit strukturierten visuellen Daten:

• Unterschiedliche Verarbeitungswege: LVLMs verarbeiten lokale visuelle Attribute (Knoten) und relationale Strukturen (Kanten) auf fundamental unterschiedliche Weise. Knoten werden „früh" und direkt im visuellen Encoder erfasst, während Beziehungen eine „späte" Integration im Sprachmodell erfordern.
• Erklärung für Schwächen: Die Verzögerung bei der linearen Kodierung von Kanteninformationen erklärt, warum LVLMs bei relationalen Aufgaben (wie dem Verstehen von Pfeilrichtungen oder Pfaden) oft scheitern. Diese Aufgaben erfordern abstraktere, kompositionelle Prozesse, die über die reine visuelle Extraktion hinausgehen.
• Zukunftsperspektive: Die Ergebnisse deuten darauf hin, dass zukünftige Diagramm-Verständnissysteme oder Architekturen verbessert werden müssen, um relationale Informationen bereits früher im visuellen Verarbeitungsprozess explizit zu kodieren, anstatt sie ausschließlich dem Sprachmodell zur späteren Integration zu überlassen.

Zusammenfassend zeigt das Paper, dass das Verständnis von Diagrammen in LVLMs nicht einheitlich ist, sondern stark von der Art des visuellen Elements abhängt, wobei Kantenbeziehungen eine signifikante Herausforderung für die aktuelle Architektur darstellen.