Nodes Are Early, Edges Are Late: Probing Diagram Representations in Large Vision-Language Models

Dit onderzoek toont aan dat grote visueel-taalmodellen diagrammen beter begrijpen dan relaties tussen elementen, omdat informatie over knopen en structurele kenmerken al vroeg in de visuele encoder lineair gecodeerd is, terwijl randinformatie pas later in de taalmodulatie ontstaat, wat de moeite met het interpreteren van richtingen en relaties verklaart.

De kern

Titel: Waarom grote AI-modellen "knopen" sneller zien dan "lijnen"

Stel je voor dat een Large Vision-Language Model (LVLM) (zoals een slimme robot die zowel plaatjes als tekst begrijpt) een nieuwe taal moet leren: die van diagrammen. Denk aan stroomdiagrammen, netwerkafdelingen of organigrammen. Deze diagrammen bestaan uit twee dingen: knopen (de cirkels of blokken met tekst) en lijnen (de pijlen die aangeven hoe ze met elkaar verbonden zijn).

De onderzoekers van deze paper hebben ontdekt dat deze robot-modellen een heel vreemd probleem hebben: ze zijn uitstekend in het zien van de knopen, maar heel slecht in het begrijpen van de lijnen en de richting van de pijlen.

Hier is de uitleg in simpele taal, met een paar leuke vergelijkingen:

1. Het Probleem: De "Knoop" vs. De "Lijn"

Stel je voor dat je een robot een tekening laat zien met twee blokken (A en B) en een pijl die van A naar B wijst.

• Als je vraagt: "Wat is de kleur van blok A?", zegt de robot direct: "Rood!" (Hij is hier heel goed in).
• Als je vraagt: "Waar wijst de pijl heen? Van A naar B of van B naar A?", dan raakt de robot in paniek en gokt hij willekeurig. Hij begrijpt de relatie niet.

De onderzoekers wilden weten: Waar in het brein van de robot gebeurt dit?

2. De Methode: Een "Röntgenfoto" van het Brein

Om dit te achterhalen, hebben ze geen gewone tekeningen gebruikt, maar kunstmatige, simpele diagrammen (zoals in Figuur 2 van de paper). Dit is als het bouwen van een trainingscentrum waar alles perfect gecontroleerd is, zodat de robot niet kan "valsspelen" door te raden op basis van eerdere ervaringen.

Ze gebruikten een techniek die "probing" heet.

• De Analogie: Stel je voor dat je een detective bent die het brein van de robot openlegt. Je kijkt op elke stap van het denkproces (in elke "laag" van het brein) en vraagt: "Heb jij hier al de informatie over de kleur van het blok?" of "Heb jij hier al de informatie over de richting van de pijl?"

3. De Ontdekking: "Knopen zijn vroeg, Lijnen zijn laat"

Dit is de kern van de paper, en de titel vat het perfect samen: "Nodes Are Early, Edges Are Late" (Knopen zijn vroeg, Lijnen zijn laat).

• De Knopen (Nodes):
  In het visuele gedeelte van de robot (waar hij het plaatje eerst bekijkt), zit de informatie over de knopen al direct beschikbaar.

  • Vergelijking: Het is alsof de robot een foto bekijkt en direct ziet: "Ah, daar is een rood blokje." Deze informatie is lineair gescheiden. Dat klinkt ingewikkeld, maar betekent simpelweg: de informatie zit er duidelijk en los van elkaar in het brein, klaar om gebruikt te worden. Het is als een duidelijk gelabeld vakje in een archiefkast.

• De Lijnen (Edges):
  Maar de informatie over de lijnen en pijlen? Die is er niet in het visuele gedeelte. De robot ziet de lijn wel, maar begrijpt de betekenis (de richting) er niet van.
  De informatie over de lijnen wordt pas laat in het proces duidelijk, namelijk pas wanneer de robot begint met tekst genereren (de taalverwerker).

  • Vergelijking: Het is alsof de robot eerst alleen de objecten ziet, en pas als hij begint te praten ("Oké, ik ga nu een zin maken..."), realiseert hij zich: "Oh, wacht, die lijn gaat van links naar rechts." De informatie over de relatie wordt pas samengevoegd en begrijpelijk gemaakt in de taal-centrale, niet in de visuele centrale.

4. Waarom is dit belangrijk?

Dit verklaart waarom robots zo goed zijn in het noemen van objecten, maar zo slecht in het begrijpen van complexe relaties (zoals "wie is de baas van wie?").

• Het Brein werkt in fases:
  1. Fase 1 (Visueel): "Ik zie een rood blok en een blauw blok." (Dit werkt perfect).
  2. Fase 2 (Taal): "Ik moet nu een zin maken." Pas hier, in deze tweede fase, probeert de robot de lijnen te begrijpen.
  3. Het probleem: Omdat de relatie (de lijn) pas zo laat in het proces "lineair" (duidelijk) wordt, is het voor de robot moeilijk om die informatie te gebruiken voor complexe redeneringen. Het is alsof je probeert een ingewikkeld wiskundig probleem op te lossen, maar de getallen pas op het laatste moment worden omgezet in een taal die je begrijpt.

5. De "Chirurgische" Test (Causale Interventie)

Om zeker te weten dat dit echt de oorzaak is, deden ze een experiment. Ze "vernielden" de informatie over de knopen in het visuele gedeelte van het brein (alsof ze een stukje geheugen uitdoofden).

• Resultaat: De robot kon plotseling de kleuren van de blokken niet meer benoemen.
• Conclusie: Dit bewijst dat de robot die informatie echt gebruikte en niet alleen maar gokte.

Samenvatting voor de leek

Deze paper laat zien dat AI-modellen diagrammen niet "als één geheel" zien. Ze zien eerst de losse onderdelen (de knopen) heel scherp, maar moeten die onderdelen pas later, in hun "taalgedeelte", aan elkaar knopen om de lijnen en pijlen te begrijpen.

Omdat die "aaneenknopen" pas zo laat gebeurt, haken ze vaak af als het gaat om het begrijpen van richting en relaties. Het is een beetje alsof je een film kijkt waarbij je eerst alle acteurs ziet, maar pas aan het einde van de film begrijpt wie met wie getrouwd is.

De les voor de toekomst: Om AI beter te maken in het begrijpen van diagrammen, moeten we de modellen leren om de "lijnen" (relaties) al in het visuele gedeelte te begrijpen, en niet wachten tot ze gaan praten.

Technische samenvatting

1. Het Probleem

Grote Vision-Language Models (LVLMs) presteren over het algemeen goed op benchmarks voor het begrijpen van diagrammen. Desondanks worstelen deze modellen met het begrijpen van relaties tussen elementen, met name die die worden weergegeven door knooppunten (nodes) en gerichte randen (edges), zoals pijlen en lijnen.

• De kernvraag: Waarom falen LVLMs bij het interpreteren van relationele informatie (bijv. de richting van een pijl), terwijl ze goed zijn in het herkennen van individuele objecten?
• Het gat in de literatuur: Bestaand onderzoek focust vaak op natuurlijke afbeeldingen of prestaties op taakniveau, maar er is geen uitgebreid onderzoek gedaan naar hoe LVLMs intern visuele elementen zoals knooppunten, randen en globale structuur representeren.

2. Methodologie

Om de onderliggende oorzaken te onderzoeken, gebruiken de auteurs een combinatie van synthetische data, probing (het testen van interne representaties) en causale interventie.

• Synthetische Dataset:

  • De auteurs hebben een dataset van synthetische diagrammen (gerichte grafen) gegenereerd om biases uit natuurlijke data te elimineren en controle te houden over specifieke variabelen.
  • Elementen: Diagrammen bevatten 5 knooppunten met variabele kleuren, vormen en labels (A, B, etc.), verbonden door randen met variabele kleuren, stijlen (doorgetrokken/gestreept) en richtingen.
  • Variants: Er zijn twee sets: Drand (willekeurige lay-out) en Dfix (vaste positie voor analyse).
  • Taken: De dataset dekt 11 aspecten, ingedeeld in drie categorieën:
    1. Single: Informatie rond één knooppunt (bijv. kleur, vorm).
    2. Multiple: Informatie die twee knooppunten en de rand ertussen combineert (bijv. randkleur, randrichting).
    3. Global: Informatie die het hele diagram vereist (bijv. totaal aantal knooppunten).

• Probing Experimenten:

  • De auteurs trainden lineaire klassificatoren (probes) op de verborgen staten (hidden states) van zowel de Vision Encoder als de Language Model (LM) componenten van verschillende LVLMs (voornamelijk Qwen3-VL-8B, maar ook Qwen2.5, LLaVA1.5, Gemma3).
  • Doel: Bepalen op welk niveau (laag) en op welke positie (image patch of tekst-token) informatie lineair scheidbaar is. Lineaire scheidbaarheid impliceert dat de informatie expliciet en toegankelijk is voor het model.

• Causale Interventie:

  • Om te verifiëren of de gedetecteerde representaties daadwerkelijk worden gebruikt voor redenering, werden verborgen staten met hoge probe-accuracie "corrupt" gemaakt (vervangen door het gemiddelde van andere staten).
  • Als de VQA-prestatie (Visual Question Answering) daalt na deze interventie, betekent dit dat de gemanipuleerde informatie causaal bijdraagt aan de uitkomst.

3. Belangrijkste Resultaten

De studie levert drie fundamentele bevindingen op:

A. Verschil in Timing van Representatie ("Nodes Are Early, Edges Are Late")

• Knooppunten (Nodes) & Globale Structuur: Informatie over knooppunten (kleur, vorm) en globale eigenschappen (aantal knooppunten) is lineair scheidbaar in de Vision Encoder. Deze informatie is al vroeg in de verwerking aanwezig en gelokaliseerd rond de specifieke image patches van de knooppunten (of verspreid over de achtergrond voor globale info).
• Randen (Edges): Informatie over randen (kleur, stijl, richting) is niet lineair scheidbaar in de Vision Encoder. Deze informatie wordt pas lineair gecodeerd in de tekst-tokens van het Language Model, specifiek op de posities waar de vraag naar de rand verwijst.
• Conclusie: De visuele encoder "ziet" de objecten direct, maar de relationele informatie (de rand) moet eerst door het taalkundige deel van het model worden geïntegreerd en geabstraheerd voordat deze lineair toegankelijk wordt.

B. Lokalisatie van Informatie

• Single Aspecten: Hoog nauwkeurige patches bevinden zich direct op de locatie van het doelknooppunt in de Vision Encoder.
• Global Aspecten: Informatie is verspreid over bijna alle achtergrondpatches in de latere lagen van de Vision Encoder, wat suggereert dat de encoder achtergrondstaten gebruikt als aggregatiepunten.
• Tekst-conditionering: In het Language Model stijgt de nauwkeurigheid voor randinformatie scherp op de tekst-tokens die specifiek naar die rand verwijzen. Dit toont aan dat het LM informatie selectief verzamelt uit de visuele staten, gekoppeld aan de tekstinput.

C. Causale Validatie

• Interventies op visuele staten die informatie over knooppunten en globale structuur bevatten, leiden tot een significante daling in VQA-accuracie.
• Interventies op randinformatie (die pas laat in het LM lineair wordt) hebben weinig effect in de visuele encoder, wat bevestigt dat het model voor deze taken afhankelijk is van niet-lineaire of latere representaties.

4. Bijdragen

1. Synthetische Testbed: Introductie van een gecontroleerde dataset voor diagramanalyse die shortcut-learning (op basis van oppervlakkige patronen) minimaliseert.
2. Mechanistisch Inzicht: Het onthullen dat het tijdstip waarop visuele informatie lineair scheidbaar wordt, verschilt per type informatie. Randinformatie ondergaat een "vertraagde" representatie.
3. Verklaring voor Prestatieproblemen: De bevindingen bieden een mechanistische verklaring voor waarom LVLMs moeite hebben met relationele taken (zoals het interpreteren van pijlrichtingen): omdat deze informatie pas laat in de verwerkingsketen (in de taalkundige tokens) expliciet wordt, vereist het meer abstracte, compositieel geïntegreerde processen die kwetsbaar zijn voor fouten.

5. Betekenis en Conclusie

De paper concludeert dat LVLMs verschillende visuele informatie op fundamenteel verschillende manieren verwerken.

• Objecten worden direct en vroeg in de visuele encoder verwerkt.
• Relaties (randen) vereisen een latere, meer abstracte integratie in het taalkundige model.

Deze "vertraging" in de representatie van randen is waarschijnlijk de oorzaak van de zwakke prestaties van huidige modellen bij het begrijpen van diagramstructuur. Voor toekomstige systemen suggereert dit dat verbeteringen nodig zijn in hoe visuele en relationele informatie vroeg in het netwerk worden geïntegreerd, in plaats van te vertrouwen op latere taalkundige aggregatie. De studie biedt een blauwdruk voor het analyseren van interne representaties in multimodale modellen en benadrukt het belang van causale interventie om te onderscheiden tussen correlatie en causale bijdrage aan redenering.