Technische Samenvatting: Multimodale Functievectoren voor Visuele Relaties

Probleemstelling

Grote Multimodale Modellen (LMM's) vertonen indrukwekkende in-context leervermogens (ICL), maar de interne mechanismen die het leren en uitvoeren van relationele redeneertaken mogelijk maken, blijven echter opaak. Terwijl recent onderzoek naar mechanistische interpreteerbaarheid in Large Language Models (LLM's) "functievectoren" (FV's) heeft geïdentificeerd — compacte representaties van taken afgeleid van activaties van attention heads — is het uitbreiden van deze aanpak naar multimodale settings uitdagend. Visuele relaties (bijv. ruimtelijke positionering zoals "boven" of agentische interacties zoals "vasthouden") worden niet expliciet gesignaleerd door pixels; ze moeten worden afgeleid uit de fusie van hoogdimensionale visuele kenmerken en natuurlijke taal. Huidige LMM's hebben moeite om systematische relationele concepten te verwerven, zelfs met demonstraties, en falen vaak in het significant overtreffen van zero-shot baselines. Dit artikel onderzoekt of het functievector-paradigma kan worden uitgebreid naar LMM's om visuele relationele kennis te extraheren, te manipuleren en te generaliseren.

Methodologie

De auteurs stellen een raamwerk voor om relatiespecifieke functievectoren te identificeren en te extraheren uit de interne representaties van LMM's, specifiek gericht op OpenFlamingo en Qwen3-VL.

1. Datasets en Taak

De studie maakt gebruik van twee datasets:

• Synthetische Dataset: 7.000 gegenereerde afbeeldingen van object-uitsneden (Big and Small Objects dataset) om vier ruimtelijke relaties te instantiëren (boven, onder, links van, rechts van).
• Real Image Dataset (GQA): Subsets van de GQA-dataset met echte afbeeldingen geannoteerd met ruimtelijke relaties (7 types) en agentische relaties (5 types: dragen, vasthouden, rijden op, zitten op, dragen/aanhebben).

De evaluatietaak is een 4-shot ICL-prompt waarbij het model een object moet identificeren dat aan een specifieke relatie voldoet met een query-object.

2. Causale Mediatieanalyse voor Vectorextractie

Om de interne componenten te identificeren die verantwoordelijk zijn voor relationeel redeneren, gebruiken de auteurs causale mediatieanalyse:

• Activatie Gemiddelden: Ze berekenen het gemiddelde van de activaties van attention heads over een set consistente in-context demonstraties voor een specifieke relatie.
• Causaal Indirect Effect (CIE): Ze construeren geperturbeerde prompts met oninformatieve contexten (willekeurige objectparen) en meten de verandering in voorspellingskans wanneer de activatie van een specifieke attention head wordt vervangen door de relatiespecifieke gemiddelde activatie.
• Definitie van Functievector: Attention heads met de hoogste Gemiddelde Indirecte Effect (AIE) scores worden geïdentificeerd als het causale subnetwerk. De functievector ($v_t$) voor een relatie $t$ wordt gedefinieerd als de som van de gemiddelde activaties van de top 10 meest invloedrijke attention heads.

3. Interventie en Fine-Tuning

• Zero-Shot Interventie: De geëxtraheerde functievectoren worden geïnjecteerd in de hidden states van zero-shot prompts (die geen demonstraties bevatten) om te testen of ze causaal correcte relationele voorspellingen kunnen oproepen.
• Fine-Tuning: De vectoren worden verder geoptimaliseerd met behulp van een kleine set zero-shot trainingsvoorbeelden (1.000 synthetische of ~2.100 GQA-afbeeldingen), terwijl de LMM-parameters bevroren blijven. Deze "Fast Learning"-component werkt alleen de functievector bij om de waarschijnlijkheid van correcte antwoorden te maximaleren.

4. Composiete Functievectoren voor Analogie

Geïnspireerd door de lineaire representatiehypothese, testen de auteurs of ongetrainde relaties (bijv. "boven-links") kunnen worden opgelost door de vectoren van getrainde basisrelaties (bijv. "boven" + "links") lineair te combineren. Ze berekenen gewichten op basis van een enkele bron-analogie-voorbeeld om een composiete vector ($v_{composite}$) te vormen, die vervolgens wordt gebruikt om de inferentie op een doel-analogie te sturen.

Belangrijkste Resultaten

1. Identificatie van Causale Subnetwerken

Causale mediatieanalyse onthulde dat slechts een kleine, ijle subset van attention heads (geconcentreerd in intermediaire lagen) een sterke causale invloed uitoefent op relationele voorspellingen. Het injecteren van de geëxtraheerde functievectoren in deze specifieke lagen verbeterde de zero-shot nauwkeurigheid aanzienlijk vergeleken met de baseline.

2. Prestatiewinst via Fine-Tuning

Het fine-tunen van de functievectoren op zero-shot data leverde substantiële verbeteringen op ten opzichte van standaard baselines:

• Synthetische Dataset: Fine-tuned vectoren (FFV's) presteerden aanzienlijk beter dan zowel de zero-shot baseline als de 4-shot ICL baseline voor zowel OpenFlamingo als Qwen3-VL. Voor Qwen3-VL bereikten FFV's een nauwkeurigheid van 72,2% vergeleken met 21,3% voor de ICL baseline.
• GQA Dataset: FFV's verdubbelden de nauwkeurigheid van de zero-shot baseline meer dan en presteerden beter dan 4-shot ICL voor zowel ruimtelijke als agentische relaties.
• Generalisatie: De aanpak generaliseerde naar nieuwe objecten (niet gezien tijdens training) en nieuwe relaties (bijv. "boven-links") bij het gebruik van composiete vectoren.

3. Analogie en Compositionaliteit

De studie toonde aan dat relatiespecifieke functievectoren lineair gecombineerd kunnen worden om één-shot analogieproblemen op te lossen die betrekking hebben op ongetrainde ruimtelijke relaties.

• Op het OpenFlamingo-model verdubbelden composiete functievectoren (CFV's) de nauwkeurigheid van 4-shot ICL (van 8,1% naar 16,8%).
• Op Qwen3-VL verbeterden CFV's de nauwkeurigheid van 28,7% (4-shot ICL) naar 45,1%, waarmee ze alle ICL-baselines overtroffen.

4. Ablatieonderzoeken

• Injectielaag: De prestaties piekten wanneer vectoren in intermediaire lagen werden geïnjecteerd (bijv. laag 19), wat suggereert dat deze lagen optimaal zijn voor het triggeren van relationele berekeningen.
• Head Set Grootte: Een kleine subset van heads (6–12) leverde optimale prestaties op; het toevoegen van meer heads introduceerde ruis.
• Contextgrootte: De prestaties waren stabiel over 2-shot en 4-shot contexten, waarbij 8-shot contexten de nauwkeurigheid soms licht verminderden, wat suggereert dat een gematigde context voldoende is voor het extraheren van robuuste activaties.

Betekenis en Claims

Het artikel beweert de kennis over modelmodulariteit en controle in LMM's te vergroten door aan te tonen dat:

1. Gelokaliseerde Codering: Visuele relationele kennis is gecodeerd binnen gelokaliseerde interne structuren (specifieke attention heads) in plaats van diffuus verdeeld of puur emergent te zijn.
2. Extraheerbaarheid en Manipuleerbaarheid: Deze representaties kunnen systematisch worden geëxtraheerd via causale mediatieanalyse en gemanipuleerd (geïnjecteerd of gefinetuned) om het gedrag van het model te veranderen zonder het hele model opnieuw te trainen.
3. Generalisatie: De aanpak ondersteunt compositionele generalisatie, waardoor modellen nieuwe relationele problemen (analogie) kunnen oplossen door geleerde vectoren lineair te combineren, wat wijst op een gestructureerde "visuele taal" binnen de interne ruimte van het model.
4. Efficiëntie: Alleen de functievectoren fine-tunen (een kleine subset van parameters) is effectiever dan standaard in-context leren, wat een pad biedt voor de efficiënte adaptatie van LMM's voor relationeel redeneren.

De auteurs concluderen dat dit raamwerk een bewijs van concept biedt voor het interpreteren en verbeteren van relationeel redeneren in multimodale systemen, hoewel zij beperkingen erkennen met betrekking tot de smalle scope van de geteste relaties en de huidige afhankelijkheid van contextuele demonstraties voor het afleiden van vectormengsels.