Riassunto Tecnico: Vettori di Funzione Multimodali per le Relazioni Visive

Enunciato del Problema

I Large Multimodal Models (LMM) esibiscono impressionanti capacità di in-context learning (ICL), tuttavia i meccanismi interni che consentono loro di apprendere ed eseguire compiti di ragionamento relazionale rimangono opachi. Mentre la ricerca recente sull'interpretabilità meccanicistica nei Large Language Models (LLM) ha identificato i "vettori di funzione" (function vectors, FV)—rappresentazioni compatte di task derivate dalle attivazioni delle teste di attenzione—estendere questo approccio ai contesti multimodali è complesso. Le relazioni visive (ad esempio, il posizionamento spaziale come "sopra" o le interazioni agentiche come "tenere in mano") non sono segnalate esplicitamente dai pixel; devono essere inferite dalla fusione di caratteristiche visive ad alta dimensione e linguaggio naturale. Gli attuali LMM faticano ad acquisire concetti relazionali sistematici anche con le dimostrazioni, spesso fallendo nel superare significativamente i baseline zero-shot. Questo articolo investiga se il paradigma dei vettori di funzione possa essere esteso agli LMM per estrarre, manipolare e generalizzare la conoscenza relazionale visiva.

Metodologia

Gli autori propongono un framework per identificare ed estrarre vettori di funzione specifici per le relazioni dalle rappresentazioni interne degli LMM, concentrandosi specificamente su OpenFlamingo e Qwen3-VL.

1. Dataset e Task

Lo studio utilizza due dataset:

• Dataset Sintetico: 7.000 immagini generate da ritagli di oggetti (dataset Big and Small Objects) per istanziare quattro relazioni spaziali (sopra, sotto, a sinistra di, a destra di).
• Dataset di Immagini Reali (GQA): Sottoset del dataset GQA contenenti immagini reali annotate con relazioni spaziali (7 tipi) e relazioni agentiche (5 tipi: trasportare, tenere, cavalcare, sedersi su, indossare).

Il compito di valutazione è un prompt ICL a 4-shot in cui il modello deve identificare un oggetto che soddisfi una specifica relazione con un oggetto di query.

2. Analisi della Mediazione Causale per l'Estrazione dei Vettori

Per identificare i componenti interni responsabili del ragionamento relazionale, gli autori impiegano l'analisi della mediazione causale:

• Media delle Attivazioni: Calcolano l'attivazione media delle teste di attenzione attraverso un insieme di dimostrazioni in-context coerenti per una specifica relazione.
• Effetto Indiretto Causale (CIE): Costruiscono prompt perturbati con contesti non informativi (coppie di oggetti casuali) e misurano la variazione nella probabilità di predizione quando l'attivazione di una specifica testa di attenzione viene sostituita dalla media dell'attivazione specifica della relazione.
• Definizione di Vettore di Funzione: Le teste di attenzione con i punteggi di Average Indirect Effect (AIE) più elevati vengono identificate come la sottorete causale. Il vettore di funzione ($v_t$) per una relazione $t$ è definito come la somma delle attivazioni medie delle 10 teste di attenzione più influenti.

3. Intervento e Fine-Tuning

• Intervento Zero-Shot: I vettori di funzione estratti vengono iniettati negli stati nascosti di prompt zero-shot (che non contengono dimostrazioni) per testare se possano causare l'evocazione corretta delle predizioni relazionali.
• Fine-Tuning: I vettori vengono ulteriormente ottimizzati utilizzando un piccolo set di esempi di training zero-shot (1.000 immagini sintetiche o circa 2.100 immagini GQA) mantenendo congelati i parametri dell'LMM. Questa componente di "Apprendimento Rapido" aggiorna solo il vettore di funzione per massimizzare la verosimiglianza delle risposte corrette.

4. Vettori di Funzione Composti per l'Analogia

Ispirandosi all'ipotesi della rappresentazione lineare, gli autori testano se relazioni non addestrate (ad esempio, "sopra-sinistra") possano essere risolte combinando linearmente i vettori di relazioni base addestrate (ad esempio, "sopra" + "sinistra"). Calcolano i pesi basandosi su un singolo esempio di analogia sorgente per formare un vettore composito ($v_{composite}$), che viene poi utilizzato per guidare l'inferenza su un target di analogia.

Risultati Chiave

1. Identificazione delle Sottoreti Causali

L'analisi della mediazione causale ha rivelato che solo un sottoinsieme piccolo e sparso di teste di attenzione (concentrato negli strati intermedi) esercita una forte influenza causale sulle predizioni relazionali. Iniettare i vettori di funzione estratti in questi strati specifici ha migliorato significativamente l'accuratezza zero-shot rispetto al baseline.

2. Guadagni di Performance tramite Fine-Tuning

Il fine-tuning dei vettori di funzione sui dati zero-shot ha prodotto miglioramenti sostanziali rispetto ai baseline standard:

• Dataset Sintetico: I vettori fine-tuned (FFV) hanno superato significativamente sia il baseline zero-shot che il baseline ICL a 4-shot per entrambi OpenFlamingo e Qwen3-VL. Per Qwen3-VL, i FFV hanno raggiunto il 72,2% di accuratezza rispetto al 21,3% del baseline ICL.
• Dataset GQA: I FFV hanno più che raddoppiato l'accuratezza del baseline zero-shot e hanno superato il 4-shot ICL in entrambe le relazioni spaziali e agentiche.
• Generalizzazione: L'approccio si è generalizzato a nuovi oggetti (non visti durante il training) e nuove relazioni (ad esempio, "sopra-sinistra") utilizzando i vettori compositi.

3. Analogia e Composizionalità

Lo studio ha dimostrato che i vettori di funzione specifici per relazione possono essere combinati linearmente per risolvere problemi di analogia one-shot riguardanti relazioni spaziali non addestrate.

• Sul modello OpenFlamingo, i vettori di funzione compositi (CFV) hanno raddoppiato l'accuratezza del 4-shot ICL (dall'8,1% al 16,8%).
• Su Qwen3-VL, i CFV hanno migliorato l'accuratezza dal 28,7% (4-shot ICL) al 45,1%, superando tutti i baseline ICL.

4. Studi di Ablazione

• Strato di Iniezione: Le performance hanno raggiunto il picco quando i vettori sono stati iniettati negli strati intermedi (ad esempio, lo strato 19), suggerendo che questi strati siano ottimali per innescare i calcoli relazionali.
• Dimensione del Set di Teste: Un piccolo sottoinsieme di teste (6–12) ha fornito prestazioni ottimali; l'aggiunta di più teste introduceva rumore.
• Dimensione del Contesto: Le prestazioni sono state stabili tra i contesti a 2-shot e 4-shot, mentre i contesti a 8-shot hanno talvolta ridotto leggermente l'accuratezza, suggerendo che un contesto moderato sia sufficiente per estrarre attivazioni robuste.

Significato e Rivendicazioni

Il documento sostiene di far avanzare la comprensione della modularità e del controllo del modello negli LMM dimostrando che:

1. Codifica Localizzata: La conoscenza delle relazioni visive è codificata all'interno di strutture interne localizzate (specifiche teste di attenzione) piuttosto che essere distribuita diffusamente o puramente emergente.
2. Estrattibilità e Manipolabilità: Queste rappresentazioni possono essere sistematicamente estratte tramite analisi della mediazione causale e manipolate (iniettate o sottoposte a fine-tuning) per alterare il comportamento del modello senza riaddestrare l'intero modello.
3. Generalizzazione: L'approccio supporta la generalizzazione compositiva, permettendo ai modelli di risolvere nuovi problemi relazionali (analogia) combinando linearmente i vettori appresi, suggerendo un "linguaggio della visione" strutturato all'interno dello spazio interno del modello.
4. Efficienza: Il fine-tuning solo dei vettori di funzione (un piccolo sottoinsieme di parametri) è più efficace del normale in-context learning, offrendo una via per l'adattamento efficiente degli LMM per il ragionamento relazionale.

Gli autori concludono che questo framework fornisce una prova di concetto per interpretare e potenziare il ragionamento relazionale nei sistemi multimodali, pur riconoscendo i limiti riguardanti l'ambito ristretto delle relazioni testate e l'attuale dipendenza dai dimostrazioni contestuali per inferire le miscele dei vettori.