Structural Graph Probing of Vision-Language Models

1. Il Problema

I modelli Vision-Language (VLM) hanno dimostrato prestazioni eccezionali nelle attività multimodali, ma la comprensione di come la computazione sia organizzata internamente rimane limitata. Le analisi esistenti si concentrano prevalentemente su segnali esplicativi locali, come i pattern di attenzione, le mappe di salienza o l'attribuzione a livello di singoli token o neuroni. Tuttavia, questi approcci faticano a caratterizzare l'organizzazione su larga scala attraverso cui il comportamento multimodale emerge. Manca una prospettiva che spieghi come le evidenze visive e il contesto linguistico siano coordinati tra i livelli della rete e come le popolazioni di unità interagiscano per governare il comportamento del modello.

2. Metodologia

Gli autori propongono di studiare i VLM attraverso la lente della topologia neurale, rappresentando ogni livello (layer) del modello come un grafo di correlazione intra-layer derivato dalle co-attivazioni dei neuroni.

• Costruzione del Grafo: Per ogni coppia immagine-testo, vengono registrati gli stati nascosti (hidden activations) $H^{(\ell)}$ di un livello $\ell$. Ogni nodo del grafo rappresenta un neurone. Il peso dell'arco tra due neuroni $i$ e $j$ è definito come la correlazione di Pearson tra i loro profili di attivazione su tutti i token multimodali:
  $$W^{(\ell)}_{ij} = \text{corr}(H^{(\ell)}_{i,:}, H^{(\ell)}_{j,:})$$
  Questo crea una mappa della struttura di co-attivazione senza rivelare i valori assoluti delle attivazioni o la semantica dei token.
• Rappresentazione: Per analizzare questi grafi senza esporre i dati grezzi, ogni neurone è mappato a un embedding di identità (one-hot) proiettato in uno spazio a bassa dimensionalità. Una Graph Convolutional Network (GCN) opera sul grafo di correlazione per produrre rappresentazioni nodali dipendenti dalla topologia.
• Analisi Multi-Modale: Vengono costruiti tre tipi di grafi per ogni livello:
  1. Multimodale: Derivato dall'intero stato nascosto.
  2. Visivo ($G_{vis}$): Derivato solo dai token visivi.
  3. Testuale ($G_{text}$): Derivato solo dai token testuali.
• Intervento Causale: Per validare l'importanza causale, gli autori perturbano selettivamente i neuroni definiti come "hub" (basati sul grado del grafo) o gli archi, misurando il degrado delle prestazioni del modello.

3. Contributi Chiave

1. Nuova Scala di Analisi: Introduce la topologia neurale come una scala intermedia significativa per l'interpretabilità dei VLM, più ricca dell'attribuzione locale ma più gestibile del recupero completo dei circuiti.
2. Segnale Comportamentale Recupabile: Dimostra che la topologia di correlazione contiene informazioni recuperabili sul comportamento del modello, superando le linee di base lineari nella previsione di compiti complessi.
3. Identificazione di Hub Strutturali: Identifica un insieme compatto di neuroni "hub" ricorrenti la cui perturbazione altera significativamente l'output del modello, suggerendo che l'elaborazione multimodale è organizzata attorno a loci topologici persistenti.
4. Dinamica di Allineamento: Mostra come la struttura cross-modale si consolidi progressivamente con la profondità della rete, con un allineamento parziale ma significativo tra i percorsi visivi e testuali.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su diversi VLM (InternVL3, Qwen2.5-VL, LLaVA) e dataset (CLEVR, TDIUC, MHaluBench, ecc.).

• Predittività Comportamentale:
  • I probe basati su grafi (GCN) superano costantemente i probe lineari nella previsione di compiti di ragionamento quantitativo (conteggio oggetti su CLEVR) e riconoscimento semantico (TDIUC).
  • La topologia permette di prevedere anche lo stato di "allucinazione" del modello, superando le baselines basate solo su statistiche testuali (embedding word2vec).
  • Le prestazioni rimangono stabili anche con grafi sparsi (fino al 20% di densità), indicando che il segnale predittivo è concentrato nelle correlazioni più forti.
• Struttura Multimodale:
  • Le correlazioni tra token visivi e testuali aumentano con la profondità della rete, mentre le correlazioni visivo-visivo rimangono piatte. Questo suggerisce un'integrazione multimodale progressiva negli strati finali.
  • Gli "hub" definiti dalla topologia del grafo mostrano una stabilità molto maggiore tra diversi campioni rispetto agli hub definiti dalla sola magnitudine dell'attivazione.
  • L'allineamento strutturale tra grafi visivi e testuali è alto ma non perfetto, indicando che il fine-tuning multimodale crea una corrispondenza parziale mantenendo differenze strutturali significative.
• Analisi Causale (Interventi):
  • Ablazione dei Neuroni: Rimuovere i neuroni classificati come hub dal grafo di correlazione causa un calo di prestazioni molto più drastico rispetto alla rimozione di neuroni scelti in base alla magnitudine dell'attivazione o casualmente.
  • Interventi sugli Archi: Sostituire l'attivazione di un neurone con quella del suo partner (Identical) ha poco effetto, mentre invertirla (Opposite) o sostituirla con un vettore casuale causa un degrado significativo, specialmente nei modelli Qwen2.5-VL. Questo dimostra che l'importanza di un arco dipende dall'allineamento e dal segno dell'attività coordinata.
  • Perturbazione degli Hub: Una piccola scala di perturbazione sugli hub identificati porta a un degrado simmetrico delle prestazioni (sia in amplificazione che in soppressione), confermando che questi neuroni operano in un intervallo funzionale critico.

5. Significato e Implicazioni

Questo lavoro suggerisce un cambio di paradigma nell'interpretabilità dei VLM: invece di cercare di spiegare il comportamento attraverso singoli token o neuroni isolati, la comprensione dovrebbe focalizzarsi sulle dinamiche di popolazione e sulle relazioni strutturate.

La topologia neurale si rivela un livello di analisi fondamentale perché:

• È ricca: espone organizzazioni interne con conseguenze comportamentali.
• È gestibile: permette confronti tra livelli, modalità e modelli diversi senza la complessità del recupero completo dei circuiti.
• È causale: identifica componenti specifici la cui manipolazione influisce direttamente sull'output.

In sintesi, il ragionamento multimodale nei VLM appare come una proprietà emergente di popolazioni neurali organizzate, piuttosto che la somma di componenti indipendentemente interpretabili. Questo approccio offre nuovi strumenti per diagnosticare, migliorare e comprendere i sistemi di intelligenza artificiale multimodale.