Riepilogo Tecnico: Sondaggio condizionato dal compito di MLLM multimodali addestrati alle istruzioni

Enunciato del Problema

Recenti studi di codifica cerebrale hanno stabilito che i grandi modelli linguistici multimodali (MLLM) mostrano un allineamento più elevato con l'attività cerebrale umana rispetto ai modelli unimodali. Inoltre, è stato dimostrato che gli MLLM addestrati alle istruzioni (IT) generano rappresentazioni specifiche del compito che si allineano fortemente con l'attività cerebrale. Tuttavia, le valutazioni precedenti sono state in gran parte limitate a due contesti: (1) modelli multimodali valutati con stimoli unimodali, o (2) modelli non addestrati alle istruzioni valutati con stimoli multimodali.

Rimane un divario critico nella comprensione se l'addestramento alle istruzioni causi agli IT-MLLM di organizzare le loro rappresentazioni attorno alle richieste funzionali del compito o se riflettano semplicemente la semantica superficiale. Inoltre, manca un sondaggio sistematico degli IT-MLLM sotto stimoli multimodali naturalistici (video con audio) per determinare come le rappresentazioni guidate dal linguaggio e specifiche del compito si allineino con l'attività cerebrale attraverso le regioni corticali, dalle aree sensoriali primarie fino alle aree cognitive di ordine superiore.

Metodologia

Gli autori colmano questo divario stimando l'allineamento cerebrale attraverso la previsione delle risposte fMRI registrate durante la visione naturalistica di film (video con audio) utilizzando rappresentazioni provenienti da MLLM addestrati alle istruzioni.

Dati e Modelli:

• Dataset: Lo studio utilizza il dataset Movie10 (Boyle et al., 2020), un dataset fMRI naturalistico multimodale in cui quattro soggetti hanno guardato passivamente quattro film diversi. I dati sono proiettati sullo spazio superficiale "fsaverage6".
• Modelli Valutati:
  • Addestrati alle Istruzioni (IT): Sei MLLM video (ad es. InstructBLIPVideo, Video-LLaVA, Qwen-2.5-VL) e due MLLM audio (Qwen-2.5-Audio, Kimi-Audio).
  • Baseline: Due MLLM video con apprendimento in contesto (ICL), due modelli multimodali non addestrati alle istruzioni, due modelli video unimodali e un modello audio unimodale.
• Istruzioni: I modelli sono stati sondati con 13 istruzioni specifiche per il video (ad es. riconoscimento di azioni, comprensione narrativa, ragionamento di senso comune) e 5 istruzioni specifiche per l'audio (ad es. comprensione audio, rilevamento di eventi sonori).
• Estrazione delle Caratteristiche: Per i modelli IT, le rappresentazioni degli stati nascosti sono state estratte a ogni livello in base al video/audio di input e alla specifica istruzione del compito. Per le baseline ICL e non-IT, è stata eseguita un'inferenza zero-shot con prompt in linguaggio naturale.

Codifica e Valutazione:

• Codifica Voxel-per-Voxel: Sono stati addestrati modelli di regressione ridge a bande per prevedere l'attività cerebrale fMRI dalle rappresentazioni del modello. I modelli hanno tenuto conto dei ritardi della risposta emodinamica utilizzando un filtro a risposta impulsiva finita (FIR).
• Metriche: Le prestazioni sono state misurate utilizzando la Correlazione di Pearson (PC) tra l'attività cerebrale prevista e quella effettiva. Per standardizzare le prestazioni, i risultati sono stati divisi per l'accuratezza di previsione inter-soggetto stimata, ottenendo un "allineamento cerebrale normalizzato".
• Analisi: Lo studio ha impiegato l'Analisi di Similarità Rappresentazionale (RSA) per confrontare la similarità semantica delle istruzioni con la similarità delle rappresentazioni del modello. Ha inoltre utilizzato metriche di clustering (Indice Rand Aggiustato) per valutare l'organizzazione condizionata dal compito e la partizione della varianza per analizzare la varianza condivisa e unica tra i compiti.

Contributi e Risultati Chiave

1. Disaccoppiamento della Semantica Superficiale dalla Struttura del Compito
Lo studio rileva una differenza fondamentale nel modo in cui i modelli IT e ICL organizzano le rappresentazioni:

• Modelli ICL: Mostrano un forte accoppiamento (Pearson $r \approx 0.78$) tra le rappresentazioni interne e la semantica superficiale delle istruzioni, indicando una corrispondenza superficiale vicina al testo.
• Modelli IT: Mostrano un accoppiamento debole con la semantica superficiale ($r \approx 0.14$) ma mostrano un clustering più forte condizionato dal compito. Ciò suggerisce che i modelli IT organizzano le rappresentazioni in base alle richieste funzionali del compito piuttosto che alla formulazione specifica del prompt.

2. Allineamento Cerebrale Superiore degli MLLM Video IT

• Prestazioni Complessive: Gli MLLM video IT dimostrano un allineamento cerebrale significativamente più elevato rispetto ai modelli ICL (miglioramento di circa il 9%), ai modelli multimodali non addestrati alle istruzioni (miglioramento di circa il 15%) e alle baseline unimodali (miglioramento di circa il 20%).
• Asimmetria di Modalità: Mentre i modelli video IT mostrano un forte allineamento in tutto il cervello, nelle regioni linguistiche e visive, i modelli audio IT mostrano guadagni principalmente nella corteccia uditiva e nel giro frontale medio (MFG). Gli MLLM audio IT performano in modo paragonabile alle baseline multimodali non addestrate alle istruzioni, indicando spazio per miglioramenti nella cattura di informazioni semantiche rilevanti per il cervello per l'audio.

3. Differenziazione del Compito Specifica per Regione
Le istruzioni specifiche del compito producono rappresentazioni distinte che si allineano con specifiche regioni funzionali del cervello:

• Compiti Video: "Comprensione narrativa" e "QA video" mostrano un allineamento più elevato nelle regioni correlate al linguaggio (giro angolare, lobo temporale posteriore), mentre la "comprensione video" domina le regioni frontali di ordine superiore.
• Compiti Audio: "Descrizione audio" e "rilevamento di eventi sonori" si allineano con la corteccia uditiva, mentre la "comprensione audio" attiva regioni di livello superiore come il giro frontale inferiore (IFG).
• Partizione della Varianza: I compiti con alto carico visivo contribuiscono in modo unico alla varianza della corteccia visiva, mentre i compiti semantici di alto livello contribuiscono in modo unico alla varianza della rete linguistica.

4. Allineamento Gerarchico con l'Elaborazione Corticale
Gli IT-MLLM mostrano un pattern di allineamento livello per livello coerente con la gerarchia di elaborazione del cervello:

• Livelli Iniziali: Si allineano con le aree sensoriali primarie (corteccia visiva e uditiva).
• Livelli Medi/Profondi: Si allineano con le aree visive di ordine superiore (LOC, PPA) e le regioni linguistiche (giro angolare, IFG).
• Esperimenti di Controllo: Questo gradiente gerarchico scompare quando si utilizzano prompt non linguistici naturali (token casuali), confermando che l'allineamento è guidato dalla semantica delle istruzioni piuttosto che dalla struttura generica del modello. Confronti controllati all'interno delle famiglie di modelli (ad es. Qwen-2.5-VL IT vs. Pre-addestrato) confermano che l'addestramento alle istruzioni migliora costantemente l'allineamento attraverso tutti i livelli.

Significato e Affermazioni

Il paper afferma di essere il primo studio a utilizzare MLLM video e audio addestrati alle istruzioni per modellare le risposte fMRI attraverso diversi compiti multimodali. I risultati suggeriscono che:

• L'addestramento alle istruzioni trasforma gli MLLM in sonde che organizzano le rappresentazioni attorno alle richieste del compito piuttosto che al testo superficiale, portando a un allineamento più forte con l'organizzazione funzionale del cervello.
• Le istruzioni specifiche del compito possono essere utilizzate come una leva controllata per variare gli obiettivi del compito mantenendo fisso lo stimolo, consentendo la mappatura dell'elaborazione delle informazioni congiunta sia nei sistemi artificiali che biologici.
• I pattern di allineamento dipendenti dal livello osservati supportano l'uso degli IT-MLLM per studiare la specializzazione funzionale sotto stimoli naturalistici e collegare la modellazione cognitiva con le neuroscienze.

Gli autori mantengono una posizione modesta riguardo ai confronti tra famiglie, notando che esistono differenze di scala, dati di addestramento e architettura. Tuttavia, sottolineano che i confronti controllati all'interno della stessa famiglia (IT vs. versioni Pre-addestrate dello stesso modello) mostrano costantemente guadagni positivi nell'allineamento cerebrale dopo l'addestramento alle istruzioni, isolando l'effetto del processo di addestramento stesso.