Riepilogo Tecnico: EmoMind – Decodifica di Didascalie Affettive da fMRI Cerebrale Umano

Enunciato del Problema

I sistemi attuali di decodifica cervello-testo hanno compiuto progressi significativi nel recuperare contenuti semantici dai segnali fMRI, come la ricostruzione di scene visive o discorsi. Tuttavia, questi sistemi scartano in gran parte la dimensione affettiva della percezione. Gli approcci esistenti generano o descrizioni neutre prive di emozioni o condizionano i Modelli Linguistici di Grandi Dimensioni (LLM) su etichette emotive grossolane e categoriali (ad esempio, "felice", "triste"). Queste etichette categoriali non riescono a catturare la natura ricca, continua e altamente variabile delle esperienze emotive individuali, collassando la variabilità inter-soggetto in contenitori discreti. Inoltre, mentre gli LLM possono generare testo emotivo quando vengono sollecitati con etichette, non possono leggere direttamente da un'attività neurale lo stato affettivo continuo e specifico della persona di un soggetto particolare.

Metodologia: La Pipeline EmoMind

EmoMind è la prima pipeline end-to-end progettata per decodificare didascalie affettive direttamente dai segnali fMRI, utilizzando un vettore emotivo continuo e ad alta dimensionalità come segnale di controllo. L'architettura opera in due fasi principali:

1. Decodifica Cerebrale a Doppio Flusso (Fase 1)

Dato un vettore di risposta dei voxel fMRI $v$ di un soggetto che guarda un breve video, il sistema decodifica due rappresentazioni complementari utilizzando modelli lineari specifici per soggetto:

• Recupero Semantico ($x$): Viene recuperata una descrizione neutra della scena da un corpus di addestramento pre-indicizzato. Ciò è ottenuto mappando i segnali fMRI su uno stack di caratteristiche multistrato di un modello DeBERTa-large pre-addestrato (24 livelli) ed eseguendo una ricerca di vicinato basata sulla coseno. Questo sostituisce la generazione iterativa token per token con un recupero in un singolo passaggio, riducendo significativamente i costi di inferenza.
• Decodifica Emotiva Continua ($e$): Un modello di regressione ridge specifico per soggetto mappa i voxel fMRI su un vettore emotivo a 34 dimensioni di Cowen & Keltner (C&K). A differenza delle etichette categoriali, questo vettore rappresenta stati emotivi fini (ad esempio, Gioia, Paura, Awe, Nostalgia) come probabilità continue derivate dalle valutazioni umane degli stimoli.

2. Riscrittore Axis-Token (Fase 2)

Un modello linguistico encoder-decoder addestrato (BART-base) funge da riscrittore che trasforma la didascalia neutra $x$ in una didascalia stilizzata emotivamente $\hat{y}$, condizionata dal vettore emotivo decodificato $e$.

• Architettura: Il modello incorpora 34 "token asse" appresi (uno per ciascuna categoria emotiva C&K). Il vettore emotivo decodificato dal cervello $e$ scala questi token asse elemento per elemento, che vengono poi concatenati allo stato nascosto dell'encoder. Ciò permette al decoder di interpretare gli assi emotivi come token di contesto virtuali aggiuntivi senza disturbare la rappresentazione semantica pre-addestrata della didascalia di input.
• Obiettivo di Addestramento: Il modello è addestrato con un obiettivo commutato Bernoulli. Con probabilità $\rho$, esegue un compito di ricostruzione (input $x$ con un vettore emotivo azzerato), e con probabilità $1-\rho$, esegue un compito target emotivo (input $x$ con vettore emotivo $e$ che mira a una didascalia emotiva specifica). Questo ramo nullo esplicito che preserva l'identità insegna al modello quando preservare il contenuto semantico e quando permettere il controllo affettivo.
• Inferenza (Guida Senza Classificatore): Per controllare il compromesso tra fedeltà semantica ed espressione affettiva, il sistema applica la guida senza classificatore (CFG). L'output finale dell'encoder è un'estrapolazione lineare: $H_{cfg} = H_{null} + (1+w)(H_{cond} - H_{null})$, dove $w$ è il peso di guida. Valori di $w$ più alti amplificano l'espressione affettiva a scapito di una certa fedeltà del contenuto.

Contributi Chiave

1. Prima Pipeline Condizionata al Cervello Continua: EmoMind introduce il primo sistema che condiziona la generazione di testo su un vettore emotivo decodificato continuo, derivato direttamente dall'fMRI, invece di affidarsi a etichette categoriali discrete.
2. Framework di Validazione a Tre Assi: Gli autori propongono un framework di valutazione rigoroso che abbraccia:
   • Specificità del Soggetto: Misurare se soggetti diversi che guardano la stessa scena producono didascalie distinte proporzionali alle loro differenze neurali.
   • Geometria Strutturale (RSA): Valutare se la struttura relazionale tra i clip nello spazio emotivo decodificato dal cervello è preservata nelle didascalie generate.
   • Controllo Causale (SWAP): Verificare se il riscrittore segue un target emotivo spostato (da un clip diverso) invece di regredire all'affetto intrinseco della scena di input.
3. Test di Robustezza Cerebro-Sintetico: Il framework include un test di "sostituzione TRIBE v2", che sostituisce l'fMRI misurato con attività sintetica prevista dalle caratteristiche del video per diagnosticare lacune rappresentazionali negli attuali encoder video-cervello.

Risultati Sperimentali

Il sistema è stato valutato su due dataset fMRI indipendenti (MindCaptioning e Horikawa 2020) rispetto a una forte baseline: GPT-4 sollecitato con le etichette emotive categoriali top-5 di verità fondamentale.

• Specificità del Soggetto: EmoMind ha superato significativamente la baseline GPT-4. La diversità delle didascalie tra i soggetti è stata 3,4 volte superiore sulla similarità del vettore emotivo (cosine CK34) e 11,6 volte superiore sulla diversità lessicale. Crucialmente, questa diversità era organizzata per similarità neurale; soggetti con risposte cerebrali simili producevano didascalie più simili, una struttura assente nella baseline sollecitata con etichette.
• Geometria Strutturale: La correlazione di Spearman tra la Matrice di Dissimilarità Rappresentativa (RDM) decodificata dal cervello e la RDM delle didascalie è stata +0,635 per EmoMind, rispetto a +0,435 per GPT-4. Ciò indica che la decodifica cerebrale continua preserva la geometria relazionale delle esperienze emotive meglio delle etichette categoriali.
• Controllo Causale: Nel test SWAP, EmoMind ha raggiunto un tasso di "own-leakage" (perdita propria) del 2,8% (statisticamente indistinguibile dal caso), il che significa che ha seguito con successo il target spostato senza regredire all'affetto del clip originale. GPT-4 ha rivelato l'affetto del clip originale all'8,3%, dimostrando che i segnali cerebrali continui forniscono un segnale di controllo più pulito rispetto alle etichette categoriali.
• Analisi Cerebro-Sintetica: Quando l'fMRI è stato sostituito da attività sintetica (TRIBE v2), il controllo causale è rimasto robusto (perdita 5,2%), ma la geometria strutturale è crollata (RSA sceso da +0,635 a +0,166). Ciò suggerisce che, sebbene gli attuali encoder video-fMRI possano catturare l'affetto specifico del clip, non riescono a preservare la struttura relazionale tra i clip.

Significato e Affermazioni

Il documento afferma che l'affetto decodificato continuamente dal cervello è un segnale di controllo vitale per la generazione di didascalie affettive individualizzate, offrendo capacità che le etichette categoriali non possono raggiungere.

• Variabilità Individuale: I risultati stabiliscono che le differenze individuali nell'esperienza emotiva sono codificate in pattern neurali distribuiti e ad alta dimensionalità che vengono persi quando aggregati in etichette a livello di popolazione. EmoMind cattura con successo questa "variabilità inter-soggetto", che è critica per le applicazioni traslazionali nella salute mentale, dove le medie di popolazione spesso mancano di segnali clinicamente significativi.
• Oltre le Metriche di Superficie: Sebbene GPT-4 superi EmoMind sulle metriche standard di sovrapposizione superficiale (BLEU, ROUGE) perché ha accesso al testo e alle etichette di verità fondamentale, EmoMind domina sulle metriche che richiedono una struttura affettiva specifica per la persona.
• Insight Neuroscientifico: La dissociazione tra usabilità causale (preservata nei cervelli sintetici) e usabilità strutturale (persa nei cervelli sintetici) suggerisce che gli attuali encoder video-fMRI mancano dei segnali interocettivi o specifici del soggetto necessari per ricostruire completamente la geometria relazionale dell'affetto.

Gli autori concludono che EmoMind apre nuove direzioni per lo studio dell'organizzazione cerebrale affettiva individuale e fornisce un substrato per generare testo che riflette non solo cosa una persona ha visto, ma come si è sentita al riguardo, in un modo specifico per la sua unica firma neurale.