💻 computer science

Rethinking Brain Decoding with CLIP: The Role of Adversarial Robustness

Questo articolo dimostra che l'utilizzo di varianti di CLIP avversarialmente robuste, piuttosto che di modelli standard, migliora significativamente le prestazioni di decodifica cerebrale basata su fMRI promuovendo rappresentazioni percettivamente strutturate e stabili che si allineano meglio con l'attività neurale.

Autori originali: Byeongseo Bok, Futa Waseda, Jun Liu, Isao Echizen

Pubblicato 2026-07-07

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Byeongseo Bok, Futa Waseda, Jun Liu, Isao Echizen

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il quadro generale: Leggere nel pensiero con l'IA

Immaginate che gli scienziati stiano cercando di costruire una macchina per la "lettura del pensiero". Utilizzano uno scanner MRI per osservare il cervello di una persona mentre guarda un'immagine. L'obiettivo è capire esattamente cosa la persona sta vedendo, guardando solo l'attività cerebrale.

Per farlo, hanno bisogno di un traduttore. Il cervello parla in "segnali neurali" (dati fMRI), ma noi dobbiamo tradurli in qualcosa che comprendiamo, come la descrizione di un'immagine. Per molto tempo, gli scienziati hanno usato un traduttore IA molto popolare chiamato CLIP. CLIP è bravissimo a comprendere la connessione tra immagini e parole.

Il Problema: Anche se CLIP è popolare, non è un traduttore perfetto per il cervello umano. Il paper suggerisce che CLIP sia come uno studente che è molto bravo a superare un esame specifico memorizzando "trucchi" o "scorciatoie" (come notare che un'immagine di un cane ha solitamente l'erba sullo sfondo), piuttosto che comprendere davvero il concetto fondamentale di cane. Il cervello umano, tuttavia, non si affida a quelle scorciatoie; vede il cane stesso. Poiché l'IA e il cervello guardano l'immagine in modi leggermente diversi, la traduzione non è perfetta.

La Soluzione: Il traduttore sottoposto a "Stress-Test"

Gli autori si sono posti una domanda semplice: E se usassimo una versione dell'IA che è stata "stressata" per ignorare quei trucchi?

Nel mondo dell'IA, esiste una tecnica chiamata Adversarial Training (addestramento avversario). Immaginate di insegnare a uno studente a riconoscere un segnale di stop.

Studente Standard (CLIP): Gli mostrate un segnale di stop. Lui lo impara. Ma se ci mettete sopra un piccolo adesivo invisibile che, per un computer, sembra un segnale di limite di velocità, lui potrebbe confondersi e pensare che sia un limite di velocità. Si affida a dettagli fragili.
Studente sottoposto a Stress-Test (Robust CLIP): Gli mostrate il segnale di stop, ma gli mostrate anche migliaia di versioni con adesivi strani, sfocature e distorsioni. Lo costringete a imparare la forma essenziale del segnale, ignorando lo sfondo disordinato o i piccoli trucchi. Diventa "robusto".

Il paper sostiene che questo "Studente sottoposto a Stress-Test" (Robust CLIP) parli effettivamente meglio la lingua del cervello umano rispetto allo studente standard.

Cosa hanno fatto (L'esperimento)

I ricercatori hanno organizzato una gara equa. Hanno mantenuto tutto esattamente uguale — i dati dello scanner cerebrale, il codice del computer e il metodo di addestramento. L'unica cosa che hanno cambiato è stato il "traduttore" (la rappresentazione target).

Team A: Ha utilizzato il modello CLIP standard.
Team B: Ha utilizzato le versioni "sottoposte a stress-test" (chiamate FARE e TeCoA).

Hanno testato questo su due diversi set di dati cerebrali (dataset) per vedere chi riusciva a indovinare l'immagine partendo dalla scansione cerebrale con maggiore accuratezza.

I Risultati: Il Team sottoposto a Stress-Test vince

I risultati sono stati chiari e coerenti:

Migliore capacità di indovinare: I modelli "sottoposti a stress-test" sono stati molto più bravi a indovinare quale immagine una persona stesse guardando basandosi sulla sua attività cerebrale. In un test, l'accuratezza è aumentata del 13%, il che è un traguardo enorme in questo campo.
Migliore allineamento: Quando hanno misurato quanto strettamente la mappa interna dell'IA corrispondesse alla mappa del cervello, i modelli robusti erano molto più vicini. È come se l'IA e il cervello fossero finalmente sulla stessa lunghezza d'onda.
Successo Zero-Shot: Anche quando hanno mostrato al cervello immagini che l'IA non aveva mai visto prima, i modelli robusti hanno indovinato correttamente più spesso rispetto a quelli standard.

Il "Perché": Guardare la Mappa

I ricercatori non si sono fermati a "funziona meglio". Volevano sapere perché. Hanno utilizzato uno strumento chiamato Attribution Map (mappa di attribuzione), che è come una mappa termica che mostra quali parti di un'immagine l'IA sta osservando.

CLIP Standard: La mappa termica era un po' dispersa. Sembrava guardare l'intera immagine, inclusi i dettagli dello sfondo che potrebbero essere dei "trucchi".
Robust CLIP: La mappa termica era più focalizzata e strutturata. Ignorava il "rumore" dello sfondo e si concentrava sull'oggetto principale, proprio come fa un essere umano.

La scoperta più interessante è stata che i due modelli guardavano le immagini in modi completamente diversi. Non hanno solo apportato piccole modifiche alle stesse caratteristiche; hanno riorganizzato il modo in cui vedevano il mondo. Il modello robusto ha smesso di fare affidamento sulle "scorciatoie" che il modello standard utilizzava, e questo cambiamento è ciò che ha permesso un migliore allineamento con il cervello umano.

Conclusione

Il paper conclude che, se volete decodificare l'attività cerebrale umana, scegliere il modello IA giusto conta più di quanto si possa pensare.

Non serve costruire una macchina nuova o cambiare lo scanner cerebrale. Basta sostituire il traduttore IA standard con uno che sia stato "sottoposto a stress" per essere robusto contro i trucchi. In questo modo, l'IA smette di cercare scorciatoie facili e inizia a vedere il mondo come i nostri cervelli, portando a risultati di lettura del pensiero molto migliori.

In breve: Per leggere una mente umana, usa un'IA che abbia imparato a ignorare le distrazioni e a concentrarsi sulla verità.

Problematica

Il decoding cerebrale mira a inferire le rappresentazioni legate agli stimoli dai segnali cerebrali, tipicamente mappando le risposte fMRI negli embedding latenti di modelli computazionali. Recentemente, il modello Contrastive Language-Image Pre-training (CLIP) è diventato un target di rappresentazione standard grazie al suo ricco spazio di embedding visione-linguaggio. Tuttavia, allineare i segnali fMRI con le rappresentazioni standard di CLIP rimane una sfida.

Gli autori sostengono che il CLIP standard sia ottimizzato per l'apprendimento contrastivo immagine-testo su scala web piuttosto che per l'allineamento neurale. Di conseguenza, i suoi embedding possono catturare caratteristiche "non robuste" o guidate da scorciatoie (shortcut-driven) che sono statisticamente predittive per il matching immagine-testo, ma che non sono fedelmente riflesse nell'attività cerebrale umana. I lavori precedenti hanno tentato di migliorare il decoding aggiungendo vincoli biologici (ad esempio, meccanismi di attenzione visiva) o imponendo la similitudine geometrica tra gli embedding e le risposte fMRI. Questo articolo postula che il problema non risieda solo nella pipeline, ma nelle proprietà intrinseche della rappresentazione target stessa. Nello specifico, gli autori ipotizzano che le rappresentazioni avversarialmente robuste, che sopprimono le caratteristiche non robuste e si affidano maggiormente a indizi percettivi stabili e strutturati, possano allinearsi meglio con l'invarianza osservata nelle rappresentazioni neurali umane.

Metodologia

Lo studio impiega un design sperimentale controllato in cui il decoder fMRI e l'intera pipeline di addestramento rimangono fissi, mentre viene variato solo il modello di rappresentazione target.

Dataset:
- NSD (Natural Scene Dataset): Un dataset visione-fMRI su larga scala contenente 73.000 immagini e dati fMRI di 8 soggetti. Gli autori valutano sui soggetti 1, 2, 5 e 7.
- GOD (Generic Object Decoding Dataset): Progettato per testare la generalizzazione zero-shot con semantiche di addestramento-test non sovrapponibili, contenente 1.250 immagini e dati di 5 soggetti.
Modelli Target:
- Baseline: Standard CLIP (backbone ViT-L/14).
- Varianti Robuste: Due varianti di CLIP addestrate avversarialmente:
  - TeCoA: Una variante robusta in cui l'encoder visivo è sottoposto a fine-tuning avversariale sotto supervisione guidata dal testo.
  - FARE: Una variante robusta che utilizza il fine-tuning avversariale non supervisionato senza supervisione testuale.
- Gli autori valutano diversi livelli di forza avversariale (ad esempio, FARE-2/4, TeCoA-2/4) basati sul budget di perturbazione ( $\epsilon$ ).
Architettura del Decoder:
- Un decoder lineare mappa i dati dei voxel fMRI verso gli embedding predetti.
- Obiettivi di Addestramento: Lo studio utilizza due obiettivi:
  1. Perdita InfoNCE (Contrastiva): Ottimizzare l'allineamento tra gli embedding predetti e quelli target utilizzando una perdita contrastiva.
  2. Regressione Ridge: Una baseline standard nel decoding cerebrale.
Metriche di Valutazione:
- Performance di Decoding: Accuratezza top- $k$ (Recall@k) per il recupero fMRI-immagine su entrambi i dataset NSD e GOD.
- Allineamento Neurale: Correlazione di Pearson, similitudine del coseno e Analisi di Similitudine Rappresentazionale (RSA) tra le risposte fMRI e le rappresentazioni target.
- Analisi dell'Attribuzione: Utilizzando il framework di Palazzo et al. [40], gli autori calcolano mappe di attribuzione a livello di pixel per analizzare quali caratteristiche dell'immagine su cui i decoder si affidano. Le metriche includono l'entropia normalizzata, l'IoU delle regioni attribuite top- $k$ e la correlazione di rango di Spearman tra le mappe di attribuzione.

Risultati Chiave

I risultati empirici dimostrano che sostituire lo standard CLIP con varianti avversarialmente robuste migliora costantemente la performance di decoding cerebrale e l'allineamento neurale.

Miglioramento dell'Allineamento e del Recupero:
- Sul dataset NSD, le varianti robuste (FARE e TeCoA) hanno ottenuto punteggi di allineamento più elevati (correlazione di Pearson, similitudine del coseno, RSA) rispetto allo standard CLIP. TeCoA-4 ha costantemente ottenuto i punteggi di allineamento più alti.
- Nel recupero fMRI-immagine, i decoder robusti hanno superato la baseline dello standard CLIP. In particolare, FARE-4 ha migliorato l'accuratezza Top-1 del 13% rispetto alla baseline CLIP sotto decoding contrastivo.
- Questi miglioramenti si sono mantenuti sia nel learning contrastivo che negli obiettivi di regressione ridge, suggerendo che la scelta della rappresentazione target sia più critica dell'obiettivo di addestramento.
Generalizzazione Zero-Shot (Dataset GOD):
- I miglioramenti sono stati riproducibili sul dataset GOD, che impone condizioni di zero-shot rigorose. I decoder robusti hanno mantenuto un'accuratezza di recupero superiore e una performance di classificazione fMRI-test zero-shot più alta rispetto allo standard CLIP.
- I decoder TeCoA hanno generalmente superato i decoder FARE nei compiti di classificazione testuale zero-shot.
Analisi dell'Attribuzione:
- Struttura Spaziale: Mentre tutti i modelli esibivano un'alta diffusione spaziale globale (alta entropia), le varianti robuste mostravano una maggiore variazione strutturale dipendente dalla scala. La loro entropia diminuiva man mano che la risoluzione spaziale diventava più grossolana, indicando pattern di attribuzione più strutturati rispetto all'entropia stabile dello standard CLIP.
- Disaccordo delle Caratteristiche: È stato costantemente presente un basso accordo tra lo standard CLIP e le varianti robuste. L'Intersection-over-Union (IoU) top-k per i pixel altamente attribuiti era estremamente basso (inferiore a 0,1), e le correlazioni di rango di Spearman erano deboli o negative. Ciò suggerisce che l'addestramento avversariale non si limita a raffinare l'uso delle caratteristiche, ma induce una riorganizzazione sistematica dell'importanza delle caratteristiche, affidandosi a caratteristiche d'immagine strutturalmente distinte.

Contributi

L'articolo apporta i seguenti contributi specifici:

Dimostrazione dei Benefici della Robustezza: Dimostra che le varianti di CLIP addestrate avversarialmente (FARE e TeCoA) migliorano l'allineamento tra le risposte fMRI e le rappresentazioni del modello, producendo un'accuratezza di recupero fMRI-immagine significativamente più alta sul dataset NSD.
Validazione Zero-Shot: Valida che questi miglioramenti si generalizzano in contesti zero-shot sul dataset GOD, confermando che i guadagni non sono dovuti a overfitting specifico del dataset.
Approfondimenti sull'Attribuzione: Attraverso l'analisi dell'attribuzione, rivela che i modelli robusti mostrano un basso accordo con lo standard CLIP nell'uso delle caratteristiche, producendo pattern spazialmente concentrati e distinti, suggerendo così che la robustezza avversariale riorganizza l'importanza delle caratteristiche visive.

Significato e Rivendicazioni

Gli autori concludono che la scelta della rappresentazione target è un fattore critico nei pipeline di decoding neurale. Sostengono che la robustezza avversariale serva come un utile bias induttivo per migliorare l'allineamento tra i modelli computazionali e l'attività cerebrale.

L'articolo afferma che, poiché le rappresentazioni neurali umane sono relativamente invarianti alle piccole perturbazioni e meno dipendenti da indizi non robusti, i modelli addestrati per sopprimere tali indizi (tramite addestramento avversariale) producono naturalmente rappresentazioni più compatibili con i segnali fMRI. Questa scoperta suggerisce che i futuri sforzi di brain decoding dovrebbero considerare le proprietà intrinseche del modello target, come la robustezza, piuttosto che concentrarsi esclusivamente sulle modifiche architettoniche o sull'ingegneria della pipeline. Il lavoro evidenzia come la robustezza influenzi non solo l'accuratezza predittiva, ma anche il modo fondamentale in cui le caratteristiche visive vengono utilizzate nel decoding dell'attività cerebrale.