MindPilot: Closed-loop Visual Stimulation Optimization for Brain Modulation with EEG-guided Diffusion

Titolo: MindPilot: Ottimizzazione a Ciclo Chiuso della Stimolazione Visiva per la Modulazione Cerebrale con Diffusion Guidato da EEG

1. Il Problema

La ricerca sulle interfacce cervello-computer (BCI) si è storicamente concentrata sul decodificare i segnali neurali per interpretare intenzioni o comportamenti. Tuttavia, la sfida inversa—utilizzare stimoli controllati per guidare o modulare l'attività cerebrale verso stati specifici—rimane poco compresa, specialmente nel dominio visivo.
Le principali difficoltà includono:

• Mancanza di misure quantitative: Gli stati soggettivi umani (come emozioni o percezioni semantiche) sono difficili da quantificare oggettivamente.
• Rumore e non differenziabilità: I segnali EEG sono intrinsecamente rumorosi, variabili tra i soggetti e, soprattutto, la funzione che mappa lo stimolo visivo alla risposta cerebrale è una "scatola nera" non differenziabile.
• Limiti delle soluzioni esistenti: I metodi precedenti si basano spesso su registrazioni invasive (elettrodi corticali) o su stimoli visivi di basso livello (es. sfarfallii), non riuscendo a generare immagini naturali e semanticamente ricche che coinvolgano rappresentazioni cognitive superiori.

2. Metodologia: MindPilot

MindPilot è un framework a ciclo chiuso che unisce l'ottimizzazione a scatola nera con la generazione di immagini basata su modelli di diffusione (Diffusion Models). L'obiettivo è sintetizzare immagini naturali che, quando visualizzate, guidino l'attività cerebrale (misurata via EEG) verso un "stato target".

Componenti Chiave:

• Trattamento del cervello come Scatola Nera: Il cervello (o la sua lettura EEG) è modellato come una funzione non differenziabile $g(u) = x$, dove $u$ è lo stimolo visivo e $x$ è la risposta EEG.
• Modello Proxy (Surrogate): Poiché l'acquisizione EEG in tempo reale per grandi scale è costosa, MindPilot utilizza un "modello proxy" nero (addestrato su dataset come THINGS-EEG2) che mappa le immagini a risposte EEG sintetiche. Sono stati testati diversi backbone (CNN come ResNet, modelli Vision Transformer come ViT, DINO, ecc.).
• Guida Pseudo-Modello (Pseudo-Model Guidance): Per aggirare la non differenziabilità, il framework non calcola gradienti diretti sul cervello. Invece, utilizza un meccanismo di guida surrogata:
  1. Estrazione delle Feature: Un encoder EEG estrae feature target (es. similarità semantica con CLIP o caratteristiche spettrali PSD) dalla risposta EEG prevista o reale.
  2. Ottimizzazione Senza Gradienti: Utilizza un processo iterativo che aggiorna la distribuzione di probabilità di selezione delle immagini.
     • Aggiornamento Diretto: Assegna ricompense alle immagini che massimizzano la similarità con il target.
     • Spreading Update: Diffonde queste ricompense ad immagini simili nel database (basandosi sulla similarità delle embedding CLIP), permettendo una ricerca più efficiente.
• Generazione Heuristica: Per superare i limiti di un pool di immagini statico, MindPilot integra un modello di diffusione (SDXL-Lightning) con IP-Adapter. Utilizza un Gaussian Process (GP) come surrogato per stimare i gradienti nello spazio latente, guidando la generazione di nuove immagini verso l'obiettivo neurale senza vedere l'immagine target reale (solo la sua firma neurale).

3. Contributi Principali

1. Ottimizzazione di Stimoli Visivi Guidata da EEG: Un framework generale che utilizza un modello proxy a scatola nera per guidare la sintesi di immagini capaci di steerare gli stati latenti del cervello.
2. Strategia di Guida "Black-Box": Una nuova strategia basata su pseudo-modelli che permette un'ottimizzazione flessibile e priva di gradienti per target neurali diversi (feature semantiche, spettrali o valutazioni soggettive).
3. Validazione Completa: Sperimentazioni sia in simulazione (su dataset EEG) che con soggetti umani reali, dimostrando la fattibilità in compiti di recupero semantico, ottimizzazione di feature EEG e regolazione emotiva.

4. Risultati Sperimentali

Il paper presenta risultati in tre ambiti principali:

• Ricerca Interattiva (Interactive Search):

  • In un ambiente di ricerca su 600 immagini (THINGS-EEG2), MindPilot ha dimostrato di recuperare immagini target con una similarità neurale significativamente superiore rispetto al campionamento casuale.
  • Le embedding EEG e CLIP hanno mostrato una correlazione significativa, confermando che la similarità semantica può fungere da proxy affidabile per l'allineamento neurale.

• Generazione di Stimoli (Stimulus Generation):

  • MindPilot è stato in grado di generare nuove immagini che massimizzano la similarità con target neurali specifici (sia semantici che basati sulla Densità Spettrale di Potenza - PSD).
  • Confronto con lo Stato dell'Arte: Sebbene i decoder diretti EEG-to-Image (come ATM-S) rappresentino un limite superiore teorico (poiché hanno accesso diretto all'EEG target), MindPilot ha raggiunto prestazioni semantiche competitive (es. similarità CLIP 0.67 vs 0.76 del limite superiore) pur operando in un setting più difficile (senza accesso all'immagine target, solo alla sua firma neurale).

• Esperimenti con Soggetti Umani (Real-Time):

  • Task di "Mental Matching": I partecipanti dovevano memorizzare un'immagine target. MindPilot ha generato immagini che i partecipanti hanno valutato come progressivamente più simili al target, con un aumento costante dei punteggi di similarità.
  • Regolazione Emotiva: In un task dove l'obiettivo era guidare l'umore verso stati positivi (senza un target EEG esplicito, ma usando il rating soggettivo come feedback), il sistema ha mostrato una modulazione significativa (aumento del punteggio di valenza positiva da 0.45 a 0.60).
  • I punteggi di similarità derivati dal modello hanno mostrato una forte correlazione con i giudizi umani (R = 0.714 nel task emotivo).

5. Significato e Impatto

MindPilot rappresenta una prova di concetto pionieristica per le seguenti ragioni:

• Modulazione Non Invasiva: Dimostra per la prima volta che è possibile guidare la generazione di immagini naturali per modulare l'attività cerebrale utilizzando esclusivamente EEG non invasivo, superando i limiti degli stimoli a basso livello o invasivi.
• Interfaccia Bidirezionale: Apre la strada a BCI bidirezionali avanzate, dove l'AI non solo legge il cervello, ma può anche "scrivere" o modulare stati cognitivi ed emotivi attraverso stimoli visivi ottimizzati.
• Generazione Guidata dal Segnale Neurale: Introduce un nuovo paradigma di generazione controllata dove il segnale neurale (e non il testo) è il prompt principale, aprendo nuove frontiere per la neuroscienza computazionale, la riabilitazione cognitiva e le interfacce uomo-AI.

In sintesi, MindPilot tratta il cervello come una funzione di ottimizzazione a scatola nera e utilizza tecniche di apprendimento automatico avanzate (diffusion models, Gaussian Processes) per navigare nello spazio degli stimoli visivi, trovando immagini che "sintonizzano" il cervello su stati desiderati.