Optimizing MR-based gaze-decoding for eyes-closed eye-tracking in fMRI

Nel ronzio silenzioso di uno scanner MRI, i ricercatori spesso chiedono alle persone di stare perfettamente immobili mentre i loro cervelli si illuminano in risposta a immagini, suoni o pensieri. Per decenni, gli scienziati hanno saputo che dove una persona guarda è importante tanto quanto ciò che sta pensando. Se gli occhi di un partecipante deviano anche solo leggermente, l'attività cerebrale registrata può cambiare completamente, trasformando un segnale chiaro in un rumore confondente. Per prevenire questo, la maggior parte degli studi utilizza telecamere ad alta velocità per tracciare gli occhi, assicurando che la persona stia guardando esattamente dove dovrebbe. Ma queste telecamere hanno un punto cieco: non possono vedere quando gli occhi sono chiusi. Questo lascia un enorme vuoto nella nostra comprensione. Non possiamo studiare cosa accade nel cervello durante il sonno, durante il rilassamento profondo a occhi chiusi, o quando alle persone viene chiesto di immaginare scene nella loro mente, perché non abbiamo modo di sapere se i loro occhi si stanno muovendo o verso dove potrebbero essere puntati.

Un team di ricercatori ha ora trovato un modo per vedere attraverso quel buio, non con una telecamera, ma ascoltando i segnali magnetici dei bulbi oculari stessi. Utilizzando un potente programma per computer che impara a riconoscere i pattern nelle scansioni cerebrali, hanno insegnato a una macchina a indovinare dove una persona sta guardando, anche quando le palpebre sono serrate. Questa svolta non dipende da attrezzature costose o condizioni perfette. Al contrario, si basa su un metodo di addestramento intelligente che permette al sistema di adattarsi a diversi scanner e diversi compiti, aprendo una finestra sui movimenti nascosti dell'occhio della mente.

La storia inizia con uno strumento chiamato DeepMReye, un sofisticato programma per computer che era già noto per funzionare bene quando le persone guardavano degli schermi. Questo programma agisce come un traduttore, convertendo le deboli increspature magnetiche provenienti dai bulbi oculari all'interno dello scanner in una mappa di dove è diretto lo sguardo. Tuttavia, la versione originale di questo traduttore era stata addestrata principalmente su dati di persone con gli occhi spalancati. Quando i ricercatori hanno provato a usarlo su persone con gli occhi chiusi, i risultati erano incerti. La forma fisica dell'occhio cambia leggermente quando le palpebre premono verso il basso, e i segnali magnetici cambiano in modi che il computer non aveva mai visto prima. Era come chiedere a un traduttore che parla solo inglese di interpretare improvvisamente una lingua che usa una grammatica completamente diversa.

Per risolvere il problema, i ricercatori hanno progettato un nuovo tipo di sessione di addestramento. Hanno portato quindici volontari nello scanner e hanno chiesto loro di eseguire una serie di movimenti oculari mentre i loro cervelli venivano scansionati. Prima, i volontari guardavano un bersaglio su uno schermo, seguendolo mentre si muoveva in schemi specifici, come tracciare triangoli nell'aria con gli occhi. Questa parte è stata eseguita a occhi aperti, fornendo al computer esempi chiari e perfetti di come appaiono i segnali magnetici quando gli occhi si muovono in modo controllato. I ricercatori hanno poi usato questi nuovi dati per "affinare" il programma per computer, insegnandogli essenzialmente come il loro specifico scanner e la loro specifica configurazione vedessero il mondo.

I risultati sono stati immediati e chiari. Quando i ricercatori hanno testato il programma appena addestrato sui medesimi compiti a occhi aperti, questo ha performato significativamente meglio della versione originale. Ha tracciato i movimenti con molta più precisione, riducendo la distanza tra dove il computer pensava che fossero gli occhi e dove si trovavano realmente. Fondamentalmente, i ricercatori hanno scoperto che questo miglioramento non era solo una questione di estendere i numeri per adattarli a uno schermo più grande. Il programma aveva genuinamente imparato il modo unico in cui il loro scanner catturava il movimento dell'occhio. Ancora più sorprendentemente, hanno scoperto che non avevano bisogno dei dati della telecamera per fare questo addestramento. Potevano semplicemente dire al computer: "La persona stava guardando in questo punto specifico", e il programma imparava altrettanto bene come se avesse visto i movimenti oculari effettivi registrati da una telecamera. Ciò significa che qualsiasi laboratorio, anche uno senza una telecamera, può ora insegnare al sistema come lavorare per loro.

La vera magia, tuttavia, è avvenuta quando le luci si sono spente. I ricercatori hanno poi chiesto ai volontari di eseguire lo stesso compito di tracciamento del triangolo, ma questa volta con gli occhi chiusi, guidati solo da una sequenza di bip. Gli hanno anche chiesto di ammiccare lentamente e di tenere gli occhi aperti senza guardare nulla. Quando hanno inserito le scansioni cerebrali di queste sessioni a occhi chiusi nel programma appena addestrato, esso ha ricostruito con successo i movimenti oculari. Il computer poteva "vedere" i triangoli tracciati nel buio. Per dimostrare che non si trattasse di un colpo di fortuna, i ricercatori hanno rimescolato l'ordine dei movimenti nei dati. Quando la sequenza è stata interrotta, il programma non è più stato in grado di identificare la forma, provando che stava realmente decodificando il percorso dell'occhio e non stava solo indovinando in base alla tempistica dei suoni.

Questa capacità di vedere i movimenti a occhi chiusi non era solo un gioco da ragazzi; ha rivelato qualcosa di profondo su come il cervello e gli occhi interagiscono. I ricercatori hanno scoperto che il programma poteva anche distinguere tra palpebre aperte e chiuse con alta precisione. Poteva rilevare quando una persona ammiccava o quando i suoi occhi erano completamente chiusi, semplicemente leggendo i segnali magnetici. Ciò suggerisce che lo stato delle palpebre lasci un'impronta digitale distinta sulla scansione cerebrale, che il computer può imparare a riconoscere.

Forse la scoperta più pratica è stata che il programma non aveva bisogno di essere addestrato su dati a occhi chiusi per funzionare su compiti a occhi chiusi. I ricercatori hanno provato ad addestrare il sistema utilizzando solo i dati a occhi aperti raccolti in precedenza. Quando hanno testato questa versione sulle sessioni a occhi chiusi, ha performato quasi altrettanto bene della versione che era stata addestrata sia con gli occhi aperti che con quelli chiusi. Ciò significa che per studiare il sonno o l'immaginazione mentale in futuro, gli scienziati non devono lottare per far funzionare una telecamera al buio. Possono semplicemente addestrare il sistema mentre il soggetto è sveglio e guarda uno schermo, e poi applicare quella conoscenza ai momenti a occhi chiusi.

Lo studio ha anche affrontato una comune limitazione nel modo in cui questi sistemi vengono utilizzati. Spesso, i ricercatori assumono che, se semplicemente regolano la scala dell'output, un programma generico funzionerà per qualsiasi configurazione. I ricercatori hanno dimostrato che questo non è sufficiente. Una semplice estensione matematica dei numeri non poteva eguagliare le prestazioni di un programma che fosse stato specificamente addestrato sui dati locali. Il computer doveva imparare la "voce" specifica dello scanner e il modo unico in cui gli occhi si muovevano in quella particolare stanza.

Combinando una semplice routine di addestramento con un potente algoritmo di apprendimento, i ricercatori hanno rimosso una barriera importante allo studio del cervello. Hanno dimostrato che possiamo ora tracciare dove la mente sta guardando, anche quando gli occhi sono chiusi, senza bisogno di una telecamera per osservarli. Questo apre la porta allo studio del sonno, del rilassamento profondo e dei paesaggi interiori dell'immaginazione con una chiarezza che prima era impossibile. La tecnologia non è perfetta; i movimenti degli occhi chiusi sono naturalmente meno precisi di quelli aperti, e il computer riflette questa realtà. Ma per la prima volta, l'oscurità dell'occhio chiuso non è più un punto cieco nella nostra comprensione del cervello umano.