🤖 machine learning

DIVER-1: Scaling Intracranial EEG Foundation Models for Transferable Representations

Il documento introduce DIVER-1, un modello fondazionale auto-supervisionato per EEG intracranico addestrato su un vasto e diversificato dataset, che ottiene rappresentazioni trasferibili all'avanguardia per la decodifica cognitiva e il rilevamento delle crisi, dimostrando al contempo che la scala dei dati e la durata dell'addestramento sono più critiche del numero di parametri per un'efficace scalabilità.

Autori originali: Danny Dongyeop Han, Yonghyeon Gwon, Ahhyun Lucy Lee, Taeyang Lee, Seong Jin Lee, Jubin Choi, Sebin Lee, Jihyun Bang, Seungju Lee, David Keetae Park, Shinjae Yoo, Chun Kee Chung, Jiook Cha

Pubblicato 2026-05-26

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Danny Dongyeop Han, Yonghyeon Gwon, Ahhyun Lucy Lee, Taeyang Lee, Seong Jin Lee, Jubin Choi, Sebin Lee, Jihyun Bang, Seungju Lee, David Keetae Park, Shinjae Yoo, Chun Kee Chung, Jiook Cha

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina il tuo cervello come una città enorme e frenetica. Quando i medici vogliono capire cosa succede in quella città, a volte posizionano minuscoli microfoni (elettrodi) direttamente sulle strade o all'interno degli edifici. Questo si chiama EEG intracranico (iEEG). Fornisce una registrazione cristallina, millisecondo per millisecondo, dell'attività della città.

Tuttavia, c'è un enorme problema: ogni città ha un aspetto diverso. Un paziente potrebbe avere microfoni sul lato nord, un altro sul lato sud; uno potrebbe avere 10 microfoni, un altro 100. A causa di ciò, è stato incredibilmente difficile costruire un "traduttore universale" (un'intelligenza artificiale) in grado di ascoltare il cervello di qualsiasi paziente e comprenderlo. I tentativi precedenti di questi traduttori erano come cercare di insegnare a uno studente usando solo un libro di testo specifico, per poi scoprire che non riesce a leggerne uno diverso.

Ecco DIVER-1. Pensa a DIVER-1 come a uno studente super-intelligente e adattabile che ha letto tutte le registrazioni cerebrali disponibili, non solo un tipo specifico. Ecco come funziona, usando semplici analogie:

1. Il Problema: L'Enigma "Taglia Unica per Nessuno"

I precedenti modelli di intelligenza artificiale erano come set di Lego rigidi. Se provavi a costruire un castello con un set progettato per una navicella spaziale, si smontava.

Il Problema: Le registrazioni cerebrali variano enormemente. Alcune hanno elettrodi in una griglia, altre in una linea. Alcune registrano per una frazione di secondo, altre per minuti.
Il Vecchio Metodo: I modelli precedenti costringevano tutti i dati in una forma fissa e unica, perdendo dettagli importanti o non riuscendo a collegare i punti tra le diverse parti del cervello.

2. La Soluzione: Il Cervello "Plasmabile"

DIVER-1 è costruito in modo diverso. Non costringe i dati in una scatola; si modella sui dati.

L'Attenzione "Qualsiasi Variabile": Immagina un gruppo di persone in una stanza dove tutti possono parlare con tutti gli altri istantaneamente, indipendentemente da dove stanno in piedi o da che ora è. DIVER-1 fa questo con i segnali cerebrali. Permette a ogni "microfono" di parlare con ogni altro "microfono" in ogni momento, capendo come lavorano insieme senza bisogno di una mappa fissa.
L'Input "Adattivo": Se dai a DIVER-1 una registrazione con 5 elettrodi, funziona. Se gliene dai 50, funziona. Non gli importa della disposizione; impara le relazioni tra i segnali, non solo le loro posizioni.

3. L'Addestramento: La "Maratona" contro lo "Sprint"

I ricercatori non hanno addestrato DIVER-1 su un piccolo set di dati. Gli hanno fornito una quantità enorme di dati: 5.310 ore di registrazioni cerebrali da 37 persone diverse.

La Scala: Questo è circa 54 volte più dati rispetto a quelli utilizzati dai modelli precedenti. È la differenza tra leggere un singolo fumetto e leggere l'intera Biblioteca del Congresso.
Il Metodo: Invece di ascoltare semplicemente il suono grezzo, DIVER-1 è stato addestrato a "riempire i vuoti". I ricercatori nascondevano parti della registrazione (come mutare una canzone per alcuni secondi) e chiedevano all'IA di indovinare cosa mancava basandosi sul resto della canzone. Questo ha costretto l'IA a imparare la struttura profonda dell'attività cerebraale.

4. I Risultati: Superare gli Esperti

Il team ha testato DIVER-1 su due sfide molto diverse:

Il Test "Spettatore di Film" (Neuroprobe): Hanno chiesto all'IA di indovinare cosa stava pensando una persona mentre guardava un film (ad esempio, "Il volume è alto?" "Viene pronunciata una parola?").
- Il Risultato: DIVER-1 è stato il primo modello a battere una linea di base semplice e standard. Anche se è stato addestrato su persone diverse da quelle testate, ha compreso i segnali cerebrali meglio dei modelli addestrati sulle stesse identiche persone.
Il Test "Crisi Epilettica" (MAYO): Hanno chiesto all'IA di rilevare le crisi epilettiche (improvvisi temporali elettrici nel cervello).
- Il Risultato: DIVER-1 è stato il migliore nel rilevare questi eventi, superando tutti i modelli precedenti.

5. La Grande Scoperta: Dati contro Dimensione

La scoperta più sorprendente riguardava come costruire un'IA migliore.

La Vecchia Credenza: "Se vuoi un'IA più intelligente, rendila semplicemente più grande (aggiungi più parametri/cellule cerebrali)."
La Scoperta di DIVER-1: "No, fai prima leggere all'IA più libri."
- I ricercatori hanno scoperto che per i dati cerebrali, più dati e addestramento più lungo sono molto più importanti che rendere il modello enorme.
- L'Analogia: Immagina di addestrare uno chef. Puoi dargli una cucina enorme e costosa (un modello enorme), ma se si allena solo su una ricetta per un giorno, non diventerà un maestro. È meglio dargli una cucina piccola ma lasciarlo cucinare migliaia di piatti diversi per lungo tempo. DIVER-1 ha dimostrato che per i segnali cerebrali, varietà e ripetizione contano più della dimensione grezza.

Riepilogo

DIVER-1 è un nuovo tipo di intelligenza artificiale in grado di ascoltare qualsiasi cervello, indipendentemente da come sono disposti gli elettrodi. Addestrandosi su una vasta e diversificata libreria di registrazioni cerebrali e concentrandosi sull'apprendimento dei modelli piuttosto che sul semplice memorizzare le posizioni, è diventato lo strumento migliore finora per decodificare i pensieri e rilevare le crisi epilettiche. La lezione chiave? Nel mondo dell'IA cerebrale, quantità e diversità dei dati battono la dimensione del modello ogni volta.

Riepilogo Tecnico: DIVER-1

Enunciato del Problema

L'EEG intracranico (iEEG) offre registrazioni dirette dell'attività neurale umana su scala millisecondica, rendendolo prezioso per il decodifica cognitiva, le interfacce cervello-computer e la neuromedicina di precisione. Tuttavia, lo sviluppo di modelli fondazione riutilizzabili per l'iEEG è stato ostacolato da tre colli di bottiglia principali:

Architetture di Attenzione Restrette: I modelli esistenti spesso trattano gli elettrodi in modo indipendente o separano l'elaborazione spaziale da quella temporale, non riuscendo a catturare le interazioni dirette tra canali e tra tempi, essenziali per modellare il coordinamento inter-regionale ritardato del cervello.
Interfacce di Pre-addestramento Fisse: I dati clinici di iEEG variano significativamente tra i pazienti per numero di canali, copertura anatomica, tipo di elettrodo (SEEG vs ECoG) e schemi di riferimento. I modelli attuali assumono finestre di input e layout di canali fissi, limitando la loro capacità di generalizzare a scenari clinici variabili o a diversi contesti temporali (ad esempio, decodifica sub-secondaria vs rilevamento di crisi epilettiche multi-secondarie).
Pre-addestramento Sottodimensionato: I precedenti modelli fondazione per l'iEEG (ad esempio, BrainBERT, PopT, BaRISTA) sono stati addestrati su dataset relativamente piccoli (ad esempio, il BrainTreeBank di ~40–43 ore), spesso limitati a registrazioni pediatriche di visione di film. Ciò limita la scala e la diversità del pre-addestramento rispetto ai vasti e eterogenei dati disponibili nel monitoraggio clinico. Inoltre, il campo manca di leggi di scalabilità controllate e consapevoli delle risorse computazionali per determinare se i guadagni di prestazioni debbano derivare dall'aumento del volume dei dati, dei parametri del modello o della durata dell'addestramento.

Metodologia: Architettura e Addestramento di DIVER-1

Gli autori introducono DIVER-1, un modello fondazione per l'iEEG auto-supervisionato progettato per affrontare questi colli di bottiglia attraverso un'architettura innovativa e una strategia di pre-addestramento su larga scala.

Componenti Architetturali Centrali

Attenzione Elettrodo-Tempo a Variabili Arbitrarie (Any-Variate): A differenza dei Transformer standard che limitano l'attenzione agli assi temporali o spaziali, DIVER-1 impiega un'autocoscienza completa su tutti i token elettrodo-tempo. Per renderlo espressivo senza assumere un montaggio fisso, inietta la struttura spazio-temporale direttamente nel meccanismo di attenzione utilizzando:
- RoPE (Embedding Posizionali Rotazionali): Codifica gli offset temporali.
- Bias Apprendibili: Distingue tra interazioni dello stesso canale e interazioni tra canali diversi, preservando l'equivarianza alla permutazione dei canali anche senza metadati spaziali espliciti.
Codifica Condizionata all'Input: Per gestire layout di elettrodi e schemi di riferimento variabili, DIVER-1 utilizza:
- Embedding Posizionale Condizionale Spazio-Temporale (STCPE): Un meccanismo a finestra scorrevole basato sull'architettura MOIRAI che fornisce un bias spazio-temporale locale senza fare affidamento su un ordine fisso dei canali o coordinate assolute.
- Ricampionamento Spazio-Temporale (STR): Durante il pre-addestramento, il modello campiona sottoinsiemi casuali di canali e patch temporali da segmenti di 30 secondi. Questo costringe il modello ad apprendere rappresentazioni robuste da dimensioni e contesti di input variabili.
- Ricostruzione Multi-Dominio (MDRO): Il modello è addestrato a ricostruire patch mascherate attraverso più domini di segnale (dominio temporale grezzo, spettri di frequenza FFT e rappresentazioni tempo-frequenza STFT), anziché solo le forme d'onda grezze.
Embedding Posizionali e Spettrali: Il modello incorpora metadati dei canali (coordinate MNI 3D, tipo di elettrodo) e caratteristiche spettrali (patch trasformate in FFT) come embedding di input.

Studio di Pre-addestramento e Scalabilità

Dataset: DIVER-1 è stato pre-addestrato su 5.310 ore di dati iEEG (352k ore-canale) che coprono 37 soggetti, comprendendo sia registrazioni ECoG che SEEG da più centri. Questo volume è circa 54 volte superiore al corpus BrainTreeBank utilizzato per i modelli precedenti.
Varianti del Modello: Sono state istanziate due varianti per adattarsi a diverse granularità temporali: DIVER-1-0.1s (patch da 50 campioni) e DIVER-1-1s (patch da 500 campioni).
Analisi della Legge di Scalabilità: Gli autori hanno condotto il primo studio di scalabilità controllato e consapevole delle risorse computazionali per il pre-addestramento auto-supervisionato dell'iEEG. Hanno esplorato la scala dei dati, il numero di soggetti, la durata dell'addestramento e la dimensione del modello (fino a 1,83 miliardi di parametri) utilizzando la parametrizzazione di aggiornamento massimale (µP) per garantire un trasferimento stabile degli iperparametri attraverso diverse larghezze del modello.

Risultati Chiave

Prestazioni a Valle

DIVER-1 è stato valutato su due benchmark tenuti da parte: Neuroprobe (decodifica cognitiva naturalistica su 15 compiti) e MAYO (rilevamento di crisi epilettiche).

Neuroprobe: DIVER-1-0.1s ha ottenuto la media AUROC migliore tra tutti i modelli fondazione per l'iEEG e i baseline supervisionati valutati. In particolare, ha superato il decodificatore lineare degli spettrogrammi, invertendo la precedente scoperta secondo cui i modelli pre-addestrati per l'iEEG performano peggio di semplici baseline lineari sotto una valutazione consapevole della fuoriuscita di dati. Ha raggiunto questo risultato nonostante fosse pre-addestrato su dati esterni di adulti, mentre Neuroprobe è composto da dati pediatrici, dimostrando un forte trasferimento tra dataset.
MAYO: DIVER-1-1s ha ottenuto la AUROC più alta per il rilevamento di crisi epilettiche, superando BrainBERT e Brant.
Sondaggio Lineare (Linear Probing): Il modello DIVER-1-0.1s congelato è stato altamente competitivo, spesso superando la sua controparte completamente fine-tunata su Neuroprobe, indicando che le rappresentazioni pre-addestrate sono già utili linearmente.

Risultati della Legge di Scalabilità

Lo studio di scalabilità ha rivelato un regime vincolato dai dati per i modelli fondazione per l'iEEG:

Dati vs Parametri: L'aumento delle registrazioni di dati uniche e della durata dell'addestramento ha prodotto guadagni di prestazioni più affidabili rispetto all'aumento del solo numero di parametri.
Allocazione Ottimale delle Risorse Computazionali:
- Quando sono disponibili nuovi dati, la strategia ottimale è scalare prima i dati, poi la durata dell'addestramento e infine i parametri del modello.
- Quando il corpus è fisso, la strategia ottimale è addestrare più a lungo (più passaggi) su modelli di dimensioni piccole-medie piuttosto che addestrare brevemente modelli molto grandi.
Rendimenti Decrescenti: Lo studio ha quantificato i rendimenti decrescenti per la ripetizione dei dati ( $R^*_D \approx 9.5$ epoche) e per parametri eccessivi ( $R^*_N \approx 3.4$ ), suggerendo che i guadagni sono meglio perseguiti scalando la ripetizione del dataset mantenendo le dimensioni del modello moderate.

Significato e Affermazioni

Il documento afferma che DIVER-1 rappresenta un passo significativo in avanti nella modellazione fondazione per l'iEEG attraverso:

Realizzazione di Rappresentazioni Trasferibili: Dimostrando che un pre-addestramento su larga scala ed eterogeneo può produrre rappresentazioni che si trasferiscono tra soggetti, centri e compiti clinici, superando i limiti dei precedenti modelli addestrati su dataset ristretti e su piccola scala.
Stabilimento di un Nuovo Paradigma di Scalabilità: Fornendo la prima evidenza controllata che il pre-addestramento per l'iEEG è vincolato dai dati. Gli autori sostengono che la comunità dovrebbe dare priorità all'espansione dei volumi di registrazione unici e della durata dell'addestramento rispetto al semplice aumento del numero di parametri del modello, una scoperta che contrasta con le leggi di scalabilità pesanti sui parametri spesso osservate nei modelli linguistici.
Innovazione Architetturale: Introdurre un'architettura che gestisce nativamente la variabilità dell'iEEG clinico (canali variabili, riferimenti e contesti temporali) attraverso un'attenzione a variabili arbitrarie e embedding posizionali condizionati all'input, consentendo una modellazione robusta delle dinamiche neurali spazio-temporali senza montaggi fissi.

Gli autori concludono che la strada da percorrere per i modelli fondazione per l'iEEG consiste nel "scalare prima i dati, addestrare più a lungo in secondo luogo e scalare i parametri per ultimi".