🤖 machine learning

Structured Prototype-Guided Adaptation for EEG Foundation Models

Questo articolo propone SCOPE, un framework strutturato, consapevole della confidenza e guidato da prototipi, che affronta le sfide dell'adattamento dei modelli fondazionali EEG a contesti con limitate etichette mitigando la miscalibrazione eccessivamente sicura e la deriva delle rappresentazioni mediante supervisione a livello di coorte e un adattatore leggero condizionato ai prototipi.

Autori originali: Jingying Ma, Feng Wu, Yucheng Xing, Qika Lin, Tianyu Liu, Chenyu Liu, Ziyu Jia, Mengling Feng

Pubblicato 2026-05-11

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Jingying Ma, Feng Wu, Yucheng Xing, Qika Lin, Tianyu Liu, Chenyu Liu, Ziyu Jia, Mengling Feng

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Grande Problema: Lo "Studente Eccessivamente Entusiasta"

Immagina di avere uno studente brillante (un Modello Fondamentale EEG) che ha letto ogni libro della biblioteca. Conosce tutto sulle onde cerebrali perché è stato addestrato su enormi quantità di dati. Questo è fantastico!

Tuttavia, in un vero ospedale, un medico ha a disposizione solo pochi pazienti con diagnosi confermate (dati etichettati) e migliaia di pazienti senza note (dati non etichettati).

Quando provi a insegnare a questo studente brillante utilizzando solo quei pochi casi confermati, qualcosa va storto. Invece di apprendere le nuove regole specifiche, lo studente diventa eccessivamente sicuro di sé. Inizia a indovinare a caso basandosi sui pochi esempi che ha, ignorando la sua vasta conoscenza generale. "Sovradatta", cioè memorizza perfettamente i pochi esempi ma fallisce completamente quando vede un nuovo paziente. È come uno studente che memorizza le risposte a tre domande di pratica ma fallisce l'esame reale perché non ha compreso il concetto.

La Soluzione: SCOPE

Gli autori hanno creato un nuovo metodo chiamato SCOPE (Adattamento guidato da prototipi strutturati e consapevoli della confidenza). Pensa a SCOPE come a un tutor intelligente che aiuta lo studente ad apprendere dai pochi casi confermati senza farlo dimenticare la sua conoscenza generale o indovinare a caso sui casi sconosciuti.

SCOPE funziona in due fasi principali:

Fase 1: Costruire una "Mappa" e un "Filtro di Fiducia"

Prima che lo studente inizi a studiare i nuovi casi, il tutor costruisce una guida.

Creare una "Mappa" (Prototipi Strutturati):
Immagina che i diversi tipi di stati cerebrali (come "sonno", "sveglio", "ansioso") siano città diverse su una mappa. Di solito, quando hai pochissimi esempi, la mappa diventa confusa e le città si fondono tra loro.
SCOPE disegna prima una mappa chiara e strutturata. Utilizza la matematica per garantire che le "città" (classi) siano distanziate uniformemente e che esistano quartieri distinti all'interno di ogni città per gestire le diverse variazioni. Questa mappa agisce come una guida persistente in modo che lo studente sappia dove dovrebbe trovarsi, anche se i dati sono rumorosi.
Il "Filtro di Fiducia" (Etichettatura Pseudo Consapevole della Confidenza):
Il tutor esamina i migliaia di pazienti senza note. Invece di indovinare alla cieca qual è la loro condizione, il tutor si pone due domande diverse:
- "Basandosi sulla mappa generale, cos'è questo?"
- "Basandosi sui quartieri specifici, cos'è questo?"
  Se entrambe le risposte concordano, il tutor dice: "Ok, questo sembra affidabile". Se non concordano, il tutor dice: "Non sono sicuro, ignoriamo questo per ora". Questo impedisce allo studente di apprendere da ipotesi errate.

Fase 2: Gli "Occhiali Leggeri" (ProAdapter)

Ora è il momento per lo studente di studiare.

Il Problema con i Metodi Vecchi: Di solito, per insegnare un nuovo compito, si dice allo studente di riscrivere l'intero cervello (Full Fine-Tuning). Questo è pericoloso perché potrebbero cancellare tutta la conoscenza acquisita leggendo la biblioteca.
L'Approccio di SCOPE: Invece di riscrivere il cervello, SCOPE mette allo studente un paio di occhiali specializzati. Questi sono chiamati ProAdapter.
- Il cervello principale dello studente (il Modello Fondamentale) rimane congelato e intatto.
- Gli occhiali sono leggeri e regolano solo gli strati superiori del pensiero dello studente.
- Crucialmente, questi occhiali sono condizionati dalla Mappa. Costringono lo studente a guardare i nuovi dati attraverso la lente della guida strutturata costruita nella Fase 1.

Perché Funziona Meglio

Il documento ha testato questo metodo su sei diversi compiti cerebrali (come la stadiazione del sonno e il rilevamento delle emozioni) e su cinque diversi tipi di modelli di intelligenza artificiale.

Il Risultato: SCOPE ha costantemente battuto i vecchi metodi.
L'Analogia: Mentre altri metodi cercavano di costringere lo studente a memorizzare i pochi esempi (portando a confusione), SCOPE ha fornito allo studente una mappa chiara e un filtro per ignorare le ipotesi errate, mantenendo intatta la sua conoscenza originale della biblioteca.
Efficienza: Lo ha fatto modificando solo una minuscola frazione dei parametri del modello (come regolare gli occhiali invece di ricostruire il cervello), rendendolo veloce ed economico da eseguire.

Riepilogo

In breve, SCOPE risolve il problema dell'insegnamento di potenti modelli di intelligenza artificiale cerebrali quando non si hanno sufficienti dati etichettati attraverso:

La costruzione di una mappa strutturata di come i dati dovrebbero apparire.
L'uso di un filtro di fiducia per apprendere solo da ipotesi di alta qualità.
L'indossare occhiali leggeri sull'IA per guidare il suo pensiero senza rompere la sua conoscenza esistente.

Questo permette all'IA di adattarsi in modo affidabile a nuove situazioni cliniche reali, anche quando un medico ha a disposizione solo una manciata di casi confermati su cui lavorare.

Riepilogo Tecnico: SCOPE – Adattamento Guidato da Prototipi Strutturati per Modelli Fondamentali EEG con Etichette Limitate

1. Enunciato del Problema

I modelli fondamentali per l'elettroencefalografia (EEG) (EFM) hanno dimostrato prestazioni elevate quando vengono completamente affinati su dati etichettati abbondanti. Tuttavia, in contesti clinici reali, le annotazioni affidabili a livello di soggetto sono scarse, lasciando spesso solo una piccola frazione di soggetti etichettati (ad esempio, il 30% o meno) accanto a registrazioni non etichettate abbondanti.

Gli autori identificano che l'affinamento completo standard fallisce in queste condizioni di etichette limitate non solo a causa di dati insufficienti, ma a causa di una disallineamento strutturale tra supervisione rumorosa e limitata e lo spazio parametrico altamente plastico degli EFM. L'analisi empirica rivela tre modalità di fallimento critiche:

Auto-guida Inaffidabile: Gli EFM mostrano eccessiva sicurezza ma imprecisione sotto supervisione limitata, rendendo l'auto-addestramento (basato sulla confidenza del modello) soggetto all'amplificazione degli errori.
Collasso delle Previsioni: Le strategie di pseudo-etichettatura falliscono spesso a causa di confini di classe ambigui negli stati cerebrali continui e dello squilibrio delle classi, portando a un apprendimento distorto verso le modalità dominanti.
Vulnerabilità dello Spazio Parametrico: L'affinamento completo causa una significativa deriva delle rappresentazioni attraverso i livelli, dove gradienti rumorosi sovrascrivono le rappresentazioni pre-addestrate trasferibili, portando a una deriva di ottimizzazione irreversibile.

I metodi esistenti di affinamento efficiente dei parametri (PEFT) e gli approcci generici di apprendimento semi-supervisionato (ad esempio, FixMatch, FineSSL) si sono dimostrati instabili o subottimali quando applicati direttamente agli EFM in scenari cross-soggetto con etichette limitate.

2. Metodologia: Framework SCOPE

Gli autori propongono SCOPE (Adattamento guidato da Prototipi Consapevoli della Struttura e della Confidenza), un framework a due stadi progettato per adattare gli EFM senza sovrascrivere le conoscenze pre-addestrate.

Stadio I: Costruzione di Supervisione Strutturata Esterna

Invece di affidarsi alle previsioni dell'EFM per l'auto-addestramento, SCOPE costruisce supervisione esterna utilizzando una rete leggera Task-Prior Network (TPN) addestrata solo sul piccolo insieme etichettato.

Prototipi Strutturati a Livello di Coorte:
- Geometria Inter-classe: La TPN impiega una rete Task-Prior con un regolarizzatore Equiangular Tight Frame (ETF). Questo impone una separazione angolare massima tra i pesi delle classi, garantendo embedding separabili per classe.
- Variabilità Intra-classe: Per gestire pattern diversi all'interno di una classe, il framework apprende multipli prototipi bilanciati per classe utilizzando l'ottimizzazione Sinkhorn-Knopp. Questo garantisce un assegnamento bilanciato dei campioni ai prototipi, prevenendo il collasso verso le modalità dominanti.
Pseudo-etichettatura a Livello di Campione Consapevole della Confidenza:
- Le pseudo-etichette sono generate solo quando la previsione del task-prior (che enfatizza la separazione inter-classe) concorda con la previsione basata sui prototipi (che cattura la variazione intra-classe).
- Un meccanismo di fusione Dempster-Shafer combina queste due fonti di evidenza per quantificare l'affidabilità.
- I campioni sono selezionati per l'adattamento solo se il loro punteggio di confidenza fuso supera una soglia predefinita, filtrando segnali inaffidabili.

Stadio II: Adattamento Condizionato ai Prototipi (ProAdapter)

Per affrontare la vulnerabilità dello spazio parametrico dell'EFM, SCOPE congela il backbone e introduce un leggero ProAdapter inserito negli ultimi $L$ livelli della rete.

Meccanismo: L'adattatore utilizza una modulazione specifica per le caratteristiche (scaling $\alpha$ e shifting $\beta$ ) condizionata al vettore di similarità del campione con i prototipi appresi.
Architettura:
- Genera parametri di modulazione di base dalle statistiche del livello stesso (auto-condizionamento).
- Genera un termine di modulazione aggiuntivo dal vettore di similarità ai prototipi, esplicitamente gateato e vincolato per garantire un adattamento stabile.
- Ciò permette alla geometria strutturata della supervisione esterna di guidare l'adattamento delle caratteristiche intermedie senza modificare i pesi pre-addestrati.

Strategia di Addestramento

SCOPE impiega una strategia di adattamento warm-up. L'addestramento inizia con aggiornamenti supervisionati sull'insieme etichettato, quindi incorpora gradualmente i dati non etichettati utilizzando le pseudo-etichette ponderate per la confidenza. Questo previene che la supervisione rumorosa domini le prime fasi dell'addestramento.

3. Contributi Chiave

Prototipi Strutturati Esterni a Livello di Coorte: Il primo framework per costruire prototipi persistenti e regolarizzati geometricamente (tramite ETF e Sinkhorn-Knopp) per fornire una guida esterna stabile agli EFM, affrontando il problema del mescolamento delle classi e del collasso delle modalità.
Pseudo-etichettatura a Livello di Campione Consapevole della Confidenza: Una strategia di etichettatura innovativa che fonde previsioni task-prior e basate sui prototipi utilizzando la teoria di Dempster-Shafer per filtrare i campioni incerti, mitigando l'eccessiva sicurezza degli EFM.
Adattamento Condizionato ai Prototipi (ProAdapter): Un adattatore leggero che inietta la geometria dei prototipi negli EFM congelati tramite modulazione delle caratteristiche, preservando le rappresentazioni pre-addestrate mentre si adatta a compiti specifici.
Valutazione Completa: Uno studio sistematico su 6 compiti EEG, 5 backbone di modelli fondamentali (inclusi architetture Transformer e State-Space Model), e rapporti di etichette variabili (5%–50%).

4. Risultati Sperimentali

Gli autori hanno valutato SCOPE su sei dataset pubblici (ISRUC, SEED, Mental Arithmetic, PhysioNet-MI, SHU-MI, CHB-MIT) utilizzando cinque diversi backbone EFM (LaBraM, CBraMod, CSBrain, EEGMamba, CodeBrain).

Prestazioni: SCOPE ha costantemente superato le linee di base, inclusi l'affinamento completo, i backbone congelati, LoRA e i metodi semi-supervisionati esistenti (FixMatch, FineSSL).
- Sul dataset ISRUC con il 30% di soggetti etichettati, SCOPE ha migliorato il Kappa di +7.61 (LaBraM) e +10.92 (CodeBrain) rispetto ai backbone congelati.
- Ha dimostrato robustezza attraverso diverse famiglie architetturali (Transformer vs. SSM) e dataset dove altri metodi fallivano o collassavano.
Efficienza: Il metodo raggiunge questi guadagni con solo 2–5% di parametri addestrabili e un tempo di addestramento e una memoria GPU significativamente ridotti rispetto all'affinamento completo.
Studi di Ablazione:
- La rimozione del modulo di costruzione della supervisione ha causato i maggiori cali di prestazioni (5–7%), confermando che l'auto-addestramento è insufficiente per gli EFM.
- La rimozione di ProAdapter ha portato a un degrado significativo (fino al 10% sui backbone SSM), evidenziando la necessità della modulazione condizionata ai prototipi.
- È stato dimostrato che la ponderazione della confidenza e le strategie warm-up sono critiche per la stabilità.

5. Significato e Affermazioni

Il documento afferma di essere il primo studio sistematico sull'adattamento dei modelli fondamentali EEG in condizioni di deployment pratico con etichette limitate.

Gli autori sostengono che l'inaffidabilità dell'affinamento completo in regimi a basso numero di etichette deriva da un disallineamento strutturale, non solo dalla scarsità di dati. Spostandosi dall'auto-addestramento e dalle pseudo-etichette a livello di campione alla supervisione strutturata esterna a livello di coorte e all'adattamento condizionato, SCOPE fornisce un percorso più affidabile ed efficiente dal punto di vista dei dati per il deployment degli EFM in scenari clinici reali dove le annotazioni esperte sono limitate. Il lavoro suggerisce che preservare le rappresentazioni pre-addestrate attraverso una modulazione leggera e guidata geometricamente è superiore agli aggiornamenti diretti dei parametri in questi contesti.