🤖 machine learning

DIVER-1: Scaling Intracranial EEG Foundation Models for Transferable Representations

O artigo apresenta o DIVER-1, um modelo fundamental de EEG intracraniano auto-supervisionado treinado em um conjunto de dados massivo e diversificado que alcança representações transferíveis de última geração para decodificação cognitiva e detecção de crises, ao mesmo tempo em que demonstra que a escala dos dados e a duração do treinamento são mais críticas do que a contagem de parâmetros para uma escalabilidade eficaz.

Autores originais: Danny Dongyeop Han, Yonghyeon Gwon, Ahhyun Lucy Lee, Taeyang Lee, Seong Jin Lee, Jubin Choi, Sebin Lee, Jihyun Bang, Seungju Lee, David Keetae Park, Shinjae Yoo, Chun Kee Chung, Jiook Cha

Publicado 2026-05-26

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Danny Dongyeop Han, Yonghyeon Gwon, Ahhyun Lucy Lee, Taeyang Lee, Seong Jin Lee, Jubin Choi, Sebin Lee, Jihyun Bang, Seungju Lee, David Keetae Park, Shinjae Yoo, Chun Kee Chung, Jiook Cha

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que seu cérebro é uma cidade massiva e movimentada. Quando os médicos querem entender o que está acontecendo nessa cidade, às vezes colocam microfones minúsculos (eletrodos) diretamente nas ruas ou dentro dos prédios. Isso é chamado de EEG intracraniano (iEEG). Ele fornece uma gravação cristalina, milissegundo a milissegundo, da atividade da cidade.

No entanto, há um enorme problema: toda cidade parece diferente. Um paciente pode ter microfones no lado norte, outro no sul; um pode ter 10 microfones, outro 100. Por causa disso, tem sido incrivelmente difícil construir um "tradutor universal" (uma IA) que possa ouvir o cérebro de qualquer paciente e entendê-lo. Tentativas anteriores desses tradutores eram como tentar ensinar um aluno usando apenas um livro didático específico, apenas para descobrir que ele não consegue ler um diferente.

Aí entra o DIVER-1. Pense no DIVER-1 como um aluno superinteligente e adaptável que leu todas as gravações cerebrais disponíveis, não apenas um tipo específico. Veja como ele funciona, usando analogias simples:

1. O Problema: O Quebra-Cabeça "Tamanho Único Não Serve para Ninguém"

Modelos de IA anteriores eram como conjuntos de Lego rígidos. Se você tentasse construir um castelo com um conjunto projetado para uma nave espacial, ele se desmanchava.

O Problema: As gravações cerebrais variam enormemente. Algumas têm eletrodos em uma grade, outras em uma linha. Algumas gravam por um instante, outras por minutos.
O Jeito Antigo: Modelos anteriores forçavam todos os dados em uma única forma fixa, perdendo detalhes importantes ou falhando em conectar os pontos entre diferentes partes do cérebro.

2. A Solução: O Cérebro "Mudador de Forma"

O DIVER-1 é construído de forma diferente. Ele não força os dados em uma caixa; ele molda-se aos dados.

A Atenção "Qualquer Variável": Imagine um grupo de pessoas em uma sala onde todos podem falar com todos instantaneamente, independentemente de onde estão parados ou de que horas são. O DIVER-1 faz isso com sinais cerebrais. Ele permite que cada "microfone" fale com cada outro "microfone" em cada momento, descobrindo como eles trabalham juntos sem precisar de um mapa fixo.
A Entrada "Adaptativa": Se você der ao DIVER-1 uma gravação com 5 eletrodos, ele funciona. Se você der 50, ele funciona. Ele não se importa com o layout; ele aprende as relações entre os sinais, não apenas suas posições.

3. O Treinamento: A "Maratona" vs. O "Sprint"

Os pesquisadores não treinaram o DIVER-1 apenas em um pequeno conjunto de dados. Eles alimentaram-no com uma quantidade massiva de dados: 5.310 horas de gravações cerebrais de 37 pessoas diferentes.

A Escala: Isso é cerca de 54 vezes mais dados do que o usado por modelos anteriores. É a diferença entre ler uma única história em quadrinhos e ler toda a Biblioteca do Congresso.
O Método: Em vez de apenas ouvir o som bruto, o DIVER-1 foi treinado para "preencher as lacunas". Os pesquisadores escondiam partes da gravação (como silenciar uma música por alguns segundos) e pediam à IA para adivinhar o que faltava com base no resto da música. Isso forçou a IA a aprender a estrutura profunda da atividade cerebral.

4. Os Resultados: Vencendo os Especialistas

A equipe testou o DIVER-1 em dois desafios muito diferentes:

O Teste "Espectador de Filmes" (Neuroprobe): Eles pediram à IA para adivinhar o que uma pessoa estava pensando enquanto assistia a um filme (por exemplo, "O volume está alto?" "Uma palavra está sendo falada?").
- O Resultado: O DIVER-1 foi o primeiro modelo a superar uma linha de base simples e padrão. Mesmo tendo sido treinado em pessoas diferentes das que estavam sendo testadas, ele entendeu os sinais cerebrais melhor do que modelos treinados nas mesmas pessoas exatas.
O Teste "Crise Epiléptica" (MAYO): Eles pediram à IA para detectar crises epilépticas (tempestades elétricas repentinas no cérebro).
- O Resultado: O DIVER-1 foi o melhor em detectar esses eventos, superando todos os modelos anteriores.

5. A Grande Descoberta: Dados em vez de Tamanho

A descoberta mais surpreendente foi sobre como construir uma IA melhor.

A Crença Antiga: "Se você quer uma IA mais inteligente, basta torná-la maior (adicionar mais parâmetros/células cerebrais)."
A Descoberta do DIVER-1: "Não, faça a IA ler mais livros primeiro."
- Os pesquisadores descobriram que, para dados cerebrais, mais dados e treinamento mais longo são muito mais importantes do que tornar o modelo enorme.
- A Analogia: Imagine treinar um chef. Você pode dar a ele uma cozinha gigante e cara (um modelo enorme), mas se ele praticar apenas em uma receita por um dia, ele não se tornará um mestre. É melhor dar a ele uma cozinha pequena, mas deixá-lo cozinhar milhares de refeições diferentes por um longo tempo. O DIVER-1 provou que, para sinais cerebrais, variedade e repetição importam mais do que o tamanho bruto.

Resumo

O DIVER-1 é um novo tipo de IA que pode ouvir qualquer cérebro, não importa como os eletrodos estejam dispostos. Ao treinar em uma biblioteca massiva e diversificada de gravações cerebrais e focar em aprender os padrões em vez de apenas memorizar posições, ele se tornou a melhor ferramenta até agora para decodificar pensamentos e detectar crises epilépticas. A lição principal? No mundo da IA cerebral, a quantidade e diversidade de dados vencem o tamanho do modelo a cada vez.

Resumo Técnico: DIVER-1

Declaração do Problema

O EEG intracraniano (iEEG) oferece gravações diretas da atividade neural humana em escala de milissegundos, tornando-o valioso para decodificação cognitiva, interfaces cérebro-computador e neuromedicina de precisão. No entanto, o desenvolvimento de modelos fundamentais reutilizáveis para iEEG tem sido obstaculizado por três gargalos principais:

Arquiteturas de Atenção Restritas: Modelos existentes frequentemente tratam os eletrodos de forma independente ou separam o processamento espacial e temporal, falhando em capturar interações diretas entre canais e ao longo do tempo, essenciais para modelar a coordenação inter-regional atrasada do cérebro.
Interfaces de Pré-treinamento Fixas: Os dados clínicos de iEEG variam significativamente entre pacientes em termos de número de canais, cobertura anatômica, tipo de eletrodo (SEEG vs. ECoG) e esquemas de referência. Modelos atuais assumem janelas de entrada e layouts de canais fixos, limitando sua capacidade de generalizar para cenários clínicos variáveis ou diferentes contextos temporais (por exemplo, decodificação subsegundo vs. detecção de crises de vários segundos).
Pré-treinamento Subdimensionado: Modelos fundamentais anteriores de iEEG (por exemplo, BrainBERT, PopT, BaRISTA) foram treinados em conjuntos de dados relativamente pequenos (por exemplo, o ~40–43 horas BrainTreeBank), frequentemente restritos a gravações de crianças assistindo a filmes. Isso limita a escala e a diversidade do pré-treinamento em comparação com os vastos e heterogêneos dados disponíveis na monitorização clínica. Além disso, o campo carece de leis de escala controladas e conscientes de computação para determinar se os ganhos de desempenho devem vir do aumento do volume de dados, dos parâmetros do modelo ou da duração do treinamento.

Metodologia: Arquitetura e Treinamento do DIVER-1

Os autores introduzem o DIVER-1, um modelo fundamental de iEEG auto-supervisionado projetado para abordar esses gargalos por meio de uma arquitetura inovadora e uma estratégia de pré-treinamento em grande escala.

Componentes Arquitetônicos Principais

Atenção Eletrodo-Tempo de Qualquer Variável: Ao contrário dos Transformers padrão que restringem a atenção aos eixos temporal ou espacial, o DIVER-1 emprega auto-atenção completa sobre todos os tokens de eletrodo-tempo. Para tornar isso expressivo sem assumir um arranjo fixo, ele injeta estrutura espaço-temporal diretamente no mecanismo de atenção usando:
- RoPE (Embeddings Posicionais Rotacionais): Codifica deslocamentos temporais.
- Vieses Aprendíveis: Distingue entre interações do mesmo canal e entre canais, preservando a equivariância de permutação de canais mesmo sem metadados espaciais explícitos.
Codificação Condicionada à Entrada: Para lidar com layouts de eletrodos e esquemas de referência variáveis, o DIVER-1 utiliza:
- Embedding Posicional Condicional Espaço-Temporal (STCPE): Um mecanismo de janela deslizante baseado na arquitetura MOIRAI que fornece viés espaço-temporal local sem depender de ordem fixa de canais ou coordenadas absolutas.
- Reamostragem Espaço-Temporal (STR): Durante o pré-treinamento, o modelo amostra subconjuntos aleatórios de canais e patches temporais de segmentos de 30 segundos. Isso força o modelo a aprender representações robustas a partir de tamanhos e contextos de entrada variáveis.
- Reconstrução Multidomínio (MDRO): O modelo é treinado para reconstruir patches mascarados em múltiplos domínios de sinal (tempo bruto, espectros de frequência FFT e representações tempo-frequência STFT), em vez de apenas formas de onda brutas.
Embeddings Posicionais e Espectrais: O modelo incorpora metadados de canais (coordenadas MNI 3D, tipo de eletrodo) e características espectrais (patches transformados por FFT) como embeddings de entrada.

Estudo de Pré-treinamento e Escala

Conjunto de Dados: O DIVER-1 foi pré-treinado em 5.310 horas de dados de iEEG (352 mil horas-canal) abrangendo 37 sujeitos, compreendendo tanto gravações ECoG quanto SEEG de múltiplos centros. Este volume é aproximadamente 54× maior que o corpus BrainTreeBank usado para modelos anteriores.
Variantes do Modelo: Duas variantes foram instanciadas para corresponder a diferentes granularidades temporais: DIVER-1-0,1s (patches de 50 amostras) e DIVER-1-1s (patches de 500 amostras).
Análise de Lei de Escala: Os autores conduziram o primeiro estudo de escala controlado e consciente de computação para pré-treinamento auto-supervisionado de iEEG. Eles variaram a escala de dados, o número de sujeitos, a duração do treinamento e o tamanho do modelo (até 1,83 bilhão de parâmetros) usando parametrização de atualização máxima (µP) para garantir transferência estável de hiperparâmetros entre diferentes larguras de modelo.

Resultados Principais

Desempenho em Tarefas Descendentes

O DIVER-1 foi avaliado em dois conjuntos de testes retidos: Neuroprobe (decodificação cognitiva naturalista de 15 tarefas) e MAYO (detecção de crises).

Neuroprobe: O DIVER-1-0,1s alcançou a melhor AUROC média entre todos os modelos fundamentais de iEEG e baselines supervisionados avaliados. Notavelmente, superou o decodificador linear de espectrograma, invertendo a descoberta anterior de que modelos pré-treinados de iEEG têm desempenho inferior a baselines lineares simples sob avaliação consciente de vazamento. Ele alcançou isso apesar de ter sido pré-treinado em dados externos de adultos, enquanto o Neuroprobe consiste em dados pediátricos, demonstrando forte transferência entre conjuntos de dados.
MAYO: O DIVER-1-1s alcançou a maior AUROC para detecção de crises, superando o BrainBERT e o Brant.
Sondagem Linear: O modelo DIVER-1-0,1s congelado foi altamente competitivo, frequentemente superando sua contraparte totalmente ajustada no Neuroprobe, indicando que as representações pré-treinadas já são linearmente úteis.

Descobertas da Lei de Escala

O estudo de escala revelou um regime limitado por dados para modelos fundamentais de iEEG:

Dados vs. Parâmetros: O aumento de gravações de dados únicas e da duração do treinamento produziu ganhos de desempenho mais confiáveis do que o aumento do número de parâmetros isoladamente.
Alocação Ótima de Computação:
- Quando novos dados estão disponíveis, a estratégia ótima é escalar os dados primeiro, depois a duração do treinamento e, finalmente, os parâmetros do modelo.
- Quando o corpus é fixo, a estratégia ótima é treinar por mais tempo (mais passagens) em modelos de tamanho pequeno a médio, em vez de treinar modelos muito grandes brevemente.
Retornos Decrescentes: O estudo quantificou retornos decrescentes para dados repetidos ( $R^*_D \approx 9,5$ épocas) e parâmetros excessivos ( $R^*_N \approx 3,4$ ), sugerindo que os ganhos são melhor buscados escalando a repetição do conjunto de dados enquanto se mantém tamanhos de modelo moderados.

Significado e Alegações

O artigo afirma que o DIVER-1 representa um passo significativo para a frente na modelagem fundamental de iEEG ao:

Realizar Representações Transferíveis: Demonstrar que o pré-treinamento em grande escala e heterogêneo pode produzir representações que transferem entre sujeitos, centros e tarefas clínicas, superando as limitações de modelos anteriores treinados em conjuntos de dados estreitos e de pequena escala.
Estabelecer um Novo Paradigma de Escala: Fornecer a primeira evidência controlada de que o pré-treinamento de iEEG é limitado por dados. Os autores argumentam que a comunidade deve priorizar a expansão de volumes de gravação únicos e da duração do treinamento em vez de simplesmente aumentar contagens de parâmetros do modelo, uma descoberta que contrasta com as leis de escala pesadas em parâmetros frequentemente observadas em modelos de linguagem.
Inovação Arquitetônica: Introduzir uma arquitetura que lida nativamente com a variabilidade do iEEG clínico (canais variáveis, referência e contextos temporais) por meio de atenção de qualquer variável e embeddings posicionais condicionados à entrada, permitindo a modelagem robusta de dinâmicas neurais espaço-temporais sem arranjos fixos.

Os autores concluem que o caminho a seguir para modelos fundamentais de iEEG envolve "escalar os dados primeiro, treinar por mais tempo em segundo lugar e escalar os parâmetros por último".