🤖 machine learning

DIVER-1: Scaling Intracranial EEG Foundation Models for Transferable Representations

El artículo presenta DIVER-1, un modelo fundacional de EEG intracraneal auto-supervisado entrenado en un conjunto de datos masivo y diverso que logra representaciones transferibles de vanguardia para la decodificación cognitiva y la detección de convulsiones, mientras demuestra que la escala de los datos y la duración del entrenamiento son más críticas que la cantidad de parámetros para un escalado efectivo.

Autores originales: Danny Dongyeop Han, Yonghyeon Gwon, Ahhyun Lucy Lee, Taeyang Lee, Seong Jin Lee, Jubin Choi, Sebin Lee, Jihyun Bang, Seungju Lee, David Keetae Park, Shinjae Yoo, Chun Kee Chung, Jiook Cha

Publicado 2026-05-26

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Danny Dongyeop Han, Yonghyeon Gwon, Ahhyun Lucy Lee, Taeyang Lee, Seong Jin Lee, Jubin Choi, Sebin Lee, Jihyun Bang, Seungju Lee, David Keetae Park, Shinjae Yoo, Chun Kee Chung, Jiook Cha

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tu cerebro es una ciudad masiva y bulliciosa. Cuando los médicos quieren entender qué sucede en esa ciudad, a veces colocan micrófonos diminutos (electrodos) directamente en las calles o dentro de los edificios. Esto se llama electroencefalografía intracraneal (iEEG). Proporciona una grabación cristalina, milisegundo a milisegundo, de la actividad de la ciudad.

Sin embargo, hay un problema enorme: cada ciudad se ve diferente. Un paciente puede tener micrófonos en el lado norte, otro en el sur; uno puede tener 10 micrófonos, otro 100. Debido a esto, ha sido increíblemente difícil construir un "traductor universal" (una IA) que pueda escuchar el cerebro de cualquier paciente y entenderlo. Los intentos anteriores de estos traductores eran como intentar enseñar a un estudiante usando solo un libro de texto específico, solo para descubrir que no puede leer uno diferente.

Aquí entra DIVER-1. Piensa en DIVER-1 como un estudiante superinteligente y adaptable que ha leído todos los registros cerebrales disponibles, no solo un tipo específico. Así es como funciona, usando analogías simples:

1. El Problema: El Rompecabezas de "Una Talla Única para Nadie"

Los modelos de IA anteriores eran como juegos de Lego rígidos. Si intentabas construir un castillo con un set diseñado para una nave espacial, se desmoronaba.

El Problema: Las grabaciones cerebrales varían enormemente. Algunas tienen electrodos en una cuadrícula, otras en una línea. Algunas graban por una fracción de segundo, otras durante minutos.
La Vieja Forma: Los modelos anteriores forzaban todos los datos a una única forma fija, perdiendo detalles importantes o fallando al conectar los puntos entre diferentes partes del cerebro.

2. La Solución: El Cerebro "Metamórfico"

DIVER-1 está construido de manera diferente. No fuerza los datos dentro de una caja; se moldea a los datos.

La Atención "Cualquier Variable": Imagina un grupo de personas en una habitación donde todos pueden hablar con todos los demás instantáneamente, sin importar dónde estén parados o qué hora sea. DIVER-1 hace esto con las señales cerebrales. Permite que cada "micrófono" hable con cada otro "micrófono" en cada momento, descubriendo cómo trabajan juntos sin necesitar un mapa fijo.
La Entrada "Adaptativa": Si le das a DIVER-1 una grabación con 5 electrodos, funciona. Si le das 50, funciona. No le importa la disposición; aprende las relaciones entre las señales, no solo sus posiciones.

3. El Entrenamiento: El "Maratón" vs. El "Sprint"

Los investigadores no entrenaron a DIVER-1 solo con un conjunto de datos pequeño. Le alimentaron una cantidad masiva de datos: 5,310 horas de grabaciones cerebrales de 37 personas diferentes.

La Escala: Esto es aproximadamente 54 veces más datos de lo que usaban los modelos anteriores. Es la diferencia entre leer un solo cómic y leer toda la Biblioteca del Congreso.
El Método: En lugar de simplemente escuchar el sonido crudo, DIVER-1 fue entrenado para "rellenar los espacios en blanco". Los investigadores ocultaban partes de la grabación (como silenciar una canción durante unos segundos) y le pedían a la IA que adivinara lo que faltaba basándose en el resto de la canción. Esto obligó a la IA a aprender la estructura profunda de la actividad cerebral.

4. Los Resultados: Superando a los Expertos

El equipo probó a DIVER-1 en dos desafíos muy diferentes:

La Prueba del "Espectador de Películas" (Neuroprobe): Le pidieron a la IA que adivinara en qué estaba pensando una persona mientras veía una película (por ejemplo, "¿El volumen es alto?" "¿Se está hablando una palabra?").
- El Resultado: DIVER-1 fue el primer modelo en superar una línea base simple y estándar. Aunque fue entrenado con personas diferentes a las que se estaban probando, entendió las señales cerebrales mejor que los modelos entrenados con las mismas personas exactas.
La Prueba de "Convulsiones" (MAYO): Le pidieron a la IA que detectara convulsiones (tormentas eléctricas repentinas en el cerebro).
- El Resultado: DIVER-1 fue el mejor en detectar estos eventos, superando a todos los modelos anteriores.

5. El Gran Descubrimiento: Datos sobre Tamaño

El hallazgo más sorprendente fue sobre cómo construir una mejor IA.

La Vieja Creencia: "Si quieres una IA más inteligente, simplemente hazla más grande (añade más parámetros/células cerebrales)".
El Descubrimiento de DIVER-1: "No, haz que la IA lea más libros primero".
- Los investigadores descubrieron que, para los datos cerebrales, más datos y entrenamiento más largo son mucho más importantes que hacer el modelo enorme.
- La Analogía: Imagina entrenar a un chef. Puedes darle una cocina gigante y costosa (un modelo enorme), pero si solo practica con una receta durante un día, no se convertirá en un maestro. Es mejor darle una cocina pequeña pero dejarle cocinar miles de platos diferentes durante mucho tiempo. DIVER-1 demostró que, para las señales cerebrales, la variedad y la repetición importan más que el tamaño bruto.

Resumen

DIVER-1 es un nuevo tipo de IA que puede escuchar cualquier cerebro, sin importar cómo estén dispuestos los electrodos. Al entrenarse con una biblioteca masiva y diversa de grabaciones cerebrales y centrarse en aprender los patrones en lugar de simplemente memorizar posiciones, se ha convertido en la mejor herramienta hasta la fecha para descifrar pensamientos y detectar convulsiones. ¿La lección clave? En el mundo de la IA cerebral, la cantidad y diversidad de datos ganan al tamaño del modelo en todo momento.

Resumen Técnico: DIVER-1

Declaración del Problema

La electroencefalografía intracraneal (iEEG) ofrece grabaciones directas de la actividad neural humana a escala de milisegundos, lo que la hace valiosa para la descodificación cognitiva, las interfaces cerebro-computadora y la neuromedicina de precisión. Sin embargo, el desarrollo de modelos fundacionales reutilizables para iEEG se ha visto obstaculizado por tres cuellos de botella principales:

Arquitecturas de Atención Restringidas: Los modelos existentes a menudo tratan los electrodos de forma independiente o separan el procesamiento espacial y temporal, fallando en capturar las interacciones directas entre canales y a través del tiempo, esenciales para modelar la coordinación interregional retardada del cerebro.
Interfaces de Preentrenamiento Fijas: Los datos clínicos de iEEG varían significativamente entre pacientes en cuanto a número de canales, cobertura anatómica, tipo de electrodo (SEEG vs. ECoG) y esquemas de referencia. Los modelos actuales asumen ventanas de entrada y disposiciones de canales fijas, lo que limita su capacidad para generalizar a escenarios clínicos variables o diferentes contextos temporales (por ejemplo, descodificación subsegundo vs. detección de convulsiones de varios segundos).
Preentrenamiento Subescalado: Los modelos fundacionales previos de iEEG (por ejemplo, BrainBERT, PopT, BaRISTA) se han entrenado en conjuntos de datos relativamente pequeños (por ejemplo, el ~40–43 horas BrainTreeBank), a menudo restringidos a grabaciones de niños viendo películas. Esto limita la escala y la diversidad del preentrenamiento en comparación con los vastos y heterogéneos datos disponibles en la monitorización clínica. Además, el campo carece de leyes de escalado controladas y conscientes de la capacidad computacional para determinar si las ganancias de rendimiento deben provenir del aumento del volumen de datos, los parámetros del modelo o la duración del entrenamiento.

Metodología: Arquitectura y Entrenamiento de DIVER-1

Los autores presentan DIVER-1, un modelo fundacional de iEEG auto-supervisado diseñado para abordar estos cuellos de botella mediante una arquitectura novedosa y una estrategia de preentrenamiento a gran escala.

Componentes Arquitectónicos Principales

Atención Electrodo-Tiempo de Cualquier Variada: A diferencia de los Transformers estándar que restringen la atención a ejes temporales o espaciales, DIVER-1 emplea una auto-atención completa sobre todos los tokens de electrodo-tiempo. Para hacer esto expresivo sin asumir una montura fija, inyecta estructura espacio-temporal directamente en el mecanismo de atención utilizando:
- RoPE (Incrustaciones Posicionales Rotatorias): Codifica desplazamientos temporales.
- Sesgos Aprendibles: Distingue entre interacciones del mismo canal y entre canales, preservando la equivalencia de permutación de canales incluso sin metadatos espaciales explícitos.
Codificación Condicionada a la Entrada: Para manejar disposiciones de electrodos y esquemas de referencia variables, DIVER-1 utiliza:
- Incrustación Posicional Condicional Espacio-Temporal (STCPE): Un mecanismo de ventana deslizante basado en la arquitectura MOIRAI que proporciona un sesgo espacio-temporal local sin depender de un orden fijo de canales o coordenadas absolutas.
- Muestreo Espacio-Temporal (STR): Durante el preentrenamiento, el modelo muestrea subconjuntos aleatorios de canales y parches temporales de segmentos de 30 segundos. Esto obliga al modelo a aprender representaciones robustas a partir de tamaños de entrada y contextos variables.
- Reconstrucción Multidominio (MDRO): El modelo se entrena para reconstruir parches enmascarados a través de múltiples dominios de señal (dominio temporal crudo, espectros de frecuencia FFT y representaciones tiempo-frecuencia STFT), en lugar de solo formas de onda crudas.
Incrustaciones Posicionales y Espectrales: El modelo incorpora metadatos de canal (coordenadas 3D MNI, tipo de electrodo) y características espectrales (parches transformados por FFT) como incrustaciones de entrada.

Estudio de Preentrenamiento y Escalado

Conjunto de Datos: DIVER-1 se preentrenó con 5,310 horas de datos de iEEG (352k horas-canal) que abarcan 37 sujetos, comprendiendo tanto grabaciones ECoG como SEEG de múltiples centros. Este volumen es aproximadamente 54 veces mayor que el corpus BrainTreeBank utilizado para modelos anteriores.
Variantes del Modelo: Se instanciaron dos variantes para coincidir con diferentes granularidades temporales: DIVER-1-0.1s (parches de 50 muestras) y DIVER-1-1s (parches de 500 muestras).
Análisis de Ley de Escalado: Los autores realizaron el primer estudio de escalado controlado y consciente de la capacidad computacional para el preentrenamiento auto-supervisado de iEEG. Realizaron un barrido de la escala de datos, el número de sujetos, la duración del entrenamiento y el tamaño del modelo (hasta 1.83 mil millones de parámetros) utilizando parametrización de actualización máxima (µP) para garantizar una transferencia estable de hiperparámetros a través de diferentes anchos de modelo.

Resultados Clave

Rendimiento en Tareas Posteriores

DIVER-1 se evaluó en dos conjuntos de referencia retenidos: Neuroprobe (descodificación cognitiva naturalista de 15 tareas) y MAYO (detección de convulsiones).

Neuroprobe: DIVER-1-0.1s logró la mejor AUROC media entre todos los modelos fundacionales de iEEG evaluados y las líneas base supervisadas. Cabe destacar que superó al descodificador lineal de espectrograma, invirtiendo el hallazgo anterior de que los modelos preentrenados de iEEG rinden menos que las líneas base lineales simples bajo una evaluación consciente de la fuga. Logró esto a pesar de estar preentrenado con datos externos de adultos, mientras que Neuroprobe consiste en datos pediátricos, demostrando una fuerte transferencia entre conjuntos de datos.
MAYO: DIVER-1-1s logró la AUROC superior para la detección de convulsiones, superando a BrainBERT y Brant.
Sondeo Lineal: El modelo DIVER-1-0.1s congelado fue altamente competitivo, a menudo superando a su contraparte totalmente ajustada en Neuroprobe, lo que indica que las representaciones preentrenadas ya son linealmente útiles.

Hallazgos de la Ley de Escalado

El estudio de escalado reveló un régimen restringido por datos para los modelos fundacionales de iEEG:

Datos vs. Parámetros: Aumentar las grabaciones de datos únicas y la duración del entrenamiento produjo ganancias de rendimiento más fiables que aumentar solo la cantidad de parámetros.
Asignación Óptima Computacional:
- Cuando hay nuevos datos disponibles, la estrategia óptima es escalar los datos primero, luego la duración del entrenamiento y finalmente los parámetros del modelo.
- Cuando el corpus es fijo, la estrategia óptima es entrenar más tiempo (más pasadas) en modelos de tamaño pequeño a mediano en lugar de entrenar modelos muy grandes brevemente.
Rendimientos Decrecientes: El estudio cuantificó los rendimientos decrecientes para la repetición de datos ( $R^*_D \approx 9.5$ épocas) y para parámetros excesivos ( $R^*_N \approx 3.4$ ), sugiriendo que las ganancias se persiguen mejor escalando la repetición del conjunto de datos mientras se mantienen los tamaños de modelo moderados.

Significado y Afirmaciones

El artículo afirma que DIVER-1 representa un paso significativo hacia adelante en el modelado fundacional de iEEG al:

Materializar Representaciones Transferibles: Demostrar que el preentrenamiento heterogéneo a gran escala puede producir representaciones que se transfieren entre sujetos, centros y tareas clínicas, superando las limitaciones de modelos anteriores entrenados en conjuntos de datos estrechos y de pequeña escala.
Establecer un Nuevo Paradigma de Escalado: Proporcionar la primera evidencia controlada de que el preentrenamiento de iEEG está restringido por datos. Los autores argumentan que la comunidad debería priorizar la expansión de volúmenes de grabación únicos y la duración del entrenamiento sobre el simple aumento de la cantidad de parámetros del modelo, un hallazgo que contrasta con las leyes de escalado pesadas en parámetros a menudo observadas en modelos de lenguaje.
Innovación Arquitectónica: Introducir una arquitectura que maneja nativamente la variabilidad de la iEEG clínica (canales variables, referencia y contextos temporales) mediante atención de cualquier variada e incrustaciones posicionales condicionadas a la entrada, permitiendo un modelado robusto de la dinámica neural espacio-temporal sin monturas fijas.

Los autores concluyen que el camino a seguir para los modelos fundacionales de iEEG implica "escalar los datos primero, entrenar más tiempo segundo y escalar los parámetros por último".