What Does the Brain See? Multiview Neural Representations to Demystify the Brain-Visual Alignment

Resumen Técnico: ¿Qué ve el cerebro? Representaciones neuronales multivista para desmitificar la alineación cerebro-visual

Planteamiento del problema
La decodificación visual de cero disparos (zero-shot) a partir de electroencefalografía (EEG) tiene como objetivo inferir la semántica visual a partir de registros neuronales no invasivos sin exposición previa a categorías de prueba específicas. Si bien los avances recientes en conjuntos de datos a gran escala (por ejemplo, THINGS-EEG) y modelos de visión-lenguaje preentrenados (por ejemplo, CLIP) han facilitado esta tarea, persisten desafíos significativos. Las señales de EEG son inherentemente ruidosas, no estacionarias y espacialmente gruesas. Los métodos de alineación existentes suelen depender de incrustaciones (embeddings) de EEG "holísticas" que no logran capturar la estructura heterogénea de las respuestas neuronales. Específicamente, estos enfoques suelen pasar por alto las dinámicas temporales complementarias, los patrones espectrales y las dependencias espaciales inherentes a los datos de EEG, lo que conduce a representaciones inestables que se alinean débilmente con la semántica visual, particularmente en escenarios trans-sujeto y trans-sesión.

Metodología
Los autores proponen un marco de aprendizaje de representación de EEG multivista unificado, diseñado para construir un codificador de EEG robusto que alinee las señales neuronales con espacios semánticos visuales preentrenados. En lugar de modificar el codificador de visión, el método se centra en aprender un codificador de EEG más fuerte y estructurado que modele conjuntamente tres vistas complementarias:

1. Modelado Temporal (Estado de Espacio Condicionado por la Entrada): Para capturar dependencias temporales de largo alcance y adaptativas a la entrada, el marco emplea un Modelo de Espacio de Estado Selectivo (S3M). Este módulo mantiene un estado latente que evoluciona en el tiempo basándose en pasos y proyecciones dependientes de la entrada. La salida se refina además mediante convoluciones 1D para capturar patrones temporales locales.
2. Modelado Espectral (Descomposición de Wavelet Adaptativa Aprendible - ALWD): Yendo más allá de las bandas de frecuencia predefinidas, el método introduce ALWD para seleccionar dinámicamente representaciones de frecuencia condicionadas por la señal de entrada. Utiliza un banco de filtros de paso bajo y paso alto aprendibles, sintetizando pesos específicos de la muestra para descomponer el EEG en componentes de baja frecuencia (oscilaciones estables) y alta frecuencia (actividad transitoria). Los S3Ms independientes procesan estos componentes, seguidos de mecanismos de atención de frecuencia cruzada para integrar la información a través de escalas espectrales.
3. Modelado Espacial (Aprendizaje de Grafos Modulado por Atención): Reconociendo que los electrodos capturan regiones cerebrales que interactúan, el marco modela las dependencias espaciales utilizando una Red de Convolución de Grafos (GCN). Construye una matriz de adyacencia dinámica que combina una estructura global aprendible con atención de aristas dependiente de la entrada, lo que permite al modelo capturar tanto estructuras espaciales compartidas como interacciones funcionales específicas de cada muestra.

Alineación y Entrenamiento
Las características temporales, espectrales y espaciales se fusionan en una incrustación de EEG compacta ($z_{eeg}$) y se alinean con las incrustaciones visuales ($z_{img}$) extraídas de un codificador CLIP-ViT-H-14 congelado. La alineación se logra mediante:

• Aprendizaje Contrastivo: Una pérdida contrastiva simétrica alinea las incrustaciones de EEG-imagen emparejadas en un espacio semántico compartido.
• Regularización Específica de EEG: Para abordar la variabilidad del EEG, los autores introducen dos regularizadores:
  • Regularización de Consistencia de Repetición (RCR): Impone consistencia a través de ensayos repetidos del mismo estímulo.
  • Regularización de Contraste a Nivel de Prototipo (CPCA): Mejora la estructura semántica a nivel de clase.

Contribuciones Clave

• Marco Unificado Multivista: El primer marco que modela conjuntamente la dinámica temporal de largo alcance, la estructura espectral adaptativa y las interacciones de electrodos espaciales para la decodificación visual de EEG de cero disparos.
• Diseño de Codificador Complementario: Introducción de módulos específicos (S3M, ALWD y GCN modulado por atención) que desentrañan y modelan explícitamente las distintas características de las señales de EEG.
• Estrategias de Regularización: Incorporación de consistencia a nivel de ensayo y alineación semántica a nivel de clase para mejorar la estabilidad de la representación.
• Evaluación Sistemática Trans-Sesión: El artículo presenta la primera evaluación sistemática de la decodificación imagen-EEG a través de diferentes sesiones de grabación, un escenario previamente inexplorado en contextos de decodificación semántica.

Resultados Experimentales
El método fue evaluado en el benchmark THINGS-EEG (1,854 conceptos de objetos, 10 sujetos) bajo tres configuraciones de cero disparos:

• Dentro del Sujeto (Within-Subject): Logró un 54.8% de precisión Top-1 y un 85.6% de precisión Top-5, superando a la base más fuerte (UBP) en un +3.9% y +5.9% respectivamente.
• Entre Sujetos (Cross-Subject): Logró un 15.3% de precisión Top-1 y un 45.4% de precisión Top-5, mostrando una mejora de +2.9% en Top-1 y +12.0% en Top-5 sobre UBP, lo que indica una generalización robusta entre sujetos.
• Trans-Sesión (Cross-Session): Logró un 40.8% de precisión Top-1 y un 78.0% de precisión Top-5, demostrando estabilidad a través de las sesiones de grabación donde la mayoría de los métodos existentes carecen de bases reportadas.

Los estudios de ablación confirmaron que eliminar cualquiera de las tres vistas (temporal, espectral o espacial) o los términos de regularización degrada significativamente el rendimiento, validando la necesidad del enfoque multivista.

Significancia y Reivindicaciones
El artículo afirma que el modelado explícito de la estructura neural multivista de las señales de EEG mejora significamente tanto la alineación semántica como la generalización en tareas de decodificación visual. Al alejarse de las incrustaciones holísticas hacia una representación estructurada que respeta la naturaleza temporal, espectral y espacial de la actividad cerebral, el método propuesto proporciona una base más confiable para la alineación EEG-visual. Los autores sugieren que este enfoque ofrece un camino escalable hacia una decodificación neural más robusta, particularmente en escenarios realistas que involucran variabilidad dependiente de la sesión y generalización entre sujetos. Los hallazgos resaltan que los sesgos inductivos estructurados son cruciales para cerrar la brecha entre los ruidosos registros neuronales y la semántica visual de alto nivel.