Resumen Técnico: Decodificación de EEG de Doble Flujo para la Percepción Visual 3D

Declaración del Problema

Las redes neuronales actuales para la percepción visual, particularmente las Redes Neuronales Convolucionales (CNN), presentan dificultades con la comprensión espacial y geométrica 3D. Aunque se alinean con la vía visual ventral biológica (sistema del "qué") para el reconocimiento de objetos, exhiben sesgos hacia la textura sobre la forma y no logran mantener la consistencia representacional entre diferentes puntos de vista. Esta limitación se extiende a la decodificación cerebral: los modelos existentes suelen tener dificultades para diferenciar puntos de vista dentro de clases de objetos y para extraer características de orientación a partir de señales de EEG. Además, los enfoques estándar de decodificación cerebral suelen tratar la percepción 3D como un problema de una sola vía, sin aprovechar las distintas pero interactuantes estructuras geométricas de las vías ventral ("qué") y dorsal ("dónde/cómo").

Metodología

Los autores proponen una arquitectura de decodificación de doble flujo de inspiración biológica que imita la visión biológica mediante la implementación de módulos separados para la identidad del objeto y la orientación espacial. La metodología se estructura en torno a tres tareas complementarias:

1. Diseño Experimental y Conjunto de Datos

• Participantes: 11 sujetos visualizaron 78 objetos 3D distintos (a través de seis categorías semánticas) en un entorno de RV inmersivo (Meta Quest 2) para aprovechar la disparidad binocular.
• Estímulos: Los objetos experimentaron una rotación continua de 360° durante 8 segundos ($d\theta/dt = \pi/4$ rad/s).
• Recolección de Datos: La actividad neural se registró mediante un sistema EEG ANT Neuro de 64 canales (512 Hz). Cada sujeto completó 468 ensayos (78 objetos $\times$ 6 repeticiones).

2. Arquitecturas de Modelos

El estudio comparó tres arquitecturas (EEGNet, EEGConformer, CTNet) y desarrolló un flujo de trabajo específico de doble flujo:

• Flujo Ventral (Identidad del Objeto): Una tarea de clasificación utilizando EEGNet para predecir una de las seis categorías semánticas. El modelo con mejor rendimiento (EEGNet para el Sujeto 5) alcanzó hasta un 68% de precisión.
• Flujo Dorsal (Orientación Espacial): Una tarea de regresión circular adaptada de EEGNet. En lugar de un cabezal de clasificación estándar, este genera un vector unitario 2D $[\sin(\theta), \cos(\theta)]$ para manejar naturalmente las condiciones de contorno periódicas. La función de pérdida calcula la longitud de la cuerda al cuadrado entre los vectores predicho y objetivo.
• Pipeline de Reconstrucción 3D: Los autores desarrollaron un modelo de difusión multivista condicionado por EEG basado en MVDream.
  • Condicionamiento: Un clasificador de objetos EEGNet congelado genera un embedding de 512 dimensiones (proyectado a 1024 dimensiones) que sirve como el token de "identidad del objeto".
  • Inyección de Ángulo: Un codificador de ángulos separado predice los ángulos de rotación, los cuales se inyectan mediante un embedding de tiempo sensible al ángulo.
  • Generación: Una U-Net de difusión utiliza atención cruzada donde los latentes multivista actúan como consultas (queries) y los embeddings de EEG proyectados actúan como claves (keys) y valores (values). El modelo se ajusta mediante Adaptación de Bajo Rango (LoRA).

3. Análisis de Interpretabilidad

Para investigar la especialización funcional de las vías, los autores aplicaron Mapas de Activación de Clase Pesados por Gradiente (Grad-CAM) a las capas convolucionales. Definieron tres subconjuntos de canales con motivación anatómica:

• Ventral: Canales temporales y occipitales (T7, T8, O1, O2, etc.).
• Dorsal: Canales parietales y centrales (Pz, Cz, P1, P2, etc.).
• Motor/Premotor: Regiones motoras centrales y frontales (C3, C4, FC3, FC4, etc.).

Resultados Clave

Rendimiento de Clasificación y Regresión

• Clasificación de Objetos: EEGNet logró la mayor precisión media entre los sujetos, con el Sujeto 5 alcanzando un 68% de precisión (significativamente por encima del nivel de azar del 16.7%).
• Regresión de Ángulo: Todos los modelos demostraron un rendimiento robusto con un Error Absoluto Medio (MAE) de 10–11° utilizando ventanas de tiempo de 1 segundo.
• Reconstrucción 3D: El modelo de difusión multivista condicionado por EEG logró un SSIM de 0.856 ± 0.038 y un LPIPS de 0.275 ± 0.061 en el conjunto de prueba no visto, lo que indica una buena generalización y coherencia geométrica entre puntos de vista.

Hallazgos de Interpretabilidad

Contrario a la hipótesis de un dominio "solo ventral" estático, el análisis Grad-CAM reveló:

• Integración Dinámica: La decodificación exitosa depende de una integración resuelta en el tiempo a través de los canales ventrales, dorsales y motores, en lugar de una lectura binaria estática.
• Involucración Motora: Los decodificadores de objetos exhibieron una activación significativa en los canales motores, y los decodificadores de ángulos se beneficiaron de un sesgo motor temprano.
• Estructura Temporal: La disociación entre los modelos de objeto y ángulo sugiere un desentrelazamiento parcial de los componentes invariantes y equivariantes. Los decodificadores de objetos fueron penalizados por sobreponderar los canales ventrales tempranamente y los canales dorsales tardíamente, lo que sugiere que la representación 3D robusta surge de una integración equilibrada y temporalmente estructurada a través de los tres subespacios.

Significado y Reivindicaciones

El artículo reivindica tres contribuciones primarias a los campos de la decodificación neural y la visión 3D bioinspirada:

1. Arquitectura Novedosa: Presenta la primera arquitectura de doble flujo para la decodificación cerebral 3D que separa explícitamente el reconocimiento de objetos tolerante al punto de vista ("qué") de la transformación espacial dependiente del punto de vista ("dónde/cómo"), logrando un rendimiento robusto tanto en clasificación como en regresión angular.
2. Perspectiva Neurofisiológica: Proporciona evidencia interpretable de que la percepción 3D en las señales de EEG involucra interacciones dinámicas entre las vías dorsal, ventral y motora. Los hallazgos desafían la noción de un dominio ventral estático, sugiriendo en su lugar que la representación geométrica en el cerebro (y su decodificación) depende de una integración temporalmente estructurada a través de estos sistemas.
3. Viabilidad de la Generación Neural-a-3D: El trabajo establece la viabilidad de generar objetos 3D directamente a partir de señales de EEG no invasivas utilizando modelos de difusión multivista condicionados por la actividad neural, preservando tanto la identidad semántica como la coherencia geométrica a través de los puntos de vista.

Los autores concluyen que, si bien su enfoque decodifica con éxito la percepción de la forma 3D, se requiere una investigación adicional para cuantificar los beneficios de los sesgos inductivos puramente geométricos frente a los biológicos mediante la comparación de sus resultados con CNNs direccionables (steerable) y arquitecturas equivariantes.