Bridging Brain and Semantics: A Hierarchical Framework for Semantically Enhanced fMRI-to-Video Reconstruction

Resumen Técnico: Uniendo el Cerebro y la Semántica con CINENEURON

Enunciado del Problema
Reconstruir experiencias visuales dinámicas (videos) a partir de señales de resonancia magnética funcional (fMRI) es un desafío crítico en la neurociencia cognitiva. Aunque los métodos anteriores han logrado éxito en la reconstrucción de imágenes estáticas, extender esto a estímulos de video continuos sigue siendo difícil debido a la baja relación señal-ruido y la resolución temporal limitada de los datos de fMRI. Los enfoques actuales de vanguardia sufren de una "brecha semántica": dependen de incrustaciones semánticas incompletas (típicamente limitadas a pares imagen-texto) y tratan la reconstrucción como un proceso aislado utilizando únicamente el estímulo actual. Esto resulta en videos con objetos incorrectos, reconocimiento de acciones deficiente y baja coherencia semántica, ya que estos métodos no logran capturar señales específicas del video (por ejemplo, acciones, categorías de objetos) ni integrar el conocimiento previo que el cerebro humano utiliza naturalmente.

Metodología: CINENEURON
Los autores proponen CINENEURON, un marco jerárquico inspirado en el mecanismo de procesamiento de doble vía del cerebro humano (acumulación sensorial ascendente e integración de memoria descendente). El marco opera en dos etapas sinérgicas:

1. Riqueza Semántica Ascendente:

   • Objetivo: Mapear las señales ruidosas de fMRI en un espacio de incrustaciones rico que capture exhaustivamente la semántica textual, el contenido de las imágenes, los conceptos de acción y las categorías de objetos.
   • Mecanismo: Un "Modelo Cerebral" basado en transformadores procesa las señales de fMRI para producir un token global y una incrustación contextual. El modelo se entrena utilizando un conjunto de tareas explícitas:
     • Alineación Imagen-Texto: Alinea el token global de fMRI con las incrustaciones de imagen y texto derivadas de CLIP utilizando la pérdida InfoNCE.
     • Alineación Semántica de Acción: Utiliza ViCLIP para extraer incrustaciones de acción a partir de estímulos de video, alineándolas con el token de fMRI mediante pérdida de contraste para capturar la dinámica temporal.
     • Aprendizaje Semántico de Categoría: Emplea Qwen2.5-VL para extraer categorías de objetos de las descripciones, las cuales se mapean a un conjunto simplificado de superclases. Una cabeza de clasificación predice estas categorías utilizando una combinación de Entropía Cruzada Binaria y Pérdida Focal para manejar el desequilibrio de clases.

2. Integración de Memoria Descendente:

   • Objetivo: Refinar la incrustación de fMRI enriquecida seleccionando y fusionando dinámicamente "memorias" relevantes de datos vistos previamente, imitando la reproducción de memoria del hipocampo.
   • Mecanismo: Se introduce un nuevo módulo de Mezcla de Memorias (MoM).
     • Recuperación: Un enrutador consciente de la modalidad asigna dinámicamente pesos a las incrustaciones de texto, imagen y acción almacenadas en un grupo de memoria (derivado de los datos de entrenamiento). Calcula una puntuación de mezcla basada en la similitud ponderada con la incrustación actual de fMRI, seleccionando las k memorias más relevantes.
     • Integración: Las incrustaciones multimodales recuperadas se fusionan con la incrustación de fMRI utilizando capas de atención cruzada y capas de convolución cero. Este proceso inyecta señales visuales y de acción mientras preserva la estabilidad del espacio de características del generador.
   • Decodificación: La incrustación fusionada final condiciona un Transformador de Difusión de Video (Video DiT, específicamente Wan2.1) para generar videos temporalmente consistentes y semánticamente coherentes.

Contribuciones Clave

1. Marco Jerárquico: Introducción de CINENEURON, que unifica la riqueza semántica ascendente con la integración de memoria descendente para cerrar la brecha entre las señales cerebrales ruidosas y el contenido complejo de video.
2. Riqueza Semántica Exhaustiva: Un enfoque novedoso para enriquecer las señales de fMRI aprendiendo tareas explícitas para estímulos de video, capturando un espectro más amplio de semántica (imagen, texto, acción y categoría) más allá de la alineación tradicional imagen-texto.
3. Mezcla de Memorias (MoM): Un nuevo método para seleccionar y fusionar dinámicamente incrustaciones multimodales relevantes de un grupo de memoria para refinar la decodificación de video, abordando el aislamiento de la reconstrucción basada en estímulos actuales.
4. Rendimiento de Vanguardia: Experimentos extensos demuestran que CINENEURON supera a los métodos existentes en múltiples métricas en dos conjuntos de datos desafiantes.

Resultados Experimentales
El marco se evaluó en dos conjuntos de datos: cc2017 (videos naturales) y CineBrain (episodios de programas de televisión).

• Rendimiento Cuantitativo: CINENEURON obtuvo puntuaciones superiores en métricas de nivel semántico (precisión de 2 vías y 50 vías), consistencia espacio-temporal (CLIP-pcc, DTC) y suavidad de movimiento (MS) en comparación con líneas base como Mind-Video, NeuroClips y CineSync. Por ejemplo, en el conjunto de datos cc2017, logró una precisión semántica de 2 vías de 0.850 y un CLIP-pcc de 0.972.
• Rendimiento Cualitativo: Las comparaciones visuales muestran que CINENEURON reconstruye fielmente acciones complejas (por ejemplo, yoga, acariciar) y categorías de objetos, mientras que las líneas base a menudo alucinan objetos incorrectos o no logran capturar movimientos específicos.
• Evaluación Humana: En un estudio con 20 participantes, CINENEURON fue preferido sobre los métodos competidores en el 63.77% de los casos para la alineación semántica y en el 67.59% para la fidelidad general.
• Estudios de Ablación: Los resultados confirman que cada componente (alineación de acción, aprendizaje de categorías y MoM) contribuye significativamente al rendimiento. Cabe destacar que la inclusión de datos de fMRI del hipocampo mejoró aún más las métricas semánticas, validando el diseño de integración de memoria descendente.

Significado y Afirmaciones
El artículo afirma que CINENEURON representa un avance significativo en la decodificación cerebral al ir más allá del mapeo aislado de estímulo-respuesta hacia un sistema que imita el uso del cerebro del conocimiento previo y la memoria. Al integrar explícitamente la semántica de acción y categoría y utilizar un mecanismo de recuperación de memoria, el método produce videos que no solo son visualmente coherentes, sino también semánticamente precisos. Los autores postulan que este enfoque ofrece perspectivas más profundas sobre el procesamiento neural, demostrando una alineación funcional entre las representaciones aprendidas del modelo y las áreas corticales visuales conocidas (por ejemplo, corteza occipital lateral y corteza ventral). El trabajo sugiere que el progreso futuro en la reconstrucción de fMRI a video depende de marcos jerárquicos y semánticamente enriquecidos, en lugar de una simple alineación de señales crudas.