Resumen Técnico: CHASMBrain

Declaración del Problema

El desafío fundamental abordado en este trabajo es comprender la correspondencia entre las representaciones visuales profundas y la organización jerárquica del sistema visual humano. Si bien los modelos de visión modernos sobresalen en el reconocimiento de imágenes, su alineación con la organización funcional de la corteza visual humana sigue siendo una cuestión abierta. Específicamente, los modelos de codificación existentes suelen tener dificultades para capturar simultáneamente:

1. Detalles espaciales locales críticos para las áreas visuales tempranas (regiones retinotópicas como V1/V2).
2. Contexto semántico global esencial para las áreas corticales de orden superior.
3. Alto ruido intrínseco en las señales de fMRI, lo que complica la regresión directa a nivel de vóxel.

Los enfoques actuales suelen depender de características diseñadas a mano o de redes profundas monolíticas que carecen de interpretabilidad biológica o que no logran separar la ubicación espacial del ajuste de características (feature tuning).

Metodología: CHASMBrain

Los autores proponen CHASMBrain, un novedoso marco jerárquico de dos etapas para la codificación de imagen a fMRI. La arquitectura está motivada por la organización funcional de la corteza visual, empleando una estrategia de grueso a fino (coarse-to-fine) y un diseño Mamba de doble flujo.

1. Representación de Entrada

El modelo utiliza un codificador DINOv2 preentrenado (ViT-B/14) para extraer características visuales:

• Token CLS: Un único vector que resume la semántica global de la imagen.
• Tokens de Parches (Patch Tokens): Una secuencia de 256 vectores que preservan la estructura espacial local.

2. Etapa 1: Predicción Gruesa (Mamba de Doble Flujo)

La primera etapa predice activaciones desdenoisadas a nivel de la Región de Interés (ROI) en lugar de a nivel de vóxeles individuales para mitigar el ruido.

• Arquitectura de Doble Flujo:
  • Rama Global: Procesa el token CLS utilizando un bloque Mamba para modelar la semántica de alto nivel.
  • Rama Local: Procesa los tokens de parches utilizando una pila más profunda de bloques Mamba para modelar la estructura espacial de grano fino.
• Fusión Adaptativa: Una compuerta (gate) aprendible fusiona dinámicamente las salidas de las dos ramas ($\hat{r} = \alpha \cdot r_g + (1-\alpha) \cdot r_l$), permitiendo al modelo enfatizar el contexto global para escenas simples o los detalles locales para escenas complejas.
• Agregación de ROI: Los vóxeles se agrupan en clusters no superpuestos. En lugar de un promedio simple, el modelo agrega el top-$p\%$ (establecido en 70%) de las activaciones dentro de cada cluster para preservar los picos informativos mientras se suprime el ruido.
• Objetivo de Entrenamiento: Combina el Error Cuadrático Medio (MSE), la alineación de la correlación de Pearson y una pérdida contrastiva InfoNCE para alinear las características de la imagen con las respuestas cerebrales.

3. Etapa 2: Predicción Fina (Mamba-VAE)

La segunda etapa refina las predicciones gruesas de las ROI en predicciones completas a nivel de vóxel.

• Fusión de Entrada: Combina las predicciones de ROI de la Etapa 1 con las características visuales originales (tokens de parches agrupados y token CLS).
• Mamba-VAE:
  • Codificador: Una pila de bloques Mamba codifica la secuencia fusionada.
  • Espacio Latente Variacional: Una cabeza VAE modela la variabilidad de ensayo a ensayo en las respuestas de fMRI mediante el aprendizaje de una distribución latente ($\mu, \sigma$). Durante la inferencia, se utiliza la media ($\mu$) para la predicción determinista.
• Decodificación Dual:
  • Decodificador de Vóxeles Holístico: Predice el vector completo de vóxeles de forma conjunta a partir del contexto global mediante tokens de consulta (query tokens) aprendibles.
  • Decodificador de Residuos de ROI: Predice los residuos locales respecto a los valores gruesos de la Etapa 1, enfocándose en correcciones finas.
• Recuperación de Amplitud: Una capa de recuperación de escala aprendible ajusta la magnitud de la salida basándose en la complejidad del estímulo.

Contribuciones Clave

1. Marco Jerárquico de Dos Etapas: CHASMBrain logra una correlación de Pearson de 0.429 y un MSE de 0.261 en el Conjunto de Escenas Naturales (NSD), superando a modelos profundos recientes (SynBrain, MindSimulator) y a bases lineales fuertes (Regresión Ridge, sondas lineales de DINOv2).
2. Mecanismo Secuencial de Grueso a Fino: Al separar la alineación semántica robusta a nivel de ROI de la refinación de grano fino a nivel de vóxel mediante un Mamba-VAE, el modelo aborda eficazmente el alto ruido intrínseco de las señales de fMRI.
3. Especialización de Flujo Causal: A través de experimentos de ablación de ramas y enrutamiento de entrada, los autores demuestran una especialización asimétrica:
   • El Flujo de Parches (Local) está causalmente vinculado a la corteza visual temprana (regiones retinotópicas). Eliminarlo perjudica desproporcionadamente las predicciones de regiones tempranas.
   • El Flujo CLS (Global) aporta un contexto semántico más amplio a las áreas de orden superior.
   • Intercambiar estos flujos causa una caída asimétrica significativa en el rendimiento (degradación relativa de 1.9× en regiones tempranas), confirmando que la correspondencia es causal y no meramente correlacional.
4. Generalización entre Sujetos: El backbone aprendido se generaliza entre individuos. Cuando se entrena en sujetos de origen y se congela, utilizando solo una cabeza ligera ajustada por sujeto, el modelo alcanza un rendimiento cercano al del sujeto dentro del mismo, lo que sugiere que la representación es independiente del sujeto.

Resultados

• Rendimiento Cuantitativo: En NSD (sujetos 1, 2, 5, 7), CHASMBrain reduce el MSE en un 26.9% en comparación con la sonda lineal de DINOv2 más fuerte (Capa 12) y supera significativamente a trabajos previos como SynBrain y MindSimulator.
• Análisis Cualitativo: Los mapas de fMRI predichos preservan límites regionales nítidos y picos localizados, reflejando estrechamente las respuestas neurales reales. La reconstrucción de imágenes descendente (vía MindEye2) demuestra una retención semántica robusta, reconstruyendo con éxito estructuras coherentes de objetos rígidos mejor que las bases de comparación.
• Estudios de Ablación:
  • El diseño Dual-Mamba supera a los modelos de un solo flujo (Mamba y Transformers) mientras utiliza menos parámetros y FLOPs.
  • La estrategia de refinamiento basada en VAE supera significamente al refinamiento basado en difusión, el cual falla debido a la confusión entre el ruido artificial y el ruido biológico.
  • Se identificó una granularidad de agrupación óptima de 30 vóxeles por cluster, equilibrando la reducción de ruido en la Etapa 1 con la resolución espacial para la Etapa 2.

Significado

El artículo afirma que CHASMBrain cierra la brecha entre las representaciones visuales artificiales y la actividad neural humana mediante la incorporación de prioris corticales. Al separar explícitamente los parámetros de ubicación espacial de los parámetros de peso de las características, el modelo permite la inspección directa de las estructuras de campo receptivo. La evidencia causal de la especialización de los flujos sugiere que el modelo captura una representación visual compartida y biológicamente plausible que refleja las vías del "dónde" (dorsal/temprana) y el "qué" (ventral/superior) del cerebro humano. Además, la generalización entre sujetos indica que el modelo aprende principios visuales fundamentales en lugar de sobreajustarse al ruido específico de cada sujeto.

Limitaciones

Los autores reconocen varias limitaciones:

• El límite superior predictivo está restringido por el techo de ruido fisiológico de la fMRI ($r \approx 0.60$).
• El pipeline depende de un codificador DINOv2 congelado, sesgado hacia imágenes estáticas centradas en objetos, lo que podría carecer de la dinámica temporal.
• No se ha realizado una evaluación en otros conjuntos de datos debido a los diferentes protocolos de adquisición.
• La reconstrucción visual descendente está limitada por los priors generativos del decodificador de fMRI a imagen.