Moving Beyond Diffusion: Hierarchy-to-Hierarchy Autoregression for fMRI-to-Image Reconstruction

Resumen Técnico: MindHier – Jerarquía-a-Jerarquía de Autorregresión para la Reconstrucción de fMRI a Imagen

Declaración del Problema
La reconstrucción de estímulos visuales a partir de señales de resonancia magnética funcional (fMRI) es un desafío crítico en la intersección entre el aprendizaje automático y la neurociencia. Los enfoques de vanguardia recientes dependen fuertemente de modelos basados en difusión. Estos métodos típicamente mapean la actividad de fMRI a un único embedding neural estático, el cual sirve como una señal de guía fija durante todo el proceso de generación de imágenes. Los autores identifican dos limitaciones fundamentales en este paradigma:

1. Colapso de Información: Las señales de fMRI son inherentemente jerárquicas, donde diferentes regiones cerebrales capturan contenido semántico grueso y detalles perceptuales finos. Los métodos actuales colapsan esta rica información multinivel en un solo vector, lo que conduce a una infrautilización de los datos neurales.
2. Desajuste Temporal: La generación de imágenes es un proceso dinámico y multietapa donde las etapas tempranas requieren restricciones semánticas globales y las etapas posteriores demandan pistas estructurales y texturales precisas. La guía neural fija es a menudo redundante en las fases iniciales e insuficiente en las fases posteriores, creando un desalineamiento entre la representación y el proceso de generación. Además, los modelos de difusión ofrecen puntos de control limitados para inyectar guía consciente de la etapa.

Metodología: MindHier
Para abordar estos desafíos, los autores proponen MindHier, un marco de reconstrucción de fMRI a imagen de grueso a fino construido sobre el modelado autorregresivo por escalas (específicamente el paradigma de "predicción de la siguiente escala"). A diferencia de los modelos de difusión que denotan iterativamente ruido gaussiano, MindHier genera imágenes progresivamente de baja resolución a mapas de tokens de alta resolución. El marco consta de tres componentes principales:

1. Codificador de fMRI Jerárquico (HFE):
   En lugar de producir un único embedding, el HFE es una pila unificada de bloques de transformadores en cascada diseñados para disentificar las señales de fMRI en una representación estructurada y multinivel. Las salidas de estos bloques, $\{e_1, \dots, e_M\}$, constituyen una jerarquía donde las capas más profundas capturan la semántica global ("Bosque") y las capas más superficiales preservan los detalles finos ("Árboles").

2. Alineación de Jerarquía-a-Jerarquía:
   Para entrenar el HFE, los autores introducen un esquema de entrenamiento de objetivo dual que impone una correspondencia capa por capa entre los embeddings de fMRI y la jerarquía de características de un codificador de visión CLIP congelado:

• Alineación Estructural: Una pérdida de Error Cuadrático Medio (MSE) en cascada alinea las salidas intermedias de los bloques de fMRI con las capas intermedias correspondientes del codificador CLIP, asegurando una correspondencia punto a punto a través de los niveles de abstracción.
• Alineación de Nivel Semántico: Una pérdida SoftCLIP alinea la característica terminal de fMRI con la característica visual y la característica de texto en el espacio de embedding compartido de CLIP. Esto proporciona un ancla semántica global robusta para prevenir la propagación de errores.

3. Guía Neural de Grueso a Fino Consciente de la Escala:
   Esta estrategia inyecta los embeddings jerárquicos aprendidos en el generador autorregresivo en escalas coincidentes. El proceso de generación está condicionado por características específicas de fMRI basadas en la etapa de generación:

• Sembrando el "Bosque" (Baja Resolución): La escala inicial de baja resolución se siembra con el embedding semántico más abstracto ($e_M$) para establecer un diseño global coherente.
• Refinando los "Árboles" (Alta Resolución): Las escalas subsiguientes, de mayor resolución, se condicionan progresivamente a las características intermedias centradas en los detalles ($e_k$) mediante atención cruzada de múltiples cabezales. Esto asegura que el contexto global se establezca primero, seguido del refinamiento de texturas y estructuras.

Contribuciones Clave

• Identificación del Desajuste: El artículo destaca la desconexión fundamental entre la guía neural fija y la naturaleza dinámica de la reconstrucción de imágenes, proponiendo un cambio de los pipelines basados en difusión hacia los autorregresivos.
• Marco Novel: MindHier introduce un marco autorregresivo de grueso a fino que adapta dinámicamente la guía neural a las demandas específicas de cada etapa de generación.
• Mecanismos de Alineación y Guía: Los autores proponen la "Alineación de Jerarquía-a-Jerarquía" para disentificar las señales de fMRI y la "Guía Consciente de la Escala" para inyectar estratégicamente estas características, resolviendo el desajuste estructural entre las representaciones neurales y la reconstrucción de imágenes.
• Balance de Rendimiento: El marco logra un equilibrio crítico entre fidelidad semántica, estabilidad determinista y velocidad de inferencia.

Resultados Experimentales
Se realizaron experimentos extensos en el Natural Scenes Dataset (NSD) involucrando a 8 sujetos humanos.

• Fidelidad Semántica: MindHier logra un rendimiento de vanguardia en métricas de alto nivel, incluyendo el puntaje CLIP más alto (96.4%) y la menor distancia SwAV (0.329) entre los métodos comparados. Supera a los baselines basados en difusión como MindEye2 y MindBridge en la captura del contenido semántico central.
• Eficiencia: MindHier demuestra una eficiencia computacional significativa, requiriendo solo 2.64 segundos para generar una imagen de 512×512. Esto representa una aceleración de 4.67× en comparación con MindEye2, atribuida a la eliminación de los pasos de denotación iterativa y la asignación de la mayor parte de la computación a resoluciones más bajas.
• Estabilidad y Consistencia: A diferencia de los modelos de difusión estocásticos que dependen de la inicialización de ruido aleatorio, MindHier produce resultados deterministas. A través de múltiples ensayos, genera reconstrucciones virtualmente idénticas, capturando de manera confiable características centrales como la forma y la postura, mientras que los baselines de difusión exhiben una variabilidad significativa.
• Calidad Cualitativa: Las comparaciones visuales muestran que MindHier sobresale en la preservación de la integridad estructural (por ejemplo, el cuello largo de una jirafa) y las propiedades cromáticas (por ejemplo, un hidrante amarillo), además de recuperar con precisión las posiciones y trayectorias de los objetos.
• Generalizabilidad: Experimentos preliminares en el dataset THINGS-fMRI confirman la capacidad del modelo para generalizarse a nuevas distribuciones de datos y entornos de múltiples sujetos, mostrando mejoras sustanciales en las métricas de recuperación semántica de alto nivel sobre el baseline BrainFlora.

Significancia y Reivindicaciones
El artículo afirma que MindHier hace avanzar la reconstrucción de fMRI a imagen más allá del análisis offline al ofrecer una alternativa cognitivamente alineada a los métodos de difusión. Al adherirse al principio de "el Bosque antes que los Árboles" de la percepción visual humana, el marco sintetiza la semántica global antes de refinar los detalles locales. Los autores aseguran que la combinación de una fidelidad semántica superior, estabilidad determinista y velocidades de inferencia en tiempo real facilita la realización futura de interfaces cerebro-computadora en tiempo real. El trabajo posiciona el modelado autorregresivo por escalas como un paradigma poderoso y poco explorado para decodificar la actividad cerebral, ofreciendo un camino más eficiente y controlable para la reconstrucción visual que los enfoques actuales basados en difusión.