Resumen Técnico: La Capacidad del Pensamiento: Evaluación de Referencia de Llama 3.2 en la Decodificación del Lenguaje Neuronal mediante fMRI Semántico

Planteamiento del Problema

El desafío central abordado es la decodificación no invasiva de lenguaje continuo a partir de señales de resonancia magnética funcional (fMRI). Aunque los enfoques previos exitosos utilizan modelos de codificación (predicción de la actividad cerebral a partir del texto) para decodificar indirectamente el pensamiento mediante algoritmos de búsqueda, estos métodos dependen de priors lingüísticos más antiguos y pequeños (por ejemplo, GPT-1). Los autores plantean la hipótesis de que el techo de rendimiento de estos métodos puede deberse a un subajuste arquitectónico más que al ruido biológico inherente. Investigan si los modelos de lenguaje modernos de alta capacidad (específicamente Llama-3.2-1B) pueden mejorar la precisión de la reconstrucción y si las arquitecturas de generación directa de fMRI a lenguaje pueden superar a los pipelines de codificación lineales tradicionales.

Metodología

El estudio emplea dos investigaciones complementarias sobre el mismo conjunto de datos estandarizado de escucha de narrativas de fMRI (8 sujetos, ~16 horas de datos), utilizando divisiones de entrenamiento/prueba a nivel de historia.

1. Mejora del Baseline de Regresión de Cresta (Pipeline de Huth et al.)

Los autores establecieron primero un suelo empírico controlado replicando y mejorando el pipeline del modelo de codificación de Huth et al. La arquitectura central utiliza regresión de cresta con regularización L2 para mapear características de texto (de la capa 9 de GPT-1) a respuestas BOLD a nivel de vóxel. La decodificación se realiza mediante búsqueda de haz (beam search), clasificando las oraciones candidatas frente al modelo de ruido ajustado y el prior de lenguaje.
Se introdujeron tres mejoras específicas:

• Selección de Vóxeles Expandida: Se aumentó la selección de vóxeles informativos de 10,000 a 15,000 mediante correlación de bootstrap para capturar regiones corticales más amplias involucradas en el procesamiento semántico.
• Propuesta de Modelo GPT-2 Medium: Se reemplazó el modelo GPT-1 utilizado para generar candidatos de búsqueda de haz por GPT-2 Medium (345M de parámetros) para mejorar la calidad gramatical de las palabras candidatas, manteniendo estrictamente a GPT-1 para las características de codificación. Se implementó un proxy de primer sub-token codicioso para manejar el vocabulario de codificación de pares de bytes de GPT-2.
• Entrenamiento Acelerado por GPU: Se migró el entrenamiento de regresión de cresta por bootstrap de CPU (NumPy) a GPU (PyTorch) utilizando multiprocesamiento, logrando una aceleración de 10×.

2. fMRIFlamingo: Generación Directa de fMRI a Lenguaje

La segunda investigación introduce fMRIFlamingo, un marco de generación directa que adapta la arquitectura multimodal OpenFlamingo a la decodificación neural. El pipeline mapea las señales BOLD crudas directamente hacia un backbone Llama-3.2-1B congelado.

• fMRITokenizer: Los volúmenes de fMRI crudos se agrupan en 2,000 Regiones de Interés (ROIs) mediante asignación anatómica determinista. Una proyección lineal aprendida mapea los perfiles temporales a una dimensión interna, preservando la estructura temporal hemodinámica.
• Perceiver Resampler: Comprime la secuencia de tokens de ROI en un número fijo de vectores latentes que coinciden con la dimensión oculta de Llama.
• Atención Cruzada con Compuerta (Gated Cross-Attention): Insertada en las capas del decodificador Llama congelado. La compuerta se inicializa para asegurar que la vía de "visión" (cerebro) esté activa. El modelo aprende a mezclar la atención impulsada por el cerebro y la impulsada por el texto.
• Estrategia de Entrenamiento: Para mitigar el colapso posterior (donde el modelo ignora los datos ruidosos de fMRI en favor de los priors de texto), el 50% de los tokens de prompt de entrada se enmascaran con <PAD> durante el entrenamiento. La optimización utiliza pérdida de entropía cruzada y una pérdida de ranking contrastivo.
• Inferencia: Opera en un régimen por ventana, generando una palabra por cada ventana de TR de 2 segundos mediante una búsqueda de haz de 3 vías, distinta de la decodificación narrativa continua del pipeline de cresta.

Resultados Clave

Mejora del Baseline de Cresta

En el sujeto UTS03 a través de tres narrativas retenidas, el pipeline mejorado logró:

• METEOR: 0.149 (media), lo que representa una ganancia relativa del 11% sobre el baseline de replicación de 10K vóxeles (0.134).
• BLEU-1: 0.200 (media).
• BERTScore: 0.814.
  Estos resultados son competitivos con los puntajes originales reportados por Huth et al. en sus narrativas de prueba específicas, estableciendo un baseline de decodificación lineal más fuerte.

Rendimiento de fMRIFlamingo

• Éxito Aparente: En una tarea de ranking de 1 en 100 (seleccionando la palabra siguiente correcta de entre 99 distractores), el modelo alcanzó una precisión Top-1 del 42.86%, significativamente por encima del 1% del azar aleatorio.
• Fallo del Control Ciego: Un estudio de ablación crítico anuló todas las entradas de fMRI. La precisión de ranking permaneció virtualmente sin cambios (~43%), y las métricas de generación a nivel de historia (WER, BLEU-1, METEOR) fueron estadísticamente idénticas a la condición de entrada completa.
• Dominancia del Prior de Lenguaje: La distribución de salida del modelo en la condición de fMRI cero fue casi idéntica a la condición de entrada completa, dominada por palabras funcionales frecuentes. Cuando el contexto de texto precedente se eliminó por completo (condición "Strict Telepathy"), la precisión cayó al azar (~0%).
• Conclusión: El aparente éxito de la decodificación es impulsado principalmente por el fuerte prior de lenguaje y el contexto lingüístico, más que por la entrada neural. El modelo incorpora la señal de fMRI pero falla en aprender representaciones lo suficientemente fiables como para mejorar sobre el prior de texto.

Significado y Reivindicaciones

El artículo presenta dos reivindicaciones principales respecto al estado de la decodificación del lenguaje neural:

1. Refinamiento de Baselines Lineales: Las mejoras de ingeniería incremental en los pipelines de codificación tradicionales (expansión de vóxeles, mejores modelos de propuesta y aceleración de hardware) pueden producir ganancias de rendimiento significativas (mejora del 11% en METEOR), estableciendo un baseline robusto para comparaciones futuras.
2. La "Ilusión del Prior de Lenguaje": La integración de Grandes Modelos de Lenguaje (LLMs) de alta capacidad y congelados en la decodificación neural no mejora inherentemente el rendimiento. En cambio, estos modelos pueden oscurecer activamente los fallos. Debido a que los LLMs poseen priors estadísticos fuertes, pueden generar salidas fluidas y plausibles incluso cuando las entradas neurales están ausentes o no son informativas.
   • Imperativo Metodológico: Los autores argumentan que sin experimentos rigurosos de ablación de control ciego (anulación de las entradas neurales), las afirmaciones de un decodificación neural exitosa usando modelos grandes son probablemente inválidas. La precisión de ranking del 42% observada en fMRIFlamingo se presenta no como un avance en la decodificación, sino como una demostración de qué tan fácilmente los fuertes priors de lenguaje pueden imitar el éxito de la decodificación.

El estudio concluye que para que los modelos de lenguaje pequeños decodifiquen el significado semántico continuo a partir de la actividad cerebral, probablemente requieran un ajuste fino (finetuning) en conjuntos de datos alineados de texto y actividad cerebral (que actualmente no existen en código abierto) y mecanismos arquitectónicos más efectivos para aislar las regiones cerebrales relevantes.