Sparse Autoencoders Map Brain-LLM Alignment onto Cortical Semantic Topography

Resumen Técnico: Los Autoencoders Escasos Mapean la Alineación Cerebro-LLM sobre la Topografía Semántica Cortical

Planteamiento del Problema
Un hallazgo robusto en la neurolingüística computacional es que las capas intermedias de los Modelos de Lenguaje Grandes (LLM) predicen mejor las respuestas cerebrales humanas al lenguaje, formando una relación de "U invertida" a través de la profundidad del modelo. Sin embargo, la razón mecánica de esta alineación permanece sin explicación. Las teorías existentes proponen tres explicaciones no mutuamente excluyentes: (1) Procesamiento predictivo, donde las capas intermedias generan errores de predicción similares a los del cerebro; (2) Descubrimiento de características, donde las capas intermedias contienen las representaciones semánticas más ricas antes de la especialización de las capas tardías; y (3) Artefactos geométricos, donde las capas intermedias poseen representaciones de mayor dimensión y decodificables linealmente. Trabajos anteriores han establecido que el contenido semántico domina la alineación cerebral a nivel agregado, pero carece de la granularidad para determinar qué características semánticas específicas impulsan la alineación y dónde se mapean en la corteza.

Metodología
Los autores vinculan la interpretabilidad mecánica y la codificación neural descomponiendo las representaciones de los LLM en características interpretables mediante Autoencoders Escasos (SAE).

1. Descomposición del Modelo: Los SAE se entrenaron en cada cuarta capa de GPT-2 XL (1.5B de parámetros) y Llama-3.1-8B (8B de parámetros), extrayendo 16,000–32,000 características por capa. Los modelos se entrenaron con 500M de tokens con una reconstrucción $R^2 \geq 0.95$.
2. Categorización de Características: Un protocolo de dos pasos clasificó las características en cinco tipos: Semánticas, Sintácticas, Léxicas, Predicción y Otras.
   • Paso 1: Clasificación automatizada mediante GPT-4.
   • Paso 2: Validación humana por dos estudiantes de posgrado ($\kappa$ de Cohen = 0.81).
3. Datos Neuronales y Codificación: El estudio utilizó el conjunto de datos fMRI de UTS (8 hablantes nativos de inglés, 27 historias naturalistas). Se ajustaron modelos de regresión ridge a nivel de vóxel para predecir las respuestas fMRI a partir de subconjuntos de características. Se utilizó la partición de la varianza para aislar contribuciones únicas frente a líneas base aleatorias coincidentes en conteo y varianza.
4. Predicción Topográfica A Priori: Para evitar la coincidencia de patrones post-hoc, los autores derivaron cinco subcategorías semánticas (Concreción/Animacidad, Estructura de Eventos, Afecto/Emoción, Social/Mental, Espacial/Localización) y sus regiones corticales predichas a priori al intersectar hallazgos de tres programas independientes de neurociencia: Binder et al. (2009), Huth et al. (2016) y Deniz et al. (2019).
5. Validación:
   • Prueba de Convergencia: La correlación de rango de Spearman y las pruebas de solapamiento hipergeométrico compararon el mapeo observado de características de SAE a región contra las predicciones a priori.
   • Causal/Conductual: El parche de activación (ablación) y los Modelos Mixtos Lineales Generalizados (GLMM) en conjuntos de datos de tiempo de lectura (Natural Stories, Provo Corpus) se utilizaron para validar el papel causal y la relevancia conductual de las características semánticas.

Contribuciones Clave

1. Descomposición a Nivel de Características de la Ventaja de las Capas Intermedias: El estudio demuestra que solo las características semánticas recuperan el 94% del rendimiento de codificación máximo ($r=0.285$) logrado por las activaciones reconstruidas completas del SAE, superando sustancialmente a las líneas base aleatorias coincidentes en varianza ($p<0.001, d=1.31$). Esto confirma que el contenido semántico, y no la estructura sintáctica o la dimensionalidad geométrica, es el impulsor principal de la alineación cerebro-LLM.
2. Validación Formal de la Topografía Semántica Cortical: El artículo proporciona la primera evidencia de que las características descubiertas por SAE recapitulan la organización semántica cortical conocida con una granularidad inaccesible para métodos anteriores. Una prueba formal de convergencia confirmó que el mapeo observado de cinco subcategorías semánticas a cinco regiones cerebrales coincide significativamente con las predicciones a priori derivadas de la literatura independiente de neurociencia ($\rho$ de Spearman = 0.72, $p<0.001$; Hipergeométrico $p=0.007$).
3. Evidencia Conductual y Causal:
   • Tiempos de Lectura: Las características semánticas de SAE predicen los tiempos de lectura humanos más allá de los controles léxicos y las normas semánticas estándar a nivel de palabra ($\Delta \log Lik = 38.4, p<0.001$).
   • Parche de Activación: La ablación de características semánticas en la capa pico (L24 para GPT-2 XL) provocó una caída significativa en el rendimiento de codificación ($\Delta r^2 = -0.14$), proporcionando evidencia consistente con un papel causal para estas características.
4. Generalización: Los hallazgos se generalizan a través de idiomas (inglés, chino, francés) y modelos (GPT-2 XL, Llama-3.1-8B).

Resultados

• Capas Intermedias: Ambos modelos exhibieron un perfil de U invertida, alcanzando su punto máximo en L20–24 para GPT-2 XL y L12–16 para Llama-3.1-8B.
• Dominio Semántico: Las características semánticas explicaron el 88% de la varianza neural capturada por el modelo. Las características léxicas contribuyeron con una varianza única insignificante ($\Delta R^2 \approx 0.000$), a pesar de ser una parte significativa de las características de las capas tempranas.
• Alineación Topográfica: Las subcategorías específicas se mapearon a regiones específicas según lo predicho:
  • Concreción/Animacidad $\rightarrow$ Corteza temporal posterior y Giro angular.
  • Afecto/Emoción $\rightarrow$ Corteza temporal anterior y dmPFC.
  • Social/Mental $\rightarrow$ Corteza frontal inferior y corteza temporal anterior.
  • Espacial $\rightarrow$ Giro angular.
• Error de Predicción: Un análisis exploratorio sugirió que el cerebro también puede codificar contenido semántico inesperado (errores de predicción), ya que combinar la semántica cruda con errores de predicción mejoró el rendimiento de codificación ($\Delta r = +0.018, p<0.01$).
• Comparación con Normas: Las características de SAE superaron a las normas semánticas simples a nivel de palabra (por ejemplo, concreción, valencia) tanto en rendimiento de codificación ($r=0.285$ vs. $0.194$) como en convergencia topográfica ($\rho=0.72$ vs. $0.31$), destacando la importancia de representaciones contextuales y de granularidad fina.

Significado y Afirmaciones
El artículo afirma transformar la pregunta de la alineación cerebro-LLM de "si" la semántica impulsa la relación a "qué características semánticas específicas impulsan la alineación y dónde en el cerebro".

• Perspectiva Mecanística: Los autores argumentan que la ventaja de las capas intermedias refleja un pico en la riqueza semántica antes de que el modelo se especialice para el objetivo de entrenamiento (predicción del siguiente token) en las capas posteriores.
• Convergencia Neurocientífica: Los resultados apoyan la arquitectura de eje y radios de la memoria semántica, mostrando que los LLM descubren espontáneamente una topografía cortical que converge con la neuroanatomía humana.
• Avance Metodológico: Al aplicar SAE a datos neuronales, el estudio va más allá de las medidas agregadas para proporcionar una explicación a nivel de características que vincula las representaciones computacionales con mecanismos neurobiológicos específicos. Los autores posicionan esto como una única explicación a nivel de características que abarca dos regularidades empíricas previamente desconectadas: la ventaja de las capas intermedias y la organización semántica cortical.

Limitaciones Reconocidas por los Autores
El artículo señala varias limitaciones, incluyendo:

• El uso de GPT-4 para el etiquetado de características puede introducir sesgos compartidos (mitigado por validación humana y verificaciones cruzadas entre LLM).
• La ablación de medias es una intervención gruesa para afirmaciones causales.
• La resolución de fMRI ($\sim2$s) confunde la semántica a nivel de palabra y la semántica composicional.
• El estudio es una verificación de generalización a través de tres idiomas (todos con cabeza inicial) en lugar de una prueba lingüística transversal exhaustiva.
• El análisis de errores de predicción es un proxy simplificado para la codificación predictiva jerárquica completa.