Recovering Lesion Parameters from Aphasic Picture Naming Error Profiles in Large Language Models

Resumen Técnico: Recuperación de Parámetros de Lesión a partir de Perfiles de Error de Denominación de Imágenes en Afasia

Planteamiento del Problema
Los métodos actuales de interpretabilidad para los Modelos de Lenguaje de Gran Escala (LLM) —incluyendo clasificadores de sondeo, visualización de atención, rastreo causal y parcheo de activación— describen principalmente los estados internos del modelo y sus correlaciones con el comportamiento. Sin embargo, estos métodos no prueban directamente si un estado interno inferido es causalmente suficiente para producir el comportamiento observado. Identifican qué correlaciona con el comportamiento, no qué, si se interviniera sobre ello, lo produciría. Este artículo aborda esta brecha planteando una pregunta inversa: dado un output conductual específico (un perfil de error de denominación de imágenes afásico), ¿se pueden recuperar los parámetros de lesión específicos (índice de capa, porcentaje de modificación y magnitud del ruido) que lo produjeron? Además, ¿revela la estructura de este problema inverso propiedades fundamentales de la computación de los transformadores?

Metodología
El estudio utiliza el modelo multimodal LLaVA-Vicuna 1.6 13B (que combina un codificador de visión CLIP y un decodificador de lenguaje Vicuna de 40 capas). La metodología implica una fase de perturbación directa seguida de una fase de mapeo inverso.

1. Perturbación Directa (Generación de Datos):

   • Espacio de Parámetros: Los autores definieron una cuadrícula de 4,840 configuraciones que varían tres parámetros:
     • Índice de Capa ($L$): 0–39 (solo capas del decodificador de lenguaje).
     • Porcentaje de Modificación ($M$): 0–100% (fracción de unidades ocultas afectadas).
     • Sigma de Ruido ($\sigma$): 1.0–2.0 (intensidad del ruido gaussiano).
   • Mecanismo de Lesión: Para una configuración dada $(L, M, \sigma)$, los pesos en la capa $L$ asociados con una fracción $M$ de las unidades ocultas fueron modificados multiplicándolos por $(1 + \varepsilon)$, donde $\varepsilon \sim N(0, \sigma^2)$.
   • Output Conductual: Cada modelo perturbado fue evaluado mediante la Prueba de Denominación de Filadelfia (PNT) de 175 ítems. Las respuestas se clasificaron en una taxonomía clínica de siete tipos de error: correcto, semántico, no relacionado, formal, mixto, neologismo y sin respuesta.
   • Extracción de Características: El input del modelo inverso fue un vector de 166 dimensiones que comprende:
     • Nivel 1: Tasas de error clasificadas por BERT.
     • Nivel 2: 5 estadísticas derivadas (ej. tasa de error total, entropía).
     • Nivel 3: 12 estadísticas a nivel de texto (longitud, clases de caracteres).
     • Nivel 4: 10 momentos de probabilidad (métricas de incertidumbre).
     • Nivel 5: 8 características de diversidad léxica.
     • Nivel 6: 116 estadísticas de embeddings de sentence-transformer.
   • Conjuntos de Datos: Los 4,840 configuraciones se dividieron en 70/15/15 para entrenamiento, validación y prueba. Se generó un conjunto de validación independiente utilizando una semilla aleatoria distinta para evitar la fuga de datos. Además, se utilizaron datos conductuales de 278 supervivientes de accidentes cerebrovasculares (dataset CSTAR) para pruebas fuera de la distribución (out-of-distribution).

2. Arquitectura del Modelo Inverso:

   • Se entrenó una red neuronal multitarea para mapear el perfil conductual de 166 dimensiones de vuelta a los tres parámetros de perturbación.
   • Codificador: Tres bloques totalmente conectados (256 $\to$ 128 $\to$ 64 unidades) con normalización por lotes, ReLU y dropout.
   • Cabezales (Heads):
     • Cabezal de Capa: Una capa lineal para clasificación de 40 vías (pérdida de Entropía Cruzada).
     • Cabezales de Intensidad: Dos cabezales de regresión paralelos para el Porcentaje de Modificación y el Sigma de Ruido, utilizando una pérdida de log-verosimilitud negativa gaussiana heterocedástica para predecir la media y la varianza.
   • Entrenamiento: Optimizado con AdamW durante 500 épocas. La pérdida total es una suma ponderada de las tres pérdidas de las tareas.

3. Marco de Validación:

   • Validación Contrafactual: Para verificar la suficiencia causal, los parámetros predichos por el modelo inverso se aplicaron a una instancia nueva y no perturbada del modelo LLaVA-Vicuna. El perfil de error resultante se comparó con el perfil objetivo original utilizando similitud de coseno y correlación de Pearson. Una alta fidelidad se definió como similitud > 0.85 y correlación > 0.90.
   • Aplicación Clínica: El modelo inverso entrenado (sin reentrenamiento) se aplicó a los 278 supervivientes de accidentes cerebrovasculares para probar si los parámetros recuperados podían discriminar entre síndromes clínicos de afasia (ej. Broca, Anómica, Global).

Resultados Clave

1. Recuperación Parcial de Parámetros:

   • La Intensidad es Recuperable: El modelo recuperó con éxito la intensidad de la perturbación. La predicción del porcentaje de modificación logró $R^2 = 0.570$ y Pearson $r = 0.771$. La predicción del sigma de ruido logró $R^2 = 0.315$ y $r = 0.581$.
   • La Localización es Ambigua: La predicción del índice de capa fue significativamente menos precisa. La precisión Top-1 fue del 14.8% (el azar es 2.5%), aunque la precisión dentro de un rango de 5 fue del 77.6% (el azar es 27.5%). Esto sugiere que el modelo puede identificar el entorno de la lesión, pero no la capa exacta.

2. Fidelidad Contrafactual:

   • A pesar de la dificultad para precisar la capa exacta, los parámetros recuperados fueron causalmente suficientes para reproducir el comportamiento objetivo. En el conjunto de validación de cuadrícula completa independiente (4,840 configuraciones), el 81.4% de los casos logró una reproducción de alta fidelidad.
   • Crucialmente, las predicciones con índices de capa incorrectos pero con la intensidad correcta a menudo produjeron reconstrucciones de alta fidelidad. Por el contrario, una intensidad incorrecta condujo a una baja fidelidad incluso si la capa era la correcta. Esto indica que la intensidad de la perturbación es el determinante principal de la fidelidad conductual, mientras que la localización es secundaria.

3. Redundancia Funcional:

   • La disociación entre la baja precisión de recuperación de la capa y la alta fidelidad contrafactual sugiere una redundancia funcional a través de las capas del transformador. Muchas capas de la parte media del stack producen huellas conductuales funcionalmente equivalentes cuando se perturban a intensidades similares.
   • El análisis por capa mostró un patrón asimétrico en forma de U: las capas en la interfaz de embedding (0–2) y la interfaz de salida (36–39) fueron más recuperables que las del medio (3–35), lo cual es consistente con la localización de la información en los límites de la red.

4. Generalización Clínica (Fuera de la Distribución):

   • Cuando se aplicó a 278 supervivientes de accidentes cerebrovasculares, los parámetros recuperados por el modelo inverso fueron discriminativos de síndromes.
   • Porcentaje de Modificación: Mostró la mayor discriminación ($\eta^2 = 0.288$), con gradientes de severidad que se alinean con los síndromes clínicos (ej. la afasia Global y de Broca se mapearon con porcentajes de modificación más altos que la Anómica o los controles).
   • Índice de Capa: Mostró una discriminación moderada ($\eta^2 = 0.130$), con los síndromes no fluidos más severos mapeándose hacia las capas iniciales.
   • Sigma de Ruido: No discriminó significativamente entre síndromes.
   • Los análisis de sensibilidad a través de cinco esquemas de agrupación diferentes confirmaron que estos hallazgos son robustos y no están impulsados únicamente por los contrastes con el grupo de control o tamaños de muestra pequeños.

Significado y Reivindicaciones

El artículo afirma establecer un marco metodológico general para la interpretabilidad de los LLM basado en la validación contrafactual. Sus contribuciones principales son:

• Prueba de Suficiencia Causal: Va más allá de la interpretabilidad correlacional al demostrar que los estados internos inferidos (parámetros de lesión) pueden recuperarse y reaplicarse para reproducir comportamientos específicos.
• Perspectiva Arquitectónica: Los resultados revelan una propiedad de la arquitectura de los transformadores no capturada por los métodos de interpretabilidad estándar: la redundancia funcional. El hallazgo de que el comportamiento está determinado más por cuánto se perturba una capa que por qué capa se perturba, desafía la suposición de que comportamientos específicos se mapean de forma única a capas específicas.
• Puente entre Datos Sintéticos y Clínicos: El estudio demuestra que un modelo inverso entrenado enteramente en perturbaciones sintéticas de LLM puede generalizarse a datos clínicos reales de afasia, recuperando parámetros que se alinean con los síndromes clínicos establecidos. Esto sugiere que el mapeo aprendido de comportamiento-a-perturbación captura propiedades estructurales del procesamiento del lenguaje que trascienden la distribución de entrenamiento específica del LLM.

Los autores señalan modestamente que estos hallazgos son una "prueba de existencia" para un modelo multimodal específico (LLaVA-Vicuna 13B) y que el grado de recuperabilidad puede variar entre diferentes arquitecturas de transformadores. No pretenden haber mapeado capas específicas del transformador a regiones cerebrales específicas, sino que la estructura del problema inverso revela propiedades computacionales del propio modelo.