Artificial Aphasias in Lesioned Language Models

Resumen Técnico: Afasias Artificiales en Modelos de Lenguaje Lesionados

Problema y Motivación
Los neuropsicólogos han utilizado durante mucho tiempo el daño cerebral de origen natural (afasias) para mapear la organización funcional del lenguaje humano, vinculando regiones cerebrales específicas con perfiles de síntomas distintos. Concurrentemente, los investigadores en interpretabilidad mecánica intervienen en modelos de lenguaje (ML), a menudo silenciando pesos o activaciones, para estudiar las correspondencias emergentes entre estructura y función. Sin embargo, estas dos comunidades han operado en gran medida de forma independiente. Aunque trabajos recientes han intentado inducir subtipos de afasia humana (por ejemplo, de Broca, de Wernicke) en ML mediante la lesión, estos estudios a menudo dependen de etiquetas categóricas gruesas que pueden oscurecer la heterogeneidad sustancial en los patrones de síntomas.

Este artículo introduce una técnica inspirada en la afasia para caracterizar la organización funcional emergente de los ML de manera más granular. Los autores argumentan que, en lugar de mapear los ML hacia categorías clínicas amplias, los investigadores deberían perfilar distribuciones detalladas de síntomas para comprender cómo contribuyen componentes específicos del modelo a los fallos en el procesamiento del lenguaje. El estudio busca determinar si los ML lesionados exhiben organizaciones funcionales similares a las humanas o si sus modos de fallo son distintos, restringiendo así las hipótesis sobre por qué los síntomas de afasia humana se organizan como lo hacen.

Metodología
Los autores inducen "afasias artificiales" mediante la "lesión" (puesta a cero) de matrices de parámetros específicas en arquitecturas Transformer de solo decodificador. La configuración experimental implica:

• Modelos: Cinco variantes de modelos de ~1 mil millones de parámetros en tres familias: Llama 3.2, Gemma 3 y OLMo 2.
• Objetivos de Lesión: Se dirigen siete componentes específicos a través de las capas: las matrices de Consulta (Q), Clave (K), Valor (V) y Salida (O) del mecanismo de atención, y las matrices de Puerta (Gate), Ascendente (Up) y Descendente (Down) de la red de alimentación hacia adelante (FFN).
• Severidad: Las lesiones se aplican en cinco niveles de severidad ($s \in \{0, 0.25, 0.50, 0.75, 1.0\}$), donde $s$ representa la fracción esperada de pesos puestos a cero.
• Evaluación: Las salidas se califican utilizando el Batería de Afasia de Texto (TAB), un punto de referencia diseñado específicamente para ML de solo texto. El TAB asigna 21 síntomas binarios en cinco categorías: Semántico, Sintáctico, Fluidez, Fonológico y Otro (incluyendo bucles de repetición, estereotipias y respuestas fuera de tema).
• Comparación: El estudio compara 112.426 salidas calificadas de ML lesionados contra 6.000 producciones del corpus AphasiaBank (que cubre varios subtipos de afasia humana y controles).
• Análisis Estadístico: Los autores emplean métodos no paramétricos, incluido el bootstrapping a nivel de condición, pruebas de cambio de signo emparejadas y pruebas de permutación, para evaluar las diferencias en los perfiles de síntomas entre componentes y frente a las líneas base humanas.

Resultados Clave

1. Perfiles Funcionales Distintos para Atención vs. FFN: Las lesiones a los mecanismos de atención y a las redes de alimentación hacia adelante producen perfiles de síntomas sistemáticamente diferentes.

   • Lesiones en FFN: Desplazan las salidas hacia contenidos vagos ("Significado poco claro"), cadenas cortas o formulaicas, respuestas fuera de tema y bucles de repetición. Aumentan desproporcionadamente los síntomas en las categorías Semántica y "Otro".
   • Lesiones en Atención: Deterioran desproporcionadamente los aspectos fonológicos y de fluidez (por ejemplo, parafasias fonémicas, habla entrecortada).
   • Subestructura: Dentro de la atención, Q/K y V/O forman cohortes distintas con efectos similares. Dentro del FFN, las lesiones en Down causan la mayor carga de síntomas, mientras que las lesiones en Gate a menudo reducen las salidas a solo puntuación o palabras funcionales repetidas.

2. Localización de Síntomas Dependiente de la Profundidad: La capa en la que ocurre una lesión moldea significativamente el perfil de síntomas.

   • Capas Tempranas: Las lesiones en las capas tempranas causan desproporcionadamente déficits semánticos y sintácticos.
   • Capas Tardías-Medianas: Las lesiones en las capas posteriores producen tasas más altas de déficits fonológicos y de fluidez.
   • Necesidad vs. Contenido: Esto contrasta con los estudios de decodificación cerebral que a menudo encuentran alineación en capas medias a tardías; aquí, las capas tempranas parecen ser causalmente más necesarias para la función central, mientras que las capas posteriores manejan refinamientos más granulares.

3. Divergencia de la Afasia Humana: Aunque algunas lesiones en ML producen perfiles de síntomas que descriptivamente se acercan más a ciertos subtipos de afasia humana que otros, existen diferencias cualitativas fundamentales:

   • Composición de Síntomas: Los humanos exhiben tasas más altas de síntomas semánticos y sintácticos, mientras que los ML lesionados sobreproducen síntomas de la categoría "Otro" (bucles de repetición, texto fuera de tema).
   • Carga de Síntomas: Los humanos generalmente tienen una carga de síntomas general más alta que los ML lesionados.
   • Co-ocurrencia: La afasia humana muestra patrones densos de co-ocurrencia de síntomas (por ejemplo, síndromes específicos), mientras que los ML muestran estructuras de co-ocurrencia menos claras.
   • Conclusión: El artículo encuentra que, aunque existe cierta estructura compartida, la organización funcional emergente de los ML Transformer es cualitativamente distinta del cerebro humano. Los síntomas de afasia parecen ser propiedades contingentes de los detalles específicos de aprendizaje y procesamiento del cerebro humano, en lugar de una consecuencia invariante de dominio del procesamiento del lenguaje interrumpido.

Significancia y Afirmaciones
El artículo hace cuatro contribuciones principales:

1. Prueba de Concepto: Establece una "neuropsicología" para los ML utilizando el TAB para perfilar modos de fallo detallados en lugar de depender de etiquetas diagnósticas gruesas.
2. Diferenciación Funcional: Identifica diferencias funcionales fiables entre los mecanismos de atención y FFN a través de múltiples arquitecturas de modelos.
3. Efectos de Profundidad: Revela que los déficits semánticos y sintácticos se localizan fiablemente en capas anteriores, mientras que los déficits fonológicos y de fluidez emergen en capas posteriores.
4. Matices sobre la Convergencia: Refina las afirmaciones anteriores de convergencia entre las afasias de ML y humanas. Aunque existen algunas similitudes superficiales, el artículo argumenta que los patrones detallados de síntomas sugieren que los síndromes de afasia humana no son inherentes a la estructura del lenguaje en sí, sino que son específicos de la implementación biológica del procesamiento del lenguaje.

Los autores declaran explícitamente que no afirman que los ML posean afasia clínica. En cambio, utilizan el marco clínico como un sistema de coordenadas para estudiar la función emergente. Los resultados sugieren que, aunque las lesiones en ML pueden producir fallos clínicamente legibles, la organización subyacente difiere significativamente del cerebro humano, advirtiendo contra la equiparación directa de componentes de transformadores con regiones cerebrales humanas.