Lesioned Multimodal Language Models Reproduce Aphasic Picture-Naming Patterns

Resumen Técnico: Los modelos de lenguaje multimodales lesionados reproducen los patrones de denominación de imágenes de la afasia

Planteamiento del problema
La afasia tras un accidente cerebrovascular produce patrones de error sistemáticos y no aleatorios en la producción del lenguaje, caracterizados por perfiles específicos como errores semánticos, parafasias formales y neologismos. Aunque los esfuerzos computacionales previos han modelado estos errores utilizando arquitecturas conexionistas diseñadas específicamente con un ajuste de parámetros propio de la tarea, aún no se ha comprobado si los modelos de lenguaje multimodales de propósito general y gran escala pueden reproducir estos perfiles de error clínicos sin haber sido diseñados para la simulación clínica. Una cuestión central es si el "espacio de perturbación" de un modelo de propósito general contiene trayectorias que puedan replicar las distribuciones conjuntas de errores de individuos con afasia (IPAs), sirviendo así como potenciales análogos cognitivos del procesamiento del lenguaje humano.

Metodología
El estudio utiliza el modelo de lenguaje multimodal LLaVA 1.6, seleccionado por sus pesos abiertos, su arquitectura transparente (un codificador visual CLIP que alimenta un núcleo de lenguaje Vicuna-13B) y la ausencia de dispositivos arquitectónicos intervinientes como expertos con compuerta (gated experts). El diseño experimental consiste en un protocolo de perturbación controlado aplicado a las representaciones internas del modelo durante una tarea estandarizada de denominación de imágenes, la Prueba de Denominación de Filadelfia (PNT).

• Protocolo de perturbación: Los investigadores aplicaron ruido gaussiano multiplicativo a "unidades" específicas (dimensiones ocultas) dentro de las 40 capas del decodificador transformer del modelo. La perturbación se define mediante un triplete de parámetros:

  1. Capa objetivo ($l$): Una de las 40 capas del decodificador (0–39).
  2. Proporción de modificación ($p$): La fracción de unidades en la capa objetivo seleccionadas aleatoriamente para la perturbación (10% a 100%).
  3. Nivel de ruido ($\sigma$): La desviación estándar del ruido gaussiano (1.1 a 2.0).
     Esto crea un espacio de parámetros de 4,000 condiciones ($40 \text{ capas} \times 10 \text{ proporciones} \times 10 \text{ niveles de ruido}$).

• Datos y Clasificación: El estudio evaluó a 278 IPAs del conjunto de datos C-STAR. Las salidas del modelo se clasificaron en siete categorías que reflejan las taxonomías clínicas: Correcto, Semántico, Formal, Mixto, No relacionado, Neologismo y Sin respuesta. Para asegurar la consistencia metodológica entre las salidas del modelo y los datos clínicos, se entrenó un clasificador neuronal aumentado por características (basado en DeBERTa-v3-small) con 3,160 respuestas anotadas por expertos. Este clasificador logró un acuerdo "Casi Perfecto" (Kappa de Cohen = 0.87) con expertos humanos, superando notablemente a los métodos basados en reglas en la detección de errores de "Sin respuesta".

• Análisis de Coincidencia: Para cada IPA, los investigadores buscaron en el espacio de perturbación la configuración $(l, p, \sigma)$ que mejor reprodujera la distribución conjunta de errores del paciente a través de las siete categorías. La coincidencia se evaluó frente a un umbral de tolerancia derivado de la retestificación (2 DE) y se validó contra bases de referencia de Monte Carlo para asegurar que los resultados reflejaran la estructura conjunta intercategórica y no un simple solapamiento marginal.

Resultos Clave

1. Reproducción de Categorías de Error: Las perturbaciones controladas generaron con éxito seis de las siete categorías de error clínico (Correcto, Semántico, No relacionado, Mixto, Neologismo, Sin respuesta) en proporciones clínicamente comparables. Regiones distintas en el espacio de parámetros se asociaron con tipos de error específicos (por ejemplo, las capas inferiores con alto ruido produjeron errores de "Sin respuesta", mientras que las capas superiores produjeron "Neologismos").

   • Excepción: Las parafasias formales (palabras reales fonológicamente similares) fueron sistemáticamente subproducidas en el modelo (alcanzando un máximo de ~3.5% de las respuestas) en comparación con los perfiles clínicos donde pueden ser predominantes. Los autores atribuyen esto al acceso al vocabulario a nivel de token del modelo, que favorece la generación de cadenas no léxicas fonológicamente relacionadas (neologismos) sobre la recuperación de vecinos de palabras reales específicos.

2. Coincidencia de Perfiles Individuales: El marco de perturbación reprodujo con éxito los perfiles de error completos de los IPAs individuales.

   • El 97.8% de los IPAs tuvo una configuración que coincidió con al menos seis de siete categorías de error dentro de la tolerancia.
   • El 79.5% de los IPAs tuvo una configuración que coincidió con todas las siete categorías.
   • Las bases de referencia de Monte Carlo confirmaron que estas coincidencias no se debieron al azar; la base de referencia de "Selección Real" (que preserva la estructura conjunta) superó a la base de referencia "Generada" (que preserva solo los marginales) por un factor de 1.35 en el umbral de coincidencia de alta calidad, lo que indica que la variedad de perturbación del modelo captura la compleja estructura conjunta de los errores afásicos.

3. Sensibilidad de los Parámetros: El parámetro "capa" actuó como el eje primario de diferenciación. Perturbar las capas tempranas (0–9) condujo a un colapso rápido hacia salidas de sin respuesta, mientras que perturbar las capas tardías (30–39) permitió una transición gradual desde respuestas correctas hacia errores semánticos y neologismos.

Significancia y Reivindicaciones
El artículo establece un marco cuantitativo para reproducir los patrones de error de denominación de imágenes de la afasia individual utilizando un modelo de lenguaje multimodal de propósito general. Los autores sostienen que:

• Los modelos de propósito general, cuando se someten a perturbaciones focales controladas, pueden exhibir distribuciones de error en el espacio de salida que coinciden con las de sobrevivientes de accidentes cerebrovasculares individuales sin necesidad de un diseño específico para la tarea o un ajuste de parámetros por paciente.
• Esta capacidad sugiere que tales modelos pueden servir como "gemelos digitales" de individuos con afasia post-ictus.
• El trabajo demuestra el potencial de los modelos de lenguaje no solo como herramientas computacionales, sino como modelos cognitivos del procesamiento del lenguaje en el cerebro humano.
• El marco ofrece una base para futuros estudios traslacionales, como la prueba y el desarrollo de terapias, mediante la caracterización de perfiles de error individuales en un espacio conductual compacto definido por los parámetros de perturbación.

Los autores limitan explícitamente sus afirmaciones a la correspondencia en el espacio de salida. No aseguran que las perturbaciones específicas aplicadas al modelo sean biológicamente equivalentes a las lesiones neuronales en los pacientes, ni afirman que el modelo replique los mecanismos subyacentes de la recuperación u otros dominios del lenguaje (por ejemplo, comprensión, repetición) más allá del alcance de la tarea de denominación de imágenes. El fallo residual en la modelización de las parafasias formales se identifica como una limitación arquitectónica del acceso al léxico del modelo específico, no como un fallo fundamental del enfoque.