Diverging Transformer Predictions for Human Sentence Processing: A Comprehensive Analysis of Agreement Attraction Effects

1. El Problema

Aunque los modelos de lenguaje basados en transformadores (Transformers) dominan el estado del arte en lingüística computacional, su adecuación cognitiva como modelos del procesamiento de oraciones humano sigue siendo objeto de debate.

• Contexto: Estudios previos han sugerido que los modelos neuronales pueden replicar patrones de tiempo de lectura humana en fenómenos como la "atracción de concordancia" (agreement attraction), donde un sustantivo gramaticalmente irrelevante interfiere en el procesamiento de la concordancia verbo-sujeto.
• Limitaciones de trabajos anteriores:
  1. Se han centrado casi exclusivamente en construcciones de frases preposicionales, ignorando otras estructuras sintácticas complejas como las cláusulas relativas extraídas del objeto.
  2. A menudo solo han probado configuraciones donde el efecto de atracción debería ocurrir, sin verificar la ausencia de efectos en configuraciones donde no deberían aparecer (falta de asimetrías críticas).
  3. Se han limitado a modelos individuales (generalmente GPT-2), sin evaluar la generalización a través de diferentes familias y tamaños de modelos.
  4. Algunos estudios han incluido modelos bidireccionales (como BERT), que son cognitivamente implausibles para el procesamiento en línea (left-to-right).

El objetivo de este trabajo es determinar si los transformadores autoregresivos actuales pueden explicar consistentemente el procesamiento morfosintáctico humano a través de un diseño experimental más riguroso y exhaustivo.

---

2. Metodología

Los autores diseñaron un estudio comparativo utilizando un mecanismo de vinculación basado en la sorpresa (surprisal) para evaluar once modelos transformadores autoregresivos de diferentes tamaños y arquitecturas.

• Datos Humanos de Referencia: Se utilizaron tiempos de lectura de experimentos de auto-ritmo (self-paced reading) de Wagers et al. (2009), considerados el estándar de oro para la atracción de concordancia en inglés.
• Diseño Experimental: Se probaron dos construcciones sintácticas distintas, cada una con un diseño factorial 2x2x2 (8 configuraciones):
  1. Experimento 1 (Construcción de Modificador Preposicional): Ej. "The key to the cabinet(s) were...".
  2. Experimento 2 (Construcción de Cláusula Relativa Extraída del Objeto): Ej. "The marine(s) who the officer(s) want...".
  • Variables manipuladas: Número del sujeto (singular/plural), gramaticalidad (gramatical/agramatical) y presencia de un sustantivo distractor (atracción).
• Modelos Evaluados: Se seleccionaron 11 modelos pre-entrenados (sin ajuste de instrucciones) de cuatro familias (GPT, GPT-2, Bloom, XGLM, Gemma-3), con tamaños de parámetros entre 124M y 4B. Se priorizaron modelos autoregresivos para simular la lectura izquierda-a-derecha.
• Métrica de Predicción: Se calculó la sorpresa (bits) del verbo objetivo como el logaritmo negativo de la probabilidad condicional dada la historia previa. La teoría asume una relación lineal entre la sorpresa y el tiempo de lectura.
• Análisis Estadístico:
  • Pruebas t apareadas para efectos individuales.
  • Modelos de regresión lineal para evaluar asimetrías a nivel de población (Singular-Plural y Gramatical-Agramatical).
  • Modelos de efectos mixtos para analizar tendencias globales y el impacto del tamaño del modelo.

---

3. Contribuciones Clave

1. Ampliación del Escenario Sintáctico: Es el primer estudio que evalúa sistemáticamente la atracción de concordancia en cláusulas relativas extraídas del objeto, una estructura donde los resultados previos de transformadores eran desconocidos.
2. Evaluación Exhaustiva de Modelos: Se analiza un conjunto diverso de 11 modelos de diferentes familias y tamaños, permitiendo distinguir entre hallazgos específicos de un modelo y tendencias generales de la arquitectura.
3. Diseño de Control Riguroso: Se evalúan explícitamente las configuraciones donde los efectos de atracción no deberían ocurrir (sujetos plurales, oraciones gramaticales) para verificar si los modelos replican las asimetrías humanas completas.
4. Propuesta Metodológica: Se argumenta que las evaluaciones cognitivas de modelos de lenguaje deben evitar generalizaciones espurias basadas en configuraciones sintácticas aisladas o modelos individuales.

---

4. Resultados

Experimento 1: Modificadores Preposicionales

• Concordancia con Humanos: Los resultados fueron altamente consistentes con los datos humanos y con investigaciones anteriores.
• Patrón Observado: Los modelos predijeron correctamente un efecto de atracción facilitador (menor sorpresa) únicamente en la configuración agramatical con sujeto singular (ej. "The key to the cabinets were...").
• Asimetrías: La mayoría de los modelos respetaron las asimetrías humanas (ausencia de efecto en sujetos plurales o oraciones gramaticales), aunque algunos modelos predijeron efectos facilitadores en sujetos plurales agramaticales que no se observan en humanos.
• Conclusión: En esta estructura, los transformadores parecen capturar el procesamiento morfosintáctico humano de manera fiable.

Experimento 2: Cláusulas Relativas Extraídas del Objeto

• Divergencia Crítica: Los resultados fueron caóticos y divergentes. Las predicciones de los modelos no solo se desviaron de los datos humanos, sino que también variaron enormemente entre diferentes modelos.
• Fallo en la Replicación: Ningún modelo replicó fielmente el patrón de efectos asimétricos observado en humanos.
  • Muchos modelos predijeron efectos de atracción facilitadores en configuraciones donde la teoría y los datos humanos predicen inhibición o ningún efecto (ej. sujetos plurales en oraciones gramaticales).
  • Gemma-3 (modelos grandes) se desviaron drásticamente de los patrones humanos, mientras que modelos más pequeños como GPT mostraron un ajuste ligeramente mejor, pero aún insuficiente.
• Inconsistencia: No hubo una tendencia general consistente en el conjunto de modelos que pudiera explicar el procesamiento humano en esta estructura compleja.

---

5. Significado y Conclusiones

• Cuestionamiento de la Adecuación Cognitiva: El estudio concluye que los modelos transformadores actuales no explican el procesamiento morfosintáctico humano de manera completa. Su capacidad para replicar fenómenos cognitivos parece depender fuertemente de la complejidad de la estructura sintáctica.
• Límites de la Generalización: Los resultados demuestran que es peligroso generalizar las capacidades cognitivas de los LLMs basándose en configuraciones sintácticas simples (como frases preposicionales) o en un solo modelo. Lo que funciona en una estructura no garantiza éxito en otra.
• Explicaciones Potenciales:
  • Los modelos podrían estar aprendiendo a imitar patrones de error superficiales presentes en los corpus de entrenamiento en lugar de poseer sesgos inductivos cognitivos similares a los humanos.
  • Las operaciones de "bajo nivel" de almacenamiento y recuperación en la memoria de trabajo humana (cruciales para la atracción) podrían no corresponderse naturalmente con las arquitecturas de transformadores, especialmente en estructuras sintácticas complejas.
• Recomendaciones Futuras: Se insta a la comunidad a adoptar diseños experimentales más rigurosos que incluyan múltiples estructuras sintácticas, diversas familias de modelos y análisis estadísticos multinivel para evitar conclusiones prematuras sobre la inteligencia cognitiva de los modelos de lenguaje.

En resumen, mientras que los transformadores muestran un rendimiento prometedor en estructuras sintácticas simples, fallan estrepitosamente al intentar modelar el procesamiento humano en estructuras de cláusulas relativas complejas, lo que sugiere limitaciones fundamentales en su capacidad para capturar la cognición lingüística humana.