A Dual-Task Paradigm to Investigate Sentence Comprehension Strategies in Language Models

1. Planteamiento del Problema

Aunque los Modelos de Lenguaje Grandes (LLM) han demostrado comportamientos similares a los humanos cuando sus recursos cognitivos se ven restringidos (por ejemplo, al predecir tiempos de lectura), sigue sin estar claro si estas restricciones alteran sus estrategias de comprensión de oraciones. Específicamente, ¿los LLM, al igual que los humanos, se desplazan hacia la inferencia racional (priorizando la plausibilidad semántica sobre la estructura gramatical estricta) bajo una alta carga cognitiva?

Los métodos existentes para restringir los LLM (por ejemplo, truncar la longitud de entrada o reducir los parámetros del modelo) adolecen de limitaciones metodológicas:

• A menudo no logran replicar el equilibrio dinámico entre el almacenamiento de memoria y el procesamiento que caracteriza a la memoria de trabajo humana.
• Suelen comparar diferentes configuraciones de modelos en lugar de observar cómo un único modelo adapta su estrategia bajo condiciones variables.

2. Metodología

2.1 El Paradigma de Doble Tarea

Los autores proponen un nuevo paradigma experimental inspirado en las tareas de Amplitud de Operación de la psicolingüística humana. En esta configuración, los LLM deben realizar simultáneamente dos tareas:

1. Comprensión de Oraciones: Responder preguntas de Sí/No sobre una oración.
2. Cálculo Aritmético: Resolver problemas aritméticos intercalados dentro de la oración.

El formato de entrada intercala palabras y problemas matemáticos (por ejemplo, "El 2 cóctel + mezclado 3 = ..."). Los modelos se prueban bajo tres condiciones:

• Tarea Única: Leer una oración y responder una pregunta (sin matemáticas).
• Tarea Única Ruidosa: Leer una oración con matemáticas incrustadas pero ignorar las matemáticas y responder la pregunta.
• Doble Tarea: Leer la oración, resolver los problemas matemáticos y luego responder la pregunta de comprensión.

2.2 Conjunto de Datos y Estímulos

• Fuente: Un subconjunto del conjunto de datos GELP (Asami y Sugawara, 2024).
• Variables:
  • Plausibilidad: Las oraciones son Plausibles (por ejemplo, "El barman mezcló el cóctel") o Implausibles (por ejemplo, "El cóctel mezcló al barman").
  • Construcción: Se probaron seis estructuras sintácticas (Transitiva, Pasiva, Dativa, Sujeto Experienciador, Objeto Experienciador, Benefactivo).
  • Aritmética: Diez tipos de problemas de suma que varían en longitud de dígitos (1, 3, 5, 10, 30 dígitos) y número de sumandos (2 o 3).
• Datos Totales: 2.560 pares de oración-pregunta.

2.3 Modelos y Participantes Humanos

• LLM Evaluados: GPT-4o, o3-mini, o4-mini, GPT-4.1, DeepSeek-V3, Llama-3.3 y Gemma-3.
  • Criterios de Selección: Los modelos se filtraron para asegurar >70% de precisión en oraciones implausibles de Tarea Única y >80% de precisión en aritmética de 1 dígito en la Doble Tarea.
• Experimento Humano: 33 hablantes nativos de inglés reclutados a través de Prolific. Realizaron las mismas tareas (limitadas a aritmética de 1 dígito debido a la dificultad), proporcionando una línea base para los efectos de la carga cognitiva humana.

2.4 Métricas de Evaluación

El estudio utiliza un enfoque de diferencia en diferencias para medir el "efecto de plausibilidad" (la brecha de precisión entre oraciones plausibles e implausibles).

• Hipótesis: Si un modelo adopta la inferencia racional bajo carga, la brecha de precisión entre oraciones plausibles e implausibles debería ampliarse en la Doble Tarea en comparación con las tareas Única/Ruidosa. Esto se debe a que el modelo fallará más a menudo en oraciones implausibles (interpretándolas erróneamente como plausibles) mientras mantiene una alta precisión en las plausibles.

3. Resultados Clave

3.1 Desplazamiento hacia la Inferencia Racional

• GPT-4o, o3-mini y o4-mini mostraron un desplazamiento significativo hacia la inferencia racional bajo la condición de Doble Tarea.
  • Estos modelos mostraron una brecha de precisión mayor entre oraciones plausibles e implausibles en la Doble Tarea en comparación con las tareas Única/Ruidosa.
  • Específicamente, su precisión en oraciones implausibles disminuyó significativamente en la Doble Tarea, mientras que la precisión en oraciones plausibles se mantuvo alta. Esto indica que comenzaron a interpretar oraciones implausibles basándose en el conocimiento del mundo (por ejemplo, tratando "El cóctel mezcló al barman" como "El barman mezcló el cóctel") en lugar de la estructura sintáctica.
• Otros Modelos (GPT-4.1, DeepSeek-V3, Llama-3.3, Gemma-3): Mostraron una precisión reducida tanto en las tareas Ruidosa como Doble, pero no mostraron un aumento distintivo en la brecha de plausibilidad, lo que sugiere que dependieron de modos de fallo diferentes o no cambiaron de estrategia con tanta fuerza.

3.2 Patrones de Error Específicos

• Vulnerabilidad Sintáctica: Los modelos más propensos a errores de inferencia racional (GPT-4o, o3-mini, o4-mini) tuvieron mayores dificultades con las construcciones Pasiva, Dativa y Benefactiva.
  • Razonamiento: Cuando las palabras funcionales (por ejemplo, "por", "a", "para") se ignoran debido a la carga cognitiva, las palabras de contenido restantes a menudo forman una secuencia semánticamente plausible (por ejemplo, "barman mezclar cóctel"). Los modelos dependen del orden superficial de las palabras y del conocimiento del mundo en lugar de las palabras funcionales.
• Sesgo de Aceptación: Los errores fueron más frecuentes cuando la respuesta correcta era "No". Los modelos tendían a responder "Sí" (aceptación), reflejando el sesgo humano de "decir sí" bajo carga cognitiva.
• Escalado de Carga Cognitiva: Las tasas de error aumentaron con la complejidad de la aritmética (por ejemplo, problemas de 30 dígitos), confirmando que el efecto es impulsado por el agotamiento de recursos.

3.3 Comparación Humana

Los participantes humanos mostraron el mismo patrón: menor precisión general y una brecha de plausibilidad significativamente mayor en la Doble Tarea (diferencia de 0.064) en comparación con las tareas Única (0.025) y Ruidosa (0.035). Esto valida que el comportamiento de los LLM refleja las limitaciones cognitivas humanas.

4. Contribuciones Clave

1. Paradigma Novel: Introducción de un Paradigma de Doble Tarea que restringe efectivamente el equilibrio entre el almacenamiento de memoria y el procesamiento en los LLM, imitando la memoria de trabajo humana con mayor precisión que las restricciones anteriores basadas en longitud o parámetros.
2. Evidencia de Inferencia Racional: Demostración de que LLM avanzados específicos (GPT-4o, o3-mini, o4-mini) se desplazan hacia la inferencia racional (priorizando la plausibilidad sobre la sintaxis) cuando los recursos cognitivos están sobrecargados, un comportamiento observado previamente principalmente en humanos.
3. Identificación de Mecanismos: Identificación de que bajo carga, los modelos dependen de secuencias superficiales de palabras y conocimiento del mundo mientras descuidan las palabras funcionales, particularmente en estructuras sintácticas complejas como las pasivas y dativas.
4. Extensión Teórica: Ampliación de la comprensión de la comprensión del lenguaje similar a la humana desde "costos de lectura" (velocidad de procesamiento) hasta "estrategias de lectura" (lógica de interpretación), apoyando la visión de que la asignación de recursos es fundamental para la comprensión similar a la humana.

5. Significado e Implicaciones

• Modelado Cognitivo: El estudio proporciona evidencia sólida de que los LLM no son solo coincidentes de patrones estadísticos, sino que utilizan mecanismos análogos a la memoria de trabajo humana. Cuando estos recursos se ven tensionados, exhiben las mismas estrategias de procesamiento "suficientemente buenos" que los humanos.
• Seguridad y Fiabilidad: Los hallazgos sugieren que bajo una alta carga cognitiva (por ejemplo, razonamiento multi-paso complejo), los LLM pueden degradar sus capacidades de procesamiento sintáctico, lo que lleva a alucinaciones donde fuerzan interpretaciones semánticamente plausibles pero fácticamente incorrectas.
• Investigación Futura: El paradigma ofrece una herramienta robusta para investigar los mecanismos internos de los LLM (por ejemplo, mecanismos de atención como memoria de trabajo) y para realizar comparaciones más rigurosas entre humanos y LLM.

Conclusión

El artículo concluye que la carga cognitiva inducida por la tarea, y no solo la longitud de entrada, es un factor crítico en la restricción de los LLM. Al obligar a los modelos a equilibrar el almacenamiento de memoria (resolver matemáticas) con el procesamiento (comprender oraciones), el estudio revela que los LLM avanzados adoptan estrategias de inferencia racional similares a las humanas, priorizando la plausibilidad semántica cuando sus recursos cognitivos son insuficientes para mantener un análisis sintáctico estricto.