Presupposition and Reasoning in Conditionals: A Theory-Based Study of Humans and LLMs

Resumen Técnico: Presuposición y Razonamiento en Condicionales: Un Estudio Basado en Teoría de Humanos y Modelos de Lenguaje Grande

Declaración del Problema
El artículo aborda una brecha crítica en la evaluación de los Modelos de Lenguaje Grande (LLMs) respecto a su competencia pragmática, específicamente en el dominio de la proyección de presuposiciones dentro de oraciones condicionales. Si bien las teorías del significado y la pragmática han debatido durante mucho tiempo el "problema de la reserva" —cómo se interpretan las presuposiciones desencadenadas en el consecuente de un condicional (por ejemplo, "Si Juan es un buceador, traerá su traje de neopreno") como incondicionales o condicionadas al antecedente—, este fenómeno permanece en gran medida sin evaluar en los LLMs. Las pruebas de referencia existentes a menudo dependen de razonamiento de implicación simple o tareas de clasificación que no logran capturar la compleja interacción entre semántica, contexto discursivo, razonamiento probabilístico y conocimiento del mundo requerida para resolver estas proyecciones. Los autores argumentan que las evaluaciones actuales no distinguen suficientemente entre modelos que comprenden genuinamente las restricciones pragmáticas y aquellos que dependen de la coincidencia de patrones a nivel superficial.

Metodología
El estudio emplea un diseño conductual paralelo que compara los juicios humanos contra cuatro LLMs (GPT-5, Gemini-2.5-flash, Llama-3.1-8B-Instruct y Qwen2.5-7B-Instruct) utilizando un conjunto de datos normalizado de 90 oraciones condicionales.

1. Construcción de Datos: Los autores construyeron un conjunto de datos basado en 30 proposiciones base (por ejemplo, tener un traje de neopreno, tener una hermana) instanciadas en tres variantes que manipulan la relación lógica y probabilística entre el antecedente ($A$) y la presuposición ($p$). Un estudio de normalización con 30 hablantes nativos de inglés estableció niveles graduales de relevancia $A$-$p$ (alta, media, baja) y probabilidad de la proposición.
2. Condiciones Experimentales: Tanto humanos ($N=120$) como LLMs evaluaron la probabilidad de que la presuposición fuera verdadera en una escala Likert de 0 a 7 bajo dos condiciones:
   • Sin Contexto: Encuadre mínimo.
   • Con Contexto: Información de fondo identificadora añadida (por ejemplo, "La persona es de Toronto") para probar cómo el contexto mínimo modula la fiabilidad evidencial y el razonamiento de relevancia.
3. Marco LLM-como-Juez: Para ir más allá de las métricas de precisión, los autores desarrollaron una lista de verificación informada por la teoría, fundamentada en semántica formal (por ejemplo, Semántica Dinámica, Pragmática Griceana, Teoría de la Acomodación). Un modelo juez (Claude-haiku-4) evaluó las trazas de razonamiento de Cadenas de Pensamiento (CoT) de los modelos objetivo frente a 52–59 criterios binarios que abarcan dimensiones como Precisión, Integración de Contexto, Criterios Pragmáticos, Manejo de Presuposiciones y Coherencia.
4. Validación: Un subconjunto de las evaluaciones del juez fue validado por expertos lingüistas humanos, logrando un 89 % de acuerdo inter-annotador y un 79,46 % de acuerdo con el modelo juez.

Resultados Clave

• Comportamiento Humano: Los juicios humanos integran señales probabilísticas y pragmáticas de forma no aditiva. Cuando el antecedente es irrelevante para la presuposición, los humanos dependen fuertemente de la probabilidad previa (conocimiento del mundo). Sin embargo, incluso una relevancia parcial actúa como un umbral que aumenta significativamente las calificaciones de probabilidad, lo que sugiere una sensibilidad a la relevancia que supera las tasas base en contextos específicos. La información contextual refinó esta integración, conduciendo a distinciones más graduales entre los niveles de relevancia.
• Alineación Humano-LLM: Los LLMs mostraron una alineación variable con los patrones humanos.
  • Qwen2.5-7B-IT y Llama-3.1-8B-Instruct demostraron la correlación más fuerte con las calificaciones Likert humanas ($\rho$ de Spearman $\approx 0,30\text{--}0,38$) y el menor Error Absoluto Medio (MAE).
  • GPT-5 y Gemini-2.5-flash mostraron una alineación más débil o inconsistente, con GPT-5 sin mostrar correlación significativa en ninguna condición.
• Razonamiento vs. Rendimiento (La Disociación): Un hallazgo crítico es la disociación entre la alineación conductual y la calidad del razonamiento.
  • Los modelos con la mayor alineación conductual con los humanos (por ejemplo, Qwen2.5-7B-IT) a menudo exhibieron el menor cumplimiento con la lista de verificación informada por la teoría. Su razonamiento dependía frecuentemente de asociaciones léxicas superficiales en lugar de restricciones pragmáticas formales.
  • Por el contrario, los modelos propietarios más grandes (GPT-5, Gemini) generaron trazas de razonamiento más consistentes con las expectativas teóricas (puntuaciones de lista de verificación más altas), pero produjeron juicios finales de probabilidad que se desviaron más significativamente de los patrones humanos.
• Efectos del Contexto: Proporcionar contexto mínimo generalmente mejoró el cumplimiento de la lista de verificación para los modelos más pequeños, pero introdujo "ruido de razonamiento" para algunos, lo que llevó a una reducción de la coherencia en sus explicaciones.

Contribuciones Clave

1. Prueba de Referencia Impulsada por la Teoría: El artículo introduce un conjunto de datos controlado y un diseño experimental dirigidos específicamente al problema de la reserva en condicionales, llenando una brecha en las pruebas de referencia existentes de NLI y presuposición que a menudo carecen de profundidad pragmática.
2. LLM-como-Juez para la Pragmática: Propone y valida un marco de evaluación basado en listas de verificación que descompone la competencia pragmática en criterios interpretables y fundamentados en la teoría, ofreciendo una visión más matizada del razonamiento del modelo que las puntuaciones de precisión por sí solas.
3. Evidencia Empírica de Brechas de Competencia: El estudio proporciona evidencia empírica de que la alta alineación conductual en los LLMs puede resultar de la coincidencia de patrones probabilísticos en los datos de entrenamiento en lugar de una competencia pragmática estable, como lo demuestra la desconexión entre calificaciones similares a las humanas y razonamiento consistente con la teoría.

Significado y Afirmaciones
Los autores afirman que sus hallazgos destacan las limitaciones de los LLMs actuales al manejar fenómenos pragmáticos complejos. El artículo argumenta que el rendimiento en tareas como la proyección de presuposiciones puede reflejar "coincidencia de patrones superficiales" en lugar de una comprensión pragmática genuina. Al demostrar que los modelos que mejor imitan los juicios humanos a menudo carecen de razonamiento pragmático coherente, el estudio sugiere que las pruebas de referencia actuales basadas únicamente en la precisión de la salida son insuficientes para evaluar la competencia semántica y pragmática. Los autores concluyen que las pruebas de referencia fundamentadas en la teoría lingüística son esenciales para distinguir entre la alineación estadística superficial y las verdaderas capacidades de razonamiento, y que el trabajo futuro debe abordar la disociación entre la similitud conductual y la validez teórica.