Evaluating Pragmatic Reasoning in Large Language Models: Evidence from Scalar Diversity

Resumen Técnico: Evaluación del Razonamiento Pragmático en Modelos de Lenguaje Grandes: Evidencia desde la Diversidad Escalar

Planteamiento del Problema
Evaluar el razonamiento pragmático en Modelos de Lenguaje Grandes (LLM) sigue siendo un desafío significativo debido a la variabilidad del comportamiento de los modelos a través de diferentes métodos de evaluación. Investigaciones previas sugieren una divergencia entre los juicios basados en instrucciones y las distribuciones de probabilidad internas de un modelo, planteando la cuestión de si la competencia pragmática observada refleja conocimiento lingüístico subyacente o si es meramente un artefacto del comportamiento inducido por la tarea. Si bien la implicatura escalar (la inferencia de que un término más débil, por ejemplo, "algunos", implica la negación de una alternativa más fuerte, por ejemplo, "no todos") es un diagnóstico estándar para la capacidad pragmática, estudios anteriores a menudo se basan en pares escalares únicos o paradigmas de evaluación únicos. Este estudio aborda la necesidad de comparar sistemáticamente los métodos de evaluación para determinar si los LLM poseen una competencia pragmática estable o si su rendimiento depende de estructuras específicas de instrucciones y tareas.

Metodología
El estudio adopta el marco competencia–rendimiento (Chomsky, 1965), distinguiendo entre el conocimiento internalizado (competencia) y el uso del lenguaje bajo condiciones específicas (rendimiento). Utiliza la diversidad escalar—el fenómeno donde la fuerza de las implicaturas escalares varía a través de diferentes escalas léxicas (por ejemplo, <algunos, todos> vs. <tibio, caliente>)—como una herramienta de diagnóstico graduada.

• Modelos: El estudio evalúa dos familias de modelos distintas para comparar los efectos arquitectónicos:
  • Flan-T5: Una familia de codificador–decodificador ajustada por instrucciones (Pequeño, Base, Grande).
  • Qwen2: Una familia de solo decodificador ajustada por instrucciones (0.5B, 1.5B, 7B parámetros).
• Materiales: El conjunto de datos se adaptó de Ronai y Xiang (2024) y se expandió utilizando GPT-4o para incluir 60 pares escalares léxicos, resultando en 6,000 ítems distintos. Cada ítem consiste en una oración ancla y dos interpretaciones candidatas: un "Objetivo-Sí" (inferencia pragmática) y un "Objetivo-No" (interpretación lógica).
• Paradigmas de Evaluación: Se compararon dos métodos principales:
  1. Medición Directa de Probabilidad: Cálculo de probabilidades condicionales $P(\text{candidato} | \text{ancla})$ para determinar la preferencia interna del modelo sin instrucciones explícitas.
  2. Instrucción Metalingüística: Tres variaciones de instrucciones (MetaSimple, MetaInstruct, MetaCompleja) que requieren que el modelo juzgue o seleccione explícitamente la inferencia válida.
• Condiciones Experimentales:
  • Experimento A (Juicio de Oración): El modelo evalúa una oración candidata única frente a la ancla (Sí/No).
  • Experimento B (Comparación de Oraciones): El modelo selecciona entre dos oraciones candidatas simultáneamente.

Resultados Clave
Los resultados indican que ningún método de evaluación supera consistentemente al otro, y el comportamiento pragmático es altamente sensible a la arquitectura del modelo, el tamaño y la estructura de la tarea.

• Divergencia de Métodos: Las mediciones directas de probabilidad y la instrucción metalingüística produjeron resultados débilmente correlacionados ($r \approx .10 - .25$). En muchos casos, las correlaciones estuvieron cerca de cero o fueron negativas, lo que sugiere que los dos métodos capturan aspectos fundamentalmente diferentes del comportamiento del modelo.
• Disparidades en la Precisión:
  • Modelos Qwen: Exhibieron un patrón polarizado. Las estimaciones directas de probabilidad fueron consistentemente muy bajas, mientras que la instrucción metalingüística arrojó una precisión extremadamente alta (a menudo cerca del techo en el Experimento B).
  • Modelos Flan-T5: Mostraron patrones más moderados, con estimaciones directas de probabilidad que se mantuvieron relativamente más altas y ocasionalmente superaron instrucciones metalingüísticas específicas.
• Gradientes de Diversidad Escalar: El estudio analizó la precisión a nivel de ítem para detectar gradientes a través de los 60 pares escalares.
  • Flan-T5: Generalmente mostró gradientes más claros (valores de pendiente entre -1 y -2) bajo instrucción metalingüística, particularmente en modelos más grandes, lo que indica sensibilidad a la variación en la fuerza de las implicaturas.
  • Qwen: Mostró patrones inconsistentes. Si bien algunas condiciones en el Experimento A mostraron gradientes fuertes, muchas condiciones en el Experimento B produjeron curvas casi planas (pendiente $\approx 0$), lo que sugiere que el modelo asignó interpretaciones uniformes independientemente de la fuerza escalar.
• Estructura de la Tarea: El Experimento B (basado en comparación) arrojó consistentemente una mayor precisión que el Experimento A (juicio único) en casi todos los modelos, lo que sugiere que las tareas comparativas proporcionan señales más fuertes para el enriquecimiento pragmático.
• Efectos de Escala: Los efectos de escala no fueron uniformes. Flan-T5 mostró una tendencia positiva donde los modelos más grandes funcionaron mejor. Los modelos Qwen no mostraron una tendencia de escala consistente; los modelos más grandes no superaron sistemáticamente a los más pequeños y a veces funcionaron peor.

Contribuciones Clave

1. Comparación Sistemática: El estudio proporciona una comparación directa de la medición de probabilidad directa y la instrucción metalingüística dentro de los mismos modelos para el razonamiento pragmático, extendiendo el marco competencia–rendimiento más allá de fenómenos lingüísticos locales.
2. Diversidad Escalar como Diagnóstico: Al utilizar una amplia gama de pares escalares en lugar de un solo par (por ejemplo, <algunos, todos>), el estudio ofrece una evaluación más detallada de la competencia pragmática, revelando que los modelos no capturan uniformemente la naturaleza graduada de las implicaturas escalares.
3. Sensibilidad Arquitectónica y de Tarea: Los hallazgos destacan que el razonamiento pragmático en los LLM no es una capacidad estable y monolítica, sino una interacción entre representaciones probabilísticas internas y el encuadre externo de la tarea.

Significado y Afirmaciones
El artículo concluye que el razonamiento pragmático en los LLM no puede atribuirse a un único paradigma de evaluación. Ni la medición directa de probabilidad ni la instrucción metalingüística capturan consistentemente la "verdadera" competencia pragmática de un modelo. En cambio, el comportamiento pragmático observado refleja una interacción entre representaciones probabilísticas internas y respuestas inducidas por las instrucciones.

Los autores argumentan que la presencia o ausencia de gradientes de diversidad escalar depende en gran medida de la combinación específica de arquitectura del modelo, estrategia de instrucción y diseño experimental. En consecuencia, interpretar las capacidades pragmáticas de los LLM requiere una consideración cuidadosa del diseño de la evaluación, ya que un modelo puede parecer competente bajo una condición (por ejemplo, instrucciones específicas) mientras carece de la sensibilidad subyacente a la diversidad escalar en otra (por ejemplo, probabilidad directa). Esto desafía la noción de una única medida estable de competencia pragmática en los LLM.