How Hypocritical Is Your LLM judge? Listener-Speaker Asymmetries in the Pragmatic Competence of Large Language Models

Resumen Técnico: Asimetrías entre Evaluador y Generador en la Competencia Pragmática de los LLM

1. Planteamiento del Problema

Las Grandes Modelos de Lenguaje (LLM) se evalúan cada vez más como repositorios de conocimiento lingüístico, desempeñando dos roles principales:

1. Generadores (Hablar): Producir lenguaje contextualmente apropiado.
2. Evaluadores (Escuchar): Juzgar la adecuación pragmática de un lenguaje generado por otros (el paradigma LLM-as-a-judge).

El problema central identificado por los autores es que la relación entre estos dos roles rara vez se examina de manera directa. Existe una suposición implícita en la literatura actual de que el éxito en la evaluación (escuchar) se correlaciona con el éxito en la generación (hablar). Sin embargo, en la psicolingüística humana, la comprensión y la producción son habilidades relacionadas pero no idénticas; a menudo, los humanos pueden reconocer errores pragmáticos sin ser capaces de producir la corrección adecuada. Los autores cuestionan si esta asimetría también existe en los LLM y si la capacidad de juzgar un enunciado garantiza la capacidad de generarlo correctamente.

2. Metodología

Los autores diseñaron un experimento comparativo que evalúa a múltiples modelos LLM en dos condiciones complementarias sobre los mismos ítems:

• Tareas Pragmáticas: Se seleccionaron tres dominios que requieren razonamiento pragmático:

  1. Presuposiciones Falsas (False Presuppositions): Identificar y rechazar suposiciones falsas en preguntas (ej. "¿Qué edad tiene el actual rey de Francia?").
  2. Antipresuposiciones (Antipresuppositions): Seleccionar el determinante correcto (definido vs. indefinido) basándose en el principio de "Maximizar la Presuposición" (MP!), donde un artículo definido es preferible si el contexto lo permite.
  3. Razonamiento Deductivo: Determinar si una conclusión sigue lógicamente de un conjunto de premisas.

• Condiciones de Evaluación:

  • Condición de Hablante (Speaker): El modelo debe generar la respuesta pragmáticamente correcta (o la palabra faltante).
  • Condición de Escucha (Listener): El modelo recibe la pregunta, la presuposición (o contexto) y una respuesta generada (a veces correcta, a veces incorrecta), y debe juzgar si es apropiada (Binario: Adecuado/Inadecuado).

• Modelos Evaluados: Se probaron 14 modelos contemporáneos (multilingües), incluyendo modelos de peso abierto (LLaMA-3, Qwen, Phi, OLMo, Mistral) y sistemas propietarios (GPT-4o, GPT-5, Claude Sonnet 4.5).

• Métricas:

  • Precisión agregada para hablante y oyente.
  • Análisis condicional a nivel de ítem: Cálculo de la probabilidad de que una generación sea correcta dado que el juicio fue correcto ($P(\text{hablante} | \text{escucha}=1)$) y viceversa. Se utilizó la diferencia condicional ($\Delta_{cond}$) para medir la fuerza de la predicción.

3. Contribuciones Clave

1. Evidencia de Asimetría Robusta: Demostraron sistemáticamente que existe una desconexión significativa entre la capacidad de un LLM para juzgar la adecuación pragmática y su capacidad para generar dicha adecuación.
2. Desacoplamiento de Habilidades: Probaron que el éxito en tareas de tipo "evaluador" no es un proxy confiable para la competencia generativa en el mismo dominio.
3. Crítica al Paradigma LLM-as-a-judge: Cuestionan la validez de usar modelos únicamente como evaluadores automáticos sin verificar su capacidad generativa, sugiriendo que un modelo puede ser un "juez competente" pero un "generador deficiente".

4. Resultados Principales

• Asimetría General: La mayoría de los modelos obtienen una precisión significativamente mayor como oyentes (evaluadores) que como hablantes (generadores).

  • En la tarea de Presuposiciones Falsas, la diferencia es más pronunciada. Modelos como Mistral-7B y LLaMA-8B tienen una precisión de generación cercana a cero, pero logran precisión moderada al juzgar si una respuesta es correcta.
  • En Antipresuposiciones, la asimetría persiste incluso en configuraciones de generación restringida (selección de una palabra entre dos opciones). Modelos como Qwen-3 y Mistral-7B muestran ventajas de oyente de hasta +0.56 en precisión.
  • En Razonamiento Deductivo, la dispersión es mayor. Los modelos de código abierto (OLMo, LLaMA) suelen juzgar mejor de lo que generan. Sin embargo, algunos modelos propietarios grandes (GPT-5, GPT-4.1) muestran patrones inversos o simétricos, aunque incluso estos no son perfectamente alineados.

• Falta de Correlación a Nivel de Ítem:

  • El análisis condicional revela que un juicio correcto no predice una generación exitosa en el mismo ítem.
  • En tareas de Antipresuposiciones, para muchos modelos, la precisión de generación es menor en los ítems que juzgaron correctamente que en los que juzgaron incorrectamente ($\Delta_{cond}$ negativo). Esto sugiere que reconocer la violación pragmática no facilita (y a veces interfiere con) la producción de la corrección.
  • Solo en modelos propietarios muy grandes (GPT-4o, GPT-5) y en ciertas tareas (Presuposiciones Falsas) se observa una correlación positiva moderada, pero no es la norma.

• Problemas de Seguimiento de Instrucciones:

  • Muchos modelos fallaron en seguir las restricciones de formato en la condición de "Escucha" (ej. no explicar la respuesta, usar solo una letra), lo que llevó a una baja precisión de evaluación no por falta de conocimiento pragmático, sino por fallos en la instrucción. Esto pone en duda la fiabilidad de los LLM como evaluadores automáticos sin un post-procesamiento estricto.

5. Significado e Implicaciones

• Revisión de las Prácticas de Evaluación: El artículo desafía la suposición de que las puntuaciones en benchmarks de comprensión o evaluación reflejan la competencia generativa subyacente. Las evaluaciones actuales que se basan únicamente en tareas de "escucha" (clasificación, selección múltiple) pueden estar sobrestimando la competencia pragmática real de un modelo.
• Necesidad de Evaluación Integrada: Se propone que las futuras evaluaciones de LLM deben tratar la generación y la evaluación como capacidades distintas que deben medirse conjuntamente, en lugar de usar una como proxy de la otra.
• Paralelismo con la Psicolingüística: Los resultados respaldan la teoría de que, al igual que en humanos, la comprensión y la producción en IA son procesos cognitivos (o computacionales) distintos con demandas de procesamiento diferentes.
• Advertencia sobre el LLM-as-a-judge: La prevalencia de asimetrías y fallos en el seguimiento de instrucciones sugiere que el uso de LLM como evaluadores automáticos debe validarse cuidadosamente para cada tarea específica, ya que un modelo puede ser un mal generador pero un buen juez (o viceversa), o fallar en ambos roles de maneras no correlacionadas.

En conclusión, el estudio demuestra que los LLM actuales son a menudo "hipócritas pragmáticos": pueden identificar correctamente qué es apropiado o no, pero fallan sistemáticamente al intentar producir esa misma adecuación, revelando una brecha fundamental en su competencia lingüística integrada.