Measuring Judgment Quality in Natural-Language Explanations: Evidence from Forecasting Tournaments

Resumen Técnico: Medición de la Calidad del Juicio en Explicaciones de Lenguaje Natural

Planteamiento del Problema
Los tomadores de decisiones dependen rutinariamente de juicios expertos acompañados de explicaciones escritas (por ejemplo, memorandos de inteligencia, tesis de inversión) para evaluar qué juicios deben confiar. Sin embargo, la calidad de estas explicaciones es difícil de medir sistemáticamente a escala. Si bien investigaciones previas han identificado rasgos de un razonamiento probabilístico sólido —como la atención a las tasas base, la apertura a evidencia disconfirmatoria y la resistencia a los sesgos cognitivos—, medir estas características en texto no estructurado ha requerido históricamente una codificación experta laboriosa, proxies automatizados toscos o herramientas limitadas a un solo constructo teórico. Además, en la mayoría de los dominios, la falta de una "verdad fundamental" clara sobre la exactitud del juicio dificulta vincular empíricamente la calidad de la explicación con el desempeño.

Metodología
Los autores aprovechan los torneos de pronósticos como un campo de prueba natural donde los juicios probabilísticos se emparejan con razonamientos escritos y se califican frente a los resultados realizados. El estudio utiliza datos del torneo de Estimación Contingente Agregativa (ACE, por sus siglas en inglés) (2011–2015), que comprende más de 55,000 pares de pronóstico-razonamiento, y valida los hallazgos en un conjunto de datos independiente (estudio de Dinámica de Equipos).

La innovación metodológica central es la introducción de los Marcadores de Calidad de la Explicación (EQM, por sus siglas en inglés), un conjunto de sesenta patrones de razonamiento guiados por la teoría y calificados por Modelos de Lenguaje de Gran Escala (LLM).

• Desarrollo de Patrones: Los 60 patrones de EQM se derivan de la literatura sobre juicio y decisión y se organizan en seis familias: Sesgo y Emoción, Razonamiento Analítico, Alineación y Disciplina, Obtención de Evidencia, Razonamiento Integrativo y Encuadre Cognitivo, y Actitud y Gestión de la Incertidumbre. Cada patrón se define en lenguaje natural con una hipótesis direccional respecto a su asociación con la exactitud (positiva, negativa o neutral).
• Pipeline de Calificación: Un LLM (GPT-4o) califica cada razonamiento en una escala de tres puntos (0: sin evidencia; 1: algo de evidencia; 2: evidencia clara) para todos los 60 patrones simultáneamente en una sola llamada de API para proporcionar contexto de desambiguación.
• Calificación Compuesta: Los 60 puntajes de los patrones se convierten en un único puntaje de calidad compuesto mediante una regresión LASSO, entrenada para predecir la exactitud realizada.
• Benchmarks (Puntos de Referencia): El enfoque EQM se compara contra:
  1. Métodos pre-LLM: Incluyendo diccionarios lingüísticos (LIWC), medidas de legibilidad, puntuaciones de sentimiento y clasificadores específicos para el razonamiento de "perspectiva externa" (Uso de Clase de Comparación).
  2. Calificaciones Humanas: Calificaciones de utilidad proporcionadas por pronosticadores pares en el torneo ACE.
  3. Indicadores Tradicionales: Exactitud previa, tamaño de la actualización y frecuencia de pronóstico.

Resultados Clave
El estudio se organiza en cuatro análisis:

1. Poder Predictivo vs. Métodos Pre-LLM:

   • Los puntajes compuestos de EQM superan significativamente a los métodos de análisis de texto pre-LLM en la predicción de la exactitud, tanto a nivel de pronóstico ($r = .19$ vs. $r = .06$) como a nivel de pronosticador ($r = .51$ vs. $r = .39$).
   • Más del 90% de las correlaciones de los niveles de patrón estadísticamente significativas coinciden con las hipótesis direccionales de los autores.
   • La señal predictiva es asimétrica: los EQM son más confiables para identificar posibles subdesempeños (razonamientos de baja calidad) que para distinguir a los mejores pronosticadores.

2. Comparación con Indicadores Tradicionales:

   • A nivel de pronóstico, los EQM son el predictor más fuerte disponible, superando incluso la exactitud del año anterior.
   • A nivel de pronosticador, la exactitud del año anterior sigue siendo el predictor más fuerte ($r = .70$), pero los EQM son competitivos con indicadores conductuales como el tamaño de la actualización ($r = .55$) y superan significativamente a los métodos pre-LLM.
   • En tareas de agregación de multitudes, clasificar a los pronosticadores según los puntajes de EQM a nivel de pronosticador mejora la exactitud agregada, mientras que clasificar los pronósticos individuales según el EQM a nivel de pronóstico ofrece poco beneficio más allá de filtrar los juicios más débiles.

3. Comparación con Calificaciones Humanas:

   • Las calificaciones humanas de la calidad del razonamiento están menos consistentemente correlacionadas con la exactitud que los EQM (Nivel de pronóstico: $r = .07$ vs. $r = .23$; Nivel de pronosticador: $r = .40$ vs. $r = .50$).
   • Los calificadores humanos otorgan un peso desproporcionado a la longitud del razonamiento (la raíz cuadrada del recuento de palabras se correlaciona con las calificaciones humanas con $r = .62$), una característica que está esencialmente no correlacionada con la exactitud del pronóstico.
   • La confiabilidad inter-evaluador para las calificaciones humanas es baja (promedio de $\kappa$ de Cohen = .24), mientras que el acuerdo entre diferentes LLM que califican los mismos patrones es sustancialmente mayor ($\kappa = .56$).

4. Transferencia Fuera de la Muestra:

   • Los modelos EQM entrenados con los datos de ACE se transfieren efectivamente a un conjunto de datos independiente (estudio de Dinámica de Equipos) con preguntas, pronosticadores y formatos de elicitación diferentes (cuantiles vs. probabilidades).
   • Las correlaciones fuera de la muestra siguen siendo robustas (Nivel de pronóstico: $r = .16$; Nivel de pronosticador: $r = .46$), lo que sugiere que el marco captura patrones de razonamiento generalizables en lugar de datos memorizados.

Significancia y Reivindicaciones
El artículo reivindica tres contribuciones primarias:

1. Metodológica: Introduce los EQM como un marco de medición escalable y guiado por la teoría que aprovecha los LLM para extraer información relevante para el juicio de los razonamientos escritos, superando las limitaciones de las herramientas de PLN pre-LLM.
2. Empírica: Demuestra que este enfoque basado en LLM es más predictivo de la exactitud del juicio que tanto los métodos tradicionales de análisis de texto como las calificaciones humanas.
3. Práctica: Establece la utilidad de los EQM para la detección de juicios. El método requiere solo un razonamiento escrito y ningún historial de desempeño previo, lo que lo hace aplicable en entornos de elicitación de una sola vez donde los datos de desempeño histórico no están disponibles.

Los autores señalan limitaciones, incluyendo que los razonamientos son un proxy imperfecto del razonamiento interno (debido al conocimiento tácito o la justificación post-hoc) y que los hallazgos son correlacionales. Sin embargo, sugieren que el marco ofrece una herramienta portátil para convertir texto no estructurado en características explícitas y testeables de la calidad del juicio a través de diversos dominios.