Multiple Choice Questions: Reasoning Makes Large Language Models (LLMs) More Self-Confident, Especially When They are Wrong

Resumen Técnico: Preguntas de Opción Múltiple: El Razonamiento Hace que los Modelos de Lenguaje Grande (LLMs) sean Más Autoconfidentes, Especialmente Cuando Están Mal

Planteamiento del Problema
La evaluación de los Modelos de Lenguaje Grande (LLMs) depende frecuentemente de benchmarks de Preguntas de Opción Múltiple (MCQ). Aunque la precisión es la métrica estándar, esta no logra capturar la confianza del modelo en sus respuestas. La confianza se estima a menudo utilizando la probabilidad (logprobs) asignada al token seleccionado. Existe una brecha crítica en la comprensión de cómo la estrategia de respuesta —específicamente, el uso de la técnica de Prompting de Cadena de Pensamiento (CoT) frente a la respuesta directa— afecta estas estimaciones de confianza. No está claro si los pasos de razonamiento mejoran genuinamente la calibración de la confianza o si introducen sesgos sistemáticos, particularmente en lo que respecta a la fiabilidad de las puntuaciones de confianza para respuestas incorrectas.

Metodología
Los autores realizaron una evaluación exhaustiva en siete LLMs (incluyendo LLaMA3.1-8B y LLaMA3.2-11B de Meta, Mistral-7B, Gemma-2-9B de Google, Yi-1.5-9B de 01.AI, y GPT-4o-mini y GPT-4o de OpenAI) utilizando el benchmark de Comprensión del Lenguaje Masivo Multitarea (MMLU). MMLU abarca 57 materias distintas y más de 15,000 preguntas.

El estudio comparó dos condiciones de prompting para cada modelo:

1. Prompting Directo: Se instruye al modelo para que solo outpute la letra de la solución en un formato estructurado, sin texto intermedio.
2. Prompting de Cadena de Pensamiento (CoT): Se instruye al modelo para que "piense paso a paso" (proporcionando al menos tres pasos de razonamiento) antes de outputar la letra de la solución en el mismo formato estructurado.

Los investigadores analizaron las log-probabilidades de las opciones seleccionadas para estimar la confianza. Emplearon pruebas estadísticas (pruebas t pareadas) para determinar la significancia y utilizaron métricas estándar de calibración, específicamente el Error de Calibración Esperado (ECE) y las puntuaciones Brier, para cuantificar la relación entre la confianza y la corrección. El análisis se estratificó además por corrección (respuestas correctas frente a incorrectas) y por categoría de materia.

Resultados Clave
La evaluación arrojó cinco hallazgos principales:

1. Aumento de la Confianza con el Razonamiento: Todos los modelos probados exhibieron sistemáticamente una mayor confianza (probabilidades asignadas más altas) al utilizar prompting CoT en comparación con la respuesta directa. Este aumento fue estadísticamente significativo ($p < 1 \times 10^{-10}$).
2. Confianza Desproporcionada en Errores: Aunque los modelos fueron generalmente más seguros cuando estaban correctos, la magnitud del aumento de confianza fue sistemáticamente mayor cuando la respuesta seleccionada era incorrecta. El prompting CoT amplificó las predicciones de alta confianza específicamente para respuestas erróneas.
3. Calibración Degradada: El uso de prompting CoT empeoró las métricas estándar de calibración. Para cinco de los siete modelos, el Error de Calibración Esperado (ECE) aumentó bajo CoT. De manera similar, las puntuaciones Brier aumentaron para varios modelos, lo que indica que las probabilidades más altas asignadas a las opciones seleccionadas no se tradujeron en predicciones mejor calibradas.
4. Consistencia a través de Temas: La inflación de la confianza ocurrió en prácticamente todas las 57 categorías de MMLU. Sin embargo, el efecto fue más pronunciado en materias que requieren razonamiento (por ejemplo, ciencias) en comparación con materias basadas en hechos, aunque incluso en materias basadas en hechos donde la precisión no mejoró (o disminuyó), la confianza en las respuestas incorrectas aumentó significativamente.
5. Mecanismo de la Sobreconfianza: El estudio observó que el efecto de sobreconfianza es impulsado por el proceso de razonamiento en sí mismo, no meramente por el hecho de que CoT seleccione opciones diferentes. Un estudio de ablación que restringió el análisis a preguntas donde ambos prompts seleccionaron la misma opción mostró que el ECE aún aumentó para todos los modelos bajo CoT.

Significado e Implicaciones
El documento concluye que los procesos de razonamiento alteran las probabilidades de los tokens, probablemente porque la predicción de la respuesta final depende conjuntamente de la pregunta y del razonamiento generado por el propio modelo. Esto conduce a estimaciones de confianza infladas que no necesariamente se correlacionan con la corrección.

Los autores destacan una implicación crítica para la evaluación de LLMs: en configuraciones de MCQ que utilizan prompting CoT, las estimaciones de confianza basadas en logprob deben usarse con extrema precaución como base para la evaluación o mecanismos metacognitivos. El fenómeno refleja el comportamiento humano donde "explicar es creer", sin embargo, en los LLMs, este mecanismo puede conducir a un estado donde el modelo es altamente seguro en conclusiones erróneas. El estudio sugiere que, aunque CoT mejora la precisión en muchas tareas complejas, degrada simultáneamente la fiabilidad de las métricas de confianza, haciendo potencialmente que las salidas erróneas sean más persuasivas y menos escrutadas.

Los autores señalan limitaciones, incluido el enfoque en modelos de pesos abiertos relativamente pequeños (con la excepción de los modelos de OpenAI) y la dependencia de un solo benchmark. Solicitan investigación futura para explorar métodos robustos de estimación de confianza que tengan en cuenta la longitud de la respuesta y la profundidad de CoT, y para realizar estudios comparativos sistemáticos entre humanos y LLMs para comprender mejor estos comportamientos metacognitivos.