Resumen Técnico: Los Grandes Modelos de Lenguaje son Excesivamente Confidentes en sus Propias Respuestas

Planteamiento del Problema

Aunque los modelos de lenguaje de gran escala (LLM) base (preentrenados) generalmente exhiben probabilidades bien calibradas para la predicción del siguiente token, los LLM ajustados por instrucciones (post-entrenados) sufren una descalibración significativa. Tienden a ser excesivamente confiados, asignando puntuaciones de confianza elevadas a respuestas incorrectas. Investigaciones previas han establecido que los procesos de post-entrenamiento (Ajuste Fino Supervisado y Aprendizaje por Refuerzo a partir de la Retroalimentación Humana) degradan la calibración, pero la contribución específica de la plantilla de chat —el formato conversacional utilizado para interactuar con estos modelos— sigue sin explorarse suficientemente. Además, no está claro si la descalibración proviene del algoritmo de entrenamiento en sí o del estilo de prompting conversacional, ni si métodos específicos de elicitación de confianza pueden mitigar este problema sin necesidad de reentrenamiento.

Metodología

Los autores realizaron una investigación exhaustiva a través de seis familias recientes de LLM de pesos abiertos (Llama 3.1, Qwen3 y Gemma 3), utilizando tanto versiones base como ajustadas por instrucciones de diversas escalas (de 4B a 70B). La evaluación se realizó en el benchmark MMLU, un conjunto de datos de 57 disciplinas de opción múltiple.

La investigación procedió en cuatro fases distintas:

1. Desacoplamiento de Entrenamiento y Formato: Los autores aislaron los efectos del ajuste por instrucciones y de la plantilla de chat comparando tres variantes de modelos:

   • Modelos base (preentrenados, sin ajuste por instrucciones).
   • Modelos ajustados por instrucciones invocados sin la plantilla de chat.
   • Modelos ajustados por instrucciones invocados con la plantilla de chat estándar.
     La calibración se midió utilizando el Error de Calibración Esperada (ECE) y la puntuación de Brier, derivados directamente de los logits del modelo.

2. Elicitación de Confianza Explícita: Para determinar si la descalibración persiste cuando se pide explícitamente al modelo su certeza, los autores probaron tres métodos de elicitación de confianza:

   • P(True): Pedir al modelo que prediga la probabilidad de un token "True" para una respuesta dada.
   • Porcentaje Verbalizado: Pedir una puntuación de confianza del 0 al 100%.
   • Lingüístico Verbalizado: Pedir al modelo que seleccione un nivel de confianza cualitativo de una escala de Likert (por ejemplo, de "muy bajo" a "muy alto").

3. Prueba de la Hipótesis del "Sesgo de Propiedad": Los autores hipotetizaron que los LLM exhiben un "sesgo de propiedad", siendo significativamente más confiados en las respuestas que ellos mismos generan en comparación con respuestas idénticas proporcionadas por un usuario. Para probar esto, los autores plantearon la misma pregunta y par de respuesta a los modelos, variando únicamente la fuente de la respuesta:

   • Condición de Asistente: La respuesta se presentó como parte de la propia respuesta del modelo.
   • Condición de Usuario: La respuesta se presentó como parte de la entrada del usuario.
     Posteriormente, se le pidió al modelo que evaluara la corrección de la respuesta proporcionada.

4. Estrategia de Mitigación Propuesta: Basándose en los hallazgos, los autores propusieron una estrategia de inferencia: presentar la propia respuesta del modelo como entrada del usuario durante la elicitación de confianza para evitar el sesgo de propiedad.

Resultados Clave

1. Impulsores de la Descalibración

• Ajuste por Instrucciones: El ajuste por instrucciones perjudica fundamentalmente la calibración. En promedio, aumentó el ECE en un 13.1% y la puntuación de Brier en un 6.5% en comparación con los modelos base, a pesar de mejorar la precisión en un 3.7%.
• Plantilla de Chat: La plantilla de chat agrava aún más el problema. Si bien proporcionó una modesta ganancia de precisión (+1.1%), aumentó el ECE en un 2.74% adicional y la puntuación de Brier en un 1.5%.
• Conclusión: Aunque el ajuste por instrucciones es la fuente primaria de la descalibración, el formato de chat conversacional exacerba significativamente el problema.

2. Métodos de Elicitación de Confianza

Pedir la confianza de forma explícita no resolvió la descalibración subyacente. Los modelos ajustados por instrucciones siguieron siendo significativamente peor calibrados que los modelos base en los tres métodos de elicitación (P(True), Porcentaje Verbalizado y Lingüístico Verbalizado), confirmando que el proceso de post-entrenamiento es la causa raíz.

3. Evidencia del Sesgo de Propiedad

Los experimentos confirmaron un fuerte "sesgo de propiedad":

• Exceso de Confianza: Los modelos asignaron una confianza significativamente mayor a las respuestas que ellos mismos generaron (condición de Asistente) en comparación con las respuestas idénticas proporcionadas por el usuario (condición de Usuario).
• Magnitud: La diferencia en la confianza fue sustancial. Para el método Lingüístico Verbalizado, los modelos mostraron un aumento promedio de confianza del 26.8% cuando la respuesta era propia. Incluso para el método P(True), el aumento promedio fue del 15.8%.
• Impacto en la Calibración: Este sesgo condujo a métricas de calibración peores. El aumento promedio del ECE para las respuestas generadas por el asistente fue del 9.8% (P(True)) y de hasta un 26.1% (Linguístico) en comparación con las respuestas proporcionadas por el usuario.
• Significancia Estadística: Estas diferencias fueron estadísticamente significativas (p < 0.01) en la gran mayoría de los modelos y métodos.

4. Efectividad de la Estrategia Propuesta

Al reformular la respuesta del modelo como una entrada de usuario durante la elicitación de confianza, los autores demostraron que:

• Reducción del Exceso de Confianza: La estrategia reduce significativamente el exceso de confianza inherente del modelo.
• Mejora de la Calibración: Este enfoque mejora la calibración hasta en un 26% sin necesidad de reentrenamiento.
• Reducción de la Brecha: Reduce eficazmente la brecha de calibración entre los modelos base y los ajustados por instrucciones, permitiendo en ocasiones que los modelos ajustados por instrucciones alcancen una calibración comparable o incluso superior a la de los modelos base en configuraciones específicas.

Significado y Reivindicaciones

El artículo afirma identificar un mecanismo fundamental detrás de la descalibración de los LLM ajustados por instrucciones: un sesgo de propiedad donde los modelos son inherentemente excesivamente confiados en sus propios resultados. Este hallazgo contrasta con la "sicofancia" (donde los modelos se alinean con las creencias del usuario), sugiriendo en su lugar una forma de autoconsistencia donde el modelo asume que su propia generación implica corrección.

La contribución principal es una estrategia simple de tiempo de inferencia que no requiere reentrenamiento, modelos de recompensa complejos o modelos auxiliares. Al simplemente alterar la estructura del prompt para presentar la respuesta del modelo como una consulta de usuario, los profesionales pueden mejorar significativamente la fiabilidad de las estimaciones de confianza. Esto ofrece una solución práctica y de bajo costo para el despliegue de una IA más segura y confiable en aplicaciones de alto riesgo donde la cuantificación precisa de la incertidumbre es crítica.