💬 NLP

Let the Model Distribute Its Doubt: Confidence Estimation through Verbalized Probability Distribution

Este trabajo demuestra que predecir una distribución de probabilidad verbalizada mejora la estimación de confianza en modelos de lenguaje grandes al obligarlos a considerar todas las respuestas posibles, logrando una mayor eficacia de razonamiento y eficiencia computacional en comparación con métodos basados en conjeturas únicas.

Autores originales: Ante Wang, Weizhi Ma, Yang Liu

Publicado 2026-04-03

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Ante Wang, Weizhi Ma, Yang Liu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que tienes un amigo muy inteligente, un "genio" que sabe responder casi cualquier pregunta. A veces, este genio da respuestas increíbles, pero otras veces se equivoca. El problema es que, a menudo, no sabe cuándo se está equivocando. Se siente tan seguro de sí mismo que te dice: "¡Estoy 100% seguro!" incluso cuando está totalmente equivocado.

En el mundo de la Inteligencia Artificial (IA), esto es peligroso. Si un médico IA dice "100% seguro" de un diagnóstico erróneo, podría ser catastrófico.

Este paper propone una solución brillante y sencilla: En lugar de pedirle al genio que solo adivine la respuesta, pídele que distribuya sus dudas.

Aquí te explico cómo funciona, usando analogías de la vida real:

1. El Problema: El "Adivinador" Confiado

Antes, le preguntábamos a la IA: "¿Cuál es la respuesta correcta?".

La IA: "¡Es la opción B! ¡Estoy 100% seguro!" (Aunque en realidad no lo estaba).
El resultado: La IA actúa como un adivinador que nunca admite que podría estar equivocado. Esto se llama "sobreconfianza".

2. La Solución: El "Juez de la Distribución"

Los autores de este paper dicen: "¡Espera! No te pedimos solo una respuesta. Queremos que actúes como un juez sabio".

En lugar de decir solo "B", la IA debe hacer lo siguiente:

Pensar en todas las posibilidades: Imagina que tienes un tablero de ajedrez. No solo piensas en tu mejor movimiento, sino que piensas en todos los movimientos posibles de tu oponente.
Asignar "fichas de confianza": La IA debe repartir 100 fichas (o un 100% de probabilidad) entre todas las opciones que considera posibles.
- Si cree que la opción A es muy probable, le da 60 fichas.
- Si la opción B es posible pero dudosa, le da 20 fichas.
- Si la opción C es muy improbable, le da 2 fichas.
- Si hay opciones que ni siquiera considera, les da 0.
La regla de oro: Las fichas deben sumar exactamente 100.

¿Por qué esto es mágico?
Para que la IA pueda repartir esas fichas, se ve obligada a pensar más profundamente. No puede saltar directamente a la respuesta "B" y gritar "¡Seguro!". Tiene que detenerse, mirar las otras opciones, compararlas y decir: "Bueno, la A es buena, pero la B es mejor, y la C es un poco rara".

Al tener que justificar por qué una opción tiene más fichas que otra, la IA reduce su confianza ciega. Si la respuesta correcta es difícil de distinguir, la IA repartirá las fichas de forma más equilibrada (ej. 40% para A, 30% para B, 30% para C), lo que nos avisa: "Oye, no estoy muy seguro, hay dudas".

3. La Analogía del "Comité de Expertos"

Imagina que tienes que tomar una decisión importante, como comprar una casa.

Método antiguo (Confianza verbalizada): Vas a un solo agente inmobiliario. Él te dice: "¡Compra esta casa! Es perfecta, 100% segura". Si él se equivoca, tú pierdes todo porque confiaste ciegamente en él.
Método nuevo (Distribución verbalizada): Vas a un comité de 5 expertos. Les pides que no solo den su opinión, sino que repartan un presupuesto de 100 euros entre las casas que consideran viables.
- Si el comité pone 90 euros en la Casa A y 10 en la B, sabes que están muy seguros.
- Si el comité pone 30 euros en la A, 30 en la B y 40 en la C, sabes que hay mucha incertidumbre y que deberías investigar más antes de decidir.

4. ¿Qué descubrieron los autores?

Funciona mejor que los métodos anteriores, incluso en modelos de IA más pequeños (como un "genio" joven).
Hace que la IA sea más honesta sobre sus dudas.
Ahorra tiempo y dinero: Al ser más eficiente, la IA llega a ser más precisa con menos "pensamientos" (menos cálculo) que los métodos antiguos.
El truco final: Si la IA se equivoca al sumar las fichas (no llega a 100), el sistema le da una "palmada en la mano" (una penalización) para que aprenda a ser más cuidadosa.

En resumen

Este paper nos enseña que para que una Inteligencia Artificial sea realmente confiable, no debemos pedirle que sea un profeta que siempre tiene la respuesta correcta. Debemos pedirle que sea un analista prudente que sabe cómo distribuir sus dudas.

Al obligar a la IA a "repartir sus dudas" entre todas las opciones posibles, la hacemos pensar más despacio y con más cuidado, lo que resulta en respuestas más honestas y seguras para nosotros, los humanos. Es como pasar de tener un amigo que siempre grita "¡Lo sé!" a tener un amigo que dice: "Creo que es esto, pero también podría ser aquello, así que ten cuidado".

1. Problema

La fiabilidad de las respuestas de los Modelos de Lenguaje Grandes (LLMs) es crítica para su despliegue en aplicaciones de alto riesgo (salud, derecho, finanzas). Sin embargo, los LLMs a menudo sufren de sobreconfianza y carecen de estimaciones de confianza bien calibradas (donde la confianza expresada coincida con la precisión empírica real).

Los métodos tradicionales dependen de las probabilidades de los tokens generados o de cabezas de clasificación, pero estos enfoques suelen fallar en modelos ajustados con Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF), que pueden sacrificar la calibración para seguir mejor las instrucciones del usuario. Los métodos de "confianza verbalizada" (pedir al modelo que diga su confianza en lenguaje natural) han mejorado esto, pero a menudo siguen siendo inestables o sobreconfiados. Además, no está claro qué estrategias de razonamiento (como el Chain-of-Thought) son más efectivas para generar estimaciones de confianza precisas.

2. Metodología

Los autores proponen un nuevo enfoque llamado Distribución de Probabilidad Verbalizada (Verbalized Probability Distribution). En lugar de pedir al modelo que prediga una sola respuesta o un pequeño conjunto de opciones, se le instruye para que:

Genere un espacio de respuestas completo: El modelo debe enumerar todas las respuestas posibles plausibles para una pregunta dada.
Asigne una distribución de probabilidad: Debe asignar un valor de confianza a cada opción generada, de tal manera que la suma de todas las probabilidades sea exactamente 1.0.
Incluya una opción de "Ninguna de las anteriores": Para preguntas de espacio abierto (donde es imposible enumerar todas las respuestas), se añade esta opción para agrupar la probabilidad de candidatos de baja likelihood, evitando que el modelo ignore la incertidumbre.
Optimización con RL: Se explora la optimización de este proceso mediante Aprendizaje por Refuerzo (RL). Se utiliza una función de recompensa que penaliza severamente cualquier salida que no constituya una distribución de probabilidad válida (suma $\neq$ 1), incentivando al modelo a aprender a distribuir su "duda" correctamente.

Comparación con métodos existentes:

Confianza Verbalizada: Predice una sola respuesta y su confianza. Tiende a ser ciego a alternativas y sobreconfiado.
Top-k Verbalizado: Predice $k$ respuestas y sus probabilidades. Mitiga la sobreconfianza pero a menudo falla en la calibración global (la suma de probabilidades puede exceder 1 o no reflejar la distribución real de creencias).
Distribución Verbalizada (Propuesta): Fuerza al modelo a considerar todo su estado de creencia, contextualizando la probabilidad de la respuesta principal frente a todas las alternativas, lo que mitiga la miopía y la sobreconfianza.

3. Contribuciones Clave

Nueva Estrategia de Razonamiento: Demostraron que predecir una distribución de probabilidad completa es un mecanismo de razonamiento superior para la estimación de confianza en comparación con predecir una sola respuesta o un subconjunto fijo.
Evaluación Exhaustiva: Realizaron experimentos sistemáticos en múltiples LLMs (Qwen3, GPT-4.1, DeepSeek-V3, Llama) y tareas (cerradas como MedQA, MMLU-Pro y abiertas como HotpotQA).
Eficiencia en Escalado de Inferencia: Descubrieron que su método es significativamente más eficiente en términos computacionales durante el escalado de inferencia (inferencia con múltiples muestras). Logran alcanzar el mejor puntaje Brier de la línea base más fuerte en MMLU-Pro gastando casi 6 veces menos cómputo.
Análisis de Limitaciones: Identificaron que el método tiene dificultades en tareas donde el espacio de respuestas es inherentemente difícil de predecir (como el razonamiento matemático estricto paso a paso), pero demostraron que el RL puede mitigar parcialmente este problema.

4. Resultados

Los experimentos mostraron que el método de Distribución de Probabilidad Verbalizada supera consistentemente a las líneas base en métricas de calibración:

Métricas de Calibración: Logra los mejores resultados en Brier Score y ECE (Error de Calibración Esperado) tanto en tareas de conjunto cerrado como abierto, y en modelos de diferentes tamaños (desde 4B hasta modelos grandes).
Precisión: Mantuvo la precisión de la respuesta (Accuracy) sin sacrificarla por la estimación de confianza.
Rendimiento con RL: Tras el entrenamiento con RL, el método converge más rápido y muestra una mayor robustez en datos fuera de distribución (OOD).
Eficiencia: En el escalado de inferencia (usando múltiples trayectorias de razonamiento), el método propuesto alcanza un rendimiento superior con un costo de tokens menor en comparación con otros métodos de verbalización.
Análisis de Ablación: Se demostró que la inclusión de la opción "Ninguna de las anteriores" y el requisito de normalización (suma = 1) son componentes críticos para el éxito del método.

5. Significado e Impacto

Este trabajo es significativo porque:

Mejora la Confianza en IA: Proporciona un método práctico y efectivo para que los LLMs expresen su incertidumbre de manera calibrada, lo cual es esencial para sistemas de IA seguros y confiables en entornos críticos.
Cambio de Paradigma en Razonamiento: Sugiere que la forma en que un modelo estructura su salida (una distribución completa vs. una predicción única) influye directamente en la calidad de su razonamiento interno y su autoevaluación.
Eficiencia Computacional: Al ser más eficiente que los métodos de escalado de inferencia tradicionales, hace viable la implementación de estimaciones de confianza robustas en aplicaciones del mundo real con recursos limitados.
Guía para Futuras Investigaciones: Destaca la necesidad de adaptar estrategias de prompting o entrenamiento (RL) según la naturaleza de la tarea (cerrada vs. abierta, matemática vs. semántica) para maximizar la calibración.

En resumen, el artículo propone que "dejar que el modelo distribuya su duda" mediante una distribución de probabilidad verbalizada es una estrategia superior para obtener estimaciones de confianza precisas, calibradas y eficientes en los LLMs modernos.