Verbalizing LLM's Higher-order Uncertainty via Imprecise Probabilities

Este artículo propone técnicas de elicitation de incertidumbre basadas en probabilidades imprecisas para capturar tanto la incertidumbre de primer orden (sobre las respuestas) como la de segundo orden (sobre el modelo de probabilidad) en los grandes modelos de lenguaje, superando así las limitaciones de los marcos probabilísticos clásicos en escenarios ambiguos y mejorando la fiabilidad de la toma de decisiones.

Lo esencial

Imagina que tienes un amigo muy inteligente, un "genio" que sabe casi todo sobre el mundo. Cuando le haces una pregunta, él te da una respuesta y luego dice: "Estoy un 80% seguro de que esto es correcto".

Hasta ahora, así es como funcionaban los grandes modelos de lenguaje (como el que estás leyendo ahora). Pero los autores de este paper descubrieron un problema: a veces, ese "80%" es una mentira piadosa o, peor aún, una simplificación peligrosa.

Aquí te explico qué proponen ellos usando una analogía sencilla: La Diferencia entre "No saber" y "No estar seguro".

El Problema: La "Moneda de un Solo Lado"

Imagina que le preguntas al genio: "¿Quién ganó el Mundial de Críquet en 2019?".
La respuesta correcta es un poco complicada: Inglaterra y Gales fueron co-anfitriones, pero el torneo se jugó en Inglaterra.

• El método antiguo (Probabilidad Precisa): El genio te dice: "Tengo un 80% de certeza de que la respuesta es 'Inglaterra'".

  • El problema: Si la pregunta es ambigua o si el genio no tiene suficiente información, este 80% no te dice si está confundido o si simplemente está adivinando. Es como si te diera una moneda que siempre cae en "cara", pero no te dice si la moneda está trucada o si tú no entendiste bien la pregunta.

• El nuevo método (Probabilidades Imprecisas): En lugar de un solo número, el genio te da un rango.

  • Te dice: "Estoy entre un 40% y un 90% seguro de que es 'Inglaterra'".
  • La magia: Ese rango (de 40 a 90) es la clave.
    • Si el rango es estrecho (ej. 78% a 82%), significa que el genio está muy seguro y solo tiene una pequeña duda.
    • Si el rango es enorme (ej. 10% a 90%), significa que el genio sabe que no sabe. Está admitiendo que la pregunta es confusa o que le faltan datos.

Las Dos Capas de la Incertidumbre

Los autores dividen la duda en dos tipos, como si fueran dos capas de una cebolla:

1. Primera Capa (La duda sobre la respuesta): "¿Es la respuesta A o la B?"
   • Ejemplo: En una pregunta ambigua, podría ser A o podría ser B, y ambas son válidas. El genio no puede cambiar esto; es parte de la pregunta.
2. Segunda Capa (La duda sobre la duda): "¿Cuánto debería confiar en mi propia estimación?"
   • Ejemplo: Si le das al genio más ejemplos o contexto, su "duda sobre la duda" debería bajar. Si le das 10 ejemplos, su rango de confianza debería estrecharse. Si sigue siendo un rango gigante (10% a 90%), significa que el genio sigue perdido, incluso con más información.

¿Cómo lo logran? (El Truco del Apuesta)

En lugar de pedirle al genio: "¿Qué porcentaje de certeza tienes?", los autores le preguntan: "Si te ofreciera apostar $100 a que tu respuesta es correcta, ¿cuánto pagarías por esa apuesta?"

• Si el genio está muy seguro, dirá: "Pagaría $0.90".
• Si el genio está confundido, dirá: "No estoy seguro, podría pagar entre $0.20 y $0.80".

Al pedirle que defina un mínimo y un máximo de lo que estaría dispuesto a apostar, obligamos al modelo a admitir sus límites. Esto es lo que llaman "Probabilidades Imprecisas".

¿Por qué es útil esto en la vida real?

1. Detectar preguntas confusas: Si el genio te da un rango muy amplio, tú (el usuario) sabes inmediatamente: "¡Oye, esta pregunta está mal formulada o es ambigua! No confíes ciegamente en la respuesta".
2. Aprendizaje con ejemplos: Si le das al genio más ejemplos para que entienda la tarea, su rango de duda debería hacerse más pequeño. Si no se hace más pequeño, sabes que el genio no está aprendiendo realmente, solo está adivinando.
3. Toma de decisiones: Imagina que eres un médico usando una IA para diagnosticar.
   • Método antiguo: "El paciente tiene un 85% de gripe". (Puedes actuar rápido).
   • Método nuevo: "El paciente tiene entre un 40% y un 85% de gripe". (¡Alto! El rango es tan amplio que necesitas hacer más pruebas antes de recetar nada).

En Resumen

Este paper propone dejar de pedirle a la Inteligencia Artificial que sea un "oráculo" que da un solo número mágico de certeza. En su lugar, proponen que la IA sea un honesto consultor que te dice: "Estoy bastante seguro, pero hay un margen de error grande porque la pregunta es rara".

Es como pasar de un termómetro digital que siempre marca "37°C" (aunque tengas fiebre) a un termómetro analógico que te muestra una zona de "36°C a 39°C", permitiéndote ver cuándo la lectura es inestable y necesitas tener cuidado.

El resultado: Modelos más honestos, menos alucinaciones (mentiras) y decisiones humanas más seguras basadas en la IA.

Resumen técnico

Resumen Técnico: Verbalización de la Incertidumbre de Orden Superior en LLMs

1. El Problema

A pesar de la creciente demanda para extraer estimaciones de incertidumbre de los Grandes Modelos de Lenguaje (LLMs), la evidencia empírica sugiere que las técnicas actuales, basadas en el marco clásico de probabilidades precisas (un único valor numérico), no capturan adecuadamente el comportamiento de los modelos en escenarios complejos. Esto genera modos de fallo sistemáticos en tres contextos críticos:

• Preguntas ambiguas: Cuando una pregunta admite múltiples respuestas válidas bajo diferentes interpretaciones, las métricas de confianza tradicionales fallan al distinguir entre ambigüedad inherente y falta de conocimiento.
• Aprendizaje en contexto (ICL): A medida que se proporcionan más ejemplos en el prompt, el error de predicción disminuye, pero las puntuaciones de incertidumbre tradicionales a menudo permanecen altas y planas, sin reflejar la reducción de la incertidumbre epistémica.
• Autorreflexión: Los LLMs a menudo seleccionan una respuesta y luego reflexionan sobre ella, pero sus puntuaciones de incertidumbre verbalizadas no siempre son coherentes con la decisión tomada (violando la racionalidad bayesiana).

El problema central radica en la suposición implícita de que la incertidumbre puede ser resumida en una sola probabilidad precisa. Los autores proponen que los LLMs necesitan expresar incertidumbre sobre la incertidumbre (incertidumbre de segundo orden).

2. Metodología

La propuesta se basa en el marco de Probabilidades Imprecisas (IP), que representa la incertidumbre mediante intervalos en lugar de puntos únicos.

• Conceptos Clave:

  • Incertidumbre de Primer Orden: Captura la aleatoriedad intrínseca sobre las posibles respuestas (ej. ambigüedad de la pregunta). Se representa mediante la distribución de probabilidad.
  • Incertidumbre de Segundo Orden: Captura la indeterminación en el propio modelo de probabilidad (ej. falta de información o "ignorancia"). Se representa mediante la amplitud del intervalo de probabilidad.

• Técnicas de Extracción (Elicitación):
  Los autores introducen estrategias de prompting y post-procesamiento para extraer estas incertidumbres verbalmente:

  1. DeFinetti (Primer Orden): Se basa en la interpretación de la probabilidad como un precio justo de apuesta. Se pide al modelo que asigne precios de compra para cada respuesta, asegurando que sumen 1.0. Un verificador algorítmico asegura la coherencia con los axiomas de probabilidad.
  2. ProbInt (Probabilidades Imprecisas): Se solicita al modelo que proporcione un intervalo de probabilidad $[p(y), \bar{p}(y)]$ para cada respuesta, donde $p(y)$ es la probabilidad mínima justificable y $\bar{p}(y)$ la máxima defendible.
  3. Credal Sets (Conjuntos Credales): Se utiliza un conjunto de modelos (o múltiples ejecuciones con diferentes semillas) para generar una distribución de probabilidades. El intervalo se define por el mínimo y máximo de estas distribuciones.
  4. Funciones de Posibilidad: Se evalúa la plausibilidad de respuestas alternativas, permitiendo manejar conjuntos de respuestas incompletos (útil en QA abierto).

• Métrica de Incertidumbre (MMI):
  Para cuantificar la incertidumbre de segundo orden a partir de los intervalos, se utiliza la Imprecisión Media Máxima (Maximum Mean Imprecision - MMI).

  • Para un solo elemento, es la anchura del intervalo: $\bar{p}(y) - p(y)$.
  • Para conjuntos de respuestas, se utiliza una cota superior computable: $1 - \sum p(y)$.

3. Contribuciones Clave

• Primera instanciación concreta de IP en LLMs: Presentan el primer marco práctico para elicitar y cuantificar incertidumbre de orden superior en LLMs mediante prompts, sin necesidad de acceder a los parámetros internos del modelo.
• Desenredamiento de incertidumbres: Logran separar la incertidumbre de primer orden (ambigüedad de la pregunta) de la de segundo orden (ignorancia del modelo), algo que los métodos anteriores no lograban hacer eficazmente.
• Nuevos protocolos de Prompting: Desarrollan prompts específicos (DeFinetti, ProbInt) que obligan al modelo a articular los límites de su creencia, mejorando la coherencia lógica de las respuestas.
• Eficiencia de Coste: Demuestran que sus métodos son significativamente más baratos que las alternativas basadas en muestreo masivo (como la entropía semántica o la clarificación mutua), siendo comparables en coste a los métodos de "vanilla" (confianza directa).

4. Resultados Experimentales

Los autores evaluaron sus métodos en datos sintéticos y benchmarks del mundo real (MAQA, AmbigQA, MMLU-Pro):

• Datos Sintéticos:

  • En tareas de transformación de secuencias con ruido, los métodos propuestos (especialmente ProbInt y Credal) mantuvieron la incertidumbre de segundo orden estable cuando la ambigüedad (ruido de primer orden) aumentaba, mientras que los métodos tradicionales fallaban.
  • En escenarios de ICL, a medida que aumentaba el número de ejemplos, la incertidumbre de segundo orden disminuyó correctamente, rastreando la reducción del error de predicción, algo que los métodos vanilla no lograron.

• Datos del Mundo Real (QA):

  • Detección de Ambigüedad: El método DeFinetti logró el mejor rendimiento (AUROC) para distinguir preguntas ambiguas de claras.
  • Detección de Correctitud: Los métodos basados en IP (ProbInt, Credal) superaron a las líneas base existentes (como Vanilla, CoT, Top-4) en la detección de respuestas incorrectas, mostrando una mayor robustez.
  • Coherencia con la Realidad: Los intervalos de probabilidad elicados mostraron una fuerte correlación con métricas de referencia basadas en la divergencia KL y la entropía, indicando que los LLMs pueden expresar de manera más fiel su estado de conocimiento.
  • Racionalidad Bayesiana: Se demostró que la regla de decisión maximin (elegir la opción con la probabilidad inferior más alta) alineada con las estimaciones de IP coincide mejor con las decisiones reales de los LLMs que las reglas bayesianas tradicionales.

5. Significado e Impacto

Este trabajo representa un cambio de paradigma en la cuantificación de incertidumbre para IA generativa:

1. Mayor Confianza y Seguridad: Al permitir que los modelos expresen "no sé" o "hay varias posibilidades válidas" mediante intervalos, se mejora la fiabilidad en aplicaciones críticas (medicina, legales, toma de decisiones).
2. Mejora en la Toma de Decisiones: Proporciona a los sistemas downstream (agentes, flujos de trabajo) una señal de incertidumbre más rica, permitiendo estrategias de abstención o solicitud de aclaración más inteligentes.
3. Fundamento Teórico Sólido: Vincula la capacidad de los LLMs para verbalizar incertidumbre con la teoría de decisiones bajo incertidumbre imprecisa, ofreciendo una explicación más matizada sobre por qué los modelos fallan en situaciones ambiguas y cómo corregirlo sin reentrenamiento.
4. Escalabilidad: Al ser un enfoque basado en prompts y post-procesamiento ligero, es aplicable a modelos cerrados y grandes, facilitando su adopción inmediata en la industria.

En conclusión, el artículo demuestra que abandonar la búsqueda de una "probabilidad perfecta" a favor de probabilidades imprecisas permite una representación más honesta, coherente y útil de la incertidumbre en los LLMs.