Uncertainty Quantification for Language Models: A Suite of Black-Box, White-Box, LLM Judge, and Ensemble Scorers

Resumen Técnico: Cuantificación de la Incertidumbre para Modelos de Lenguaje

Planteamiento del Problema
Los Modelos de Lenguaje Extensos (LLM) se están desplegando cada vez más en dominios de alto riesgo como la salud y las finanzas, donde la exactitud fáctica es crítica. Un riesgo principal en estas aplicaciones es la "alucinación", definida aquí como la generación de contenido que suena plausible pero que es fácticamente incorrecto. Si bien las evaluaciones previas al despliegue que comparan el texto generado con la verdad fundamental son comunes, estas no permiten el monitoreo en tiempo real de los sistemas desplegados. Además, muchos de los métodos de detección existentes dependen del acceso al contenido de origen o a bases de datos de verdad fundamental, los cuales no están disponibles en entornos de "libro cerrado" (closed-book). El artículo aborda la necesidad de un marco versátil de libro cerrado que pueda calcular puntuaciones de confianza a nivel de respuesta en el momento de la generación para detectar alucinaciones sin acceso a respuestas de referencia o bases de datos externas.

Metodología
Los autores proponen un marco unificado que adapta las técnicas existentes de Cuantificación de la Incertidumbre (UQ) en puntuaciones de confianza estandarizadas que van de 0 a 1 (donde 1 indica una alta confianza). El marco categoriza los evaluadores en tres tipos distintos e introduce un enfoque de ensamble ajustable:

1. Evaluadores de UQ de Caja Negra (Black-Box): Estos métodos explotan la naturaleza estocástica de los LLM mediante la generación de múltiples respuestas candidatas ($m$) a partir de un mismo prompt y comparándolas con la respuesta original. El artículo implementa y normaliza varios enfoques:

   • Tasa de Coincidencia Exacta (EMR): Mide la proporción de candidatos idénticos a la respuesta original.
   • Probabilidad de No Contradicción (NCP): Utiliza un modelo de Inferencia de Lenguaje Natural (NLI) para calcular la probabilidad de que los candidatos no contradigan la respuesta original.
   • BERTScore (BSC): Calcula el F1 promedio basado en embeddings de palabras contextualizadas entre la respuesta original y las respuestas candidatas.
   • Similitud de Coseno Normalizada (NCS): Mide la similitud semántica utilizando sentence transformers, normalizada al rango [0, 1].
   • Negentropía Semántica Normalizada (NSN): Una versión normalizada de la Entropía Semántica que agrupa las respuestas por implicación mutua para medir la volatilidad de la respuesta.

2. Evaluadores de UQ de Caja Blanca (White-Box): Estos aprovechan las probabilidades de tokens internas del proceso de generación del LLM:

   • Probabilidad de Token Normalizada por Longitud (LNTP): La media geométrica de las probabilidades de los tokens, normalizada para la longitud de la respuesta.
   • Probabilidad de Token Mínima (MTP): La probabilidad más baja entre todos los tokens en la respuesta generada.

3. Evaluadores de LLM como Juez (LLM-as-a-Judge): Un LLM separado es instruido para evaluar la corrección fáctica de un par pregunta-respuesta, emitiendo una puntuación en una escala de 0 a 100 que luego se normaliza a [0, 1].

4. Enfoque de Ensamble Ajustable: La contribución central es un promedio ponderado de los evaluadores individuales descritos anteriormente. Los pesos ($w$) se optimizan utilizando un conjunto proporcionado por el usuario de respuestas graduadas de LLM (donos de etiquetas de verdad fundamental conocidas) y una función de objetivo de clasificación (por ejemplo, AUROC o F1-score). Esto permite que el ensamble se personalice para casos de uso específicos, LLMs y conjuntos de datos.

Contribuciones Clave

• Marco Estandarizado: El artículo describe un método para transformar diversas técnicas de UQ en una métrica de confianza consistente a nivel de respuesta, adecuada para la detección de alucinaciones en tiempo real y de libro cerrado.
• Kit de Herramientas de Código Abierto: Los autores lanzan uqlm, un paquete de Python que proporciona implementaciones listas para usar de todos los evaluadores propuestos y el mecanismo de ajuste del ensamble.
• Extensibilidad: El diseño del ensamble es modular, lo que permite a los profesionales incorporar nuevos métodos de evaluación a medida que la investigación evoluciona.
• Perspectivas Empíricas: El estudio proporciona orientación basada en datos sobre la selección de evaluadores, como los rendimientos decrecientes de muestrear respuestas candidatas adicionales y la correlación entre la precisión de generación de un modelo y su efectividad como juez.

Resultados Experimentales
Los autores evaluaron el marco a través de seis benchmarks (GSM8K, SVAMP, CSQA, AI2-ARC, PopQA, NQ-Open) utilizando cuatro LLMs (GPT-4o, GPT-4o-mini, Gemini-2.5-Flash, Gemini-2.5-Flash-Lite).

• Desempeño del Ensamble: El ensamble ajustable superó consistentemente a los componentes individuales en 20 de 24 escenarios de LLM-dataset para AUROC y en 17 de 24 para la puntuación F1.
• Variabilidad de los Evaluadores: El desempeño de los evaluadores individuales varió significamente según el conjunto de datos. Los evaluadores de caja negra basados en NLI (NSN y NCP) generalmente superaron a otros métodos de caja negra.
• Selección del Juez: La precisión de un modelo en un conjunto de datos específico se correlacionó positivamente con su desempeño como juez para ese mismo conjunto de datos. Por ejemplo, Gemini-2.5-Flash destacó como juez en benchmarks matemáticos, mientras que GPT-4o funcionó mejor en benchmarks de respuesta corta.
• Caja Blanca vs. Caja Negra: Los evaluadores de caja blanca (LNTP, MTP) se desempeñaron aproximadamente igual entre sí, pero generalmente tuvieron un desempeño inferior en comparación con los mejores métodos de caja negra o de ensamble en muchos escenarios, particularmente cuando las probabilidades de los tokens no eran la señal principal de incertidumbre.
• Eficacia del Filtrado: La aplicación de umbrales de confianza para filtrar respuestas de baja confianza resultó en un aumento monotónico de la precisión del modelo. Por ejemplo, filtrar las respuestas de GPT-4o en GSM8K con el evaluador de ensamble elevó la precisión de un valor base de 0.55 a 0.93 con un umbral de 0.6.

Significancia y Reclamaciones
El artículo afirma que las estrategias de detección de alucinaciones personalizadas, específicamente a través de ensambles ajustables, ofrecen una solución práctica y efectiva para mejorar la confiabilidad de los LLM en producción. Los autores enfatizan que no existe una solución de "talla única"; más bien, el enfoque óptimo depende del LLM específico, el conjunto de datos y las restricciones operativas (por ejemplo, latencia, acceso a la API para probabilidades de tokens).

Los autores mantienen una postura modesta respecto a las limitaciones, señalando que sus hallazgos pueden no generalizarse a la generación de texto largo o de código sin modificaciones. También advierten que las puntuaciones de confianza reflejan la incertidumbre del modelo y no la corrección de la verdad fundamental, aconsejando no utilizarlas como garantías de decisión absolutas en dominios de alto riesgo sin revisión humana. El trabajo sirve como un kit de herramientas práctico para que los profesionales implementen la detección de alucinaciones agnóstica al modelo y en tiempo real.