Resumen Técnico: Autoevaluación Agrupada para la Cuantificación de la Incertidumbre en LLMs

Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) exhiben un rendimiento notable en diversas tareas, pero frecuentemente generan respuestas que parecen fluidas y plausibles mientras son fácticamente incorrectas. Este problema de "alucinación" es particularmente crítico en dominios de alto riesgo como la atención médica, el derecho y la investigación científica. Una barrera significativa para mitigar estos riesgos es la falta de estimaciones de incertidumbre explícitas y fiables. Los métodos existentes para cuantificar la incertidumbre suelen depender de señales indirectas, como la entropía a través de generaciones muestreadas o métricas de divergencia semántica. Estos enfoques tienen dos limitaciones primarias:

1. Interpretabilidad: Las puntuaciones indirectas (por ejemplo, las métricas basadas en entropía) son difíciles de interpretar para los usuarios finales, lo que limita su utilidad práctica.
2. Subutilización del Conocimiento Interno: Muchos métodos miden las discrepancias de salida sin aprovechar la comprensión interna del LLM sobre su propio conocimiento. Además, los intentos de lograr que los LLMs verbalicen la incertidumbre directamente suelen fallar debido al bien documentado problema de la sobreconfianza del modelo.

Metodología: Autoevaluación Agrupada

Los autores proponen la Autoevaluación Agrupada (Clustered Self-Assessment), un método de dos etapas diseñado para provocar y cuantificar la incertidumbre mediante el uso de prompts que instan al LLM a evaluar sus propias respuestas generadas. El proceso transforma el problema de la estimación de la incertidumbre en una tarea estructurada de preguntas de opción múltiple (MCQ).

Etapa 1: Agrupación de Respuestas (Answer Clustering)

Para una pregunta de entrada dada, el LLM genera múltiples respuestas (muestras). Para reducir la redundancia semántica preservando la diversidad, estas muestras se agrupan en clústeres semánticamente distintos:

• Estimación de la Relación Semántica: Se utiliza un modelo externo de Inferencia de Lenguaje Natural (NLI) (específicamente deberta-large-mnli) para estimar las relaciones semánticas de pares entre las respuestas muestreadas. Para cada par $(a_i, a_j)$, el modelo NLI predice etiquetas como implicación (entailment), neutralidad (neutral) o contradicción (contradiction).
• Lógica de Agrupación: El método emplea un filtro basado en reglas sobre las etiquetas bidireccionales de NLI. Dos respuestas se agrupan en el mismo clúster si su relación bidireccional no contiene ninguna contradicción e incluye al menos una implicación en cualquiera de las dos direcciones.
• Selección de Representantes: Cada clúster es representado por una única respuesta (típicamente la primera asignada al clúster). Este proceso asegura que el conjunto final de opciones represente respuestas candidatas semánticamente distintas en lugar de variaciones menores de la misma respuesta.

Etapa 2: Autoevaluación mediante MCQ

Las respuestas agrupadas se utilizan para construir una MCQ estructurada:

• Formulación de la Pregunta: Se presenta la pregunta original junto con las respuestas representativas de cada clúster como opciones distintas (por ejemplo, Opción A, Opción B, Opción C).
• Opción de Seguridad: Se incluye una opción adicional, "Ninguna de las anteriores", para dar cuenta de escenarios donde todos los clústeres generados son incorrectos o el modelo tiene una alta incertidumbre.
• Puntuación de Confianza: La MCQ construida se introduce de nuevo en el LLM original. La probabilidad de token asignada por el modelo a la opción específica correspondiente a su respuesta principal (decodificada mediante búsqueda codiciosa o greedy decoding) sirve como la puntuación de confianza.
  • Formalmente, si $c_{i^*}$ es la etiqueta de token de la opción correcta, la puntuación de confianza $S$ es $P(c_{i^*})$.

Contribuciones Clave

1. Provocación de la Autoevaluación: El método aprovecha las representaciones de incertidumbre internas de los LLMs al estructurar las generaciones muestreadas en un formato de MCQ. Esto impulsa al modelo a evaluar explícitamente la corrección de sus propias respuestas en lugar de depender de proxies estadísticos indirectos.
2. Rendimiento y Eficiencia Superiores: El enfoque supera consistentemente a las líneas base existentes (incluyendo la Entropía Semántica, EigenScore y SAR) en múltiples modelos y conjuntos de datos. Notablemente, logra un rendimiento competitivo con tan solo dos muestras adicionales, mientras que algunas líneas base requieren hasta dieciséis muestras, reduciendo significativamente la carga computacional.
3. Interpretabilidad Humana: Al utilizar la probabilidad del token de una opción específica como la puntuación de confianza, el método proporciona una métrica que es intuitiva para que los usuarios la interpreten, mapeando directamente a la probabilidad de que la respuesta sea correcta.

Resultados Experimentales

El método fue evaluado en siete modelos de código abierto de última generación (series Qwen-2.5, Qwen-3 y Gemma-3) y tres conjuntos de datos: TriviaQA (TQA), Natural Questions (NQ) y XSum (resumen).

• Precisión (AUROC): El método alcanzó el Área Bajo la Curva Característica Operativa del Receptor (AUROC) más alta en todos los modelos y conjuntos de datos. Por ejemplo, en TQA con Qwen2.5-32B, alcanzó un AUROC de 0.940, superando a la siguiente mejor línea base (Deg) que obtuvo 0.848.
• Eficiencia de Muestreo: El rendimiento se mantuvo robusto incluso con un muestreo mínimo. Con solo dos muestras adicionales, el método superó a las líneas base que utilizaron ocho o dieciséis muestras.
• Calibración: Utilizando la puntuación de Brier, el método demostró una calibración superior en comparación con las líneas base basadas en probabilidad (P(Verdadero) y Probabilidad bruta), indicando que las puntuaciones de confianza se alinean bien con la corrección empírica.
• Entrenamiento de Sonda (Probe Training): Cuando se utilizó como señal de entrenamiento para una sonda que predice la incertidumbre a partir de los estados ocultos del LLM, las puntuaciones del método permitieron que la sonda superara a las líneas base en entornos fuera de la distribución sin requerir etiquetas de corrección durante la inferencia.

Significado y Limitaciones

El artículo postula que la Autoevaluación Agrupada ofrece una solución práctica, efectiva y computacionalmente eficiente para la cuantificación de la incertidumbre. Al convertir el problema en una tarea de autoevaluación, cierra la brecha entre el conocimiento interno del modelo y las métricas de confianza interpretables por el usuario.

Los autores reconocen limitaciones específicas:

• Acceso a Logits: El método requiere acceso a los logits de salida, que pueden no estar disponibles para modelos de código cerrado.
• Dependencia Externa: Depende de un modelo NLI externo para la agrupación, lo que introduce una carga computacional y una posible desalineación semántica. Los autores sugieren que el trabajo futuro podría aprovechar las propias representaciones internas del LLM para la agrupación.
• Calibración: El método utiliza probabilidades softmax puras sin calibración post-hoc, aunque ya demuestra un fuerte rendimiento.

En conclusión, el artículo presenta un marco simple pero robusto que mejora la fiabilidad de los resultados de los LLM al permitir que los modelos evalúen su propia incertidumbre a través de la autorreflexión estructurada.