Entropy Alone is Insufficient for Safe Selective Prediction in LLMs

Resumen Técnico: Entropía por sí sola es insuficiente para la predicción selectiva segura en LLMs

1. El Problema

Los Grandes Modelos de Lenguaje (LLMs) avanzados, a pesar de su capacidad, sufren de alucinaciones: generan respuestas fluidas pero factualmente incorrectas, a menudo con un alto grado de confianza. En dominios de alto riesgo (como la atención médica), propagar estos errores es inaceptable.

La predicción selectiva es una estrategia donde el sistema se abstiene de responder cuando la incertidumbre es alta. Sin embargo, los métodos actuales de cuantificación de incertidumbre (UQ) basados únicamente en la entropía (medida de la dispersión de la distribución de salida del modelo) presentan fallos críticos:

• Dependencia del modelo: Su eficacia varía drásticamente entre diferentes arquitecturas de modelos.
• Fallo de "Respuesta Segura pero Incorrecta": Se identifica un modo de fallo característico donde los modelos producen alucinaciones con baja entropía (distribuciones de salida muy concentradas y confiables, pero incorrectas). En estos casos, la entropía falla al detectar el error, llevando a una abstención poco fiable.
• Evaluación inadecuada: La literatura previa evalúa estos métodos principalmente con métricas globales como AUROC, que pueden ocultar fallos críticos en regímenes de seguridad estricta (bajas tasas de error objetivo).

2. Metodología

Los autores proponen un enfoque híbrido y una nueva metodología de evaluación enfocada en el despliegue.

A. Señales de Riesgo Utilizadas:

1. Métodos Basados en Entropía:
   • NLL de Secuencia: Log-verosimilitud negativa media.
   • Entropía Semántica (SE): Mide la dispersión semántica agrupando múltiples muestras de completado.
   • Sonda de Entropía Semántica (SEP): Un probe lineal ligero que aproxima la SE sin necesidad de muestreo costoso en tiempo de prueba.
2. Sonda de Correctitud (PC Probe):
   • Un clasificador de regresión logística entrenado sobre las representaciones del prompt para predecir si la respuesta es correcta (usando etiquetas de verdad externa).
   • Se convierte en una señal de riesgo: $u_{pc}(x) = 1 - p_{pc}(x)$.
3. Combinación:
   • Se entrena una regresión logística de dos características que combina la señal de entropía ($u_{ent}$) y la señal de correctitud ($u_{pc}$) para generar una puntuación de riesgo unificada.

B. Configuración Experimental:

• Modelos: Cuatro familias (Mistral, Llama, Qwen, Gemma) en rangos de 3B a 8B parámetros.
• Datasets: Tres benchmarks de preguntas y respuestas (QA): TriviaQA (conocimiento general), BioASQ (biomedicina) y MedicalQA (médico).
• Métricas de Evaluación (Enfoque en Despliegue):
  • AUROC/AUPRC: Para detección de alucinaciones (estándar).
  • E-AURC (Área Excesiva bajo la Curva Riesgo-Cobertura): Mide el compromiso entre la tasa de error y la cantidad de respuestas aceptadas.
  • TCE (Error de Calibración Objetivo): Mide qué tan cerca está la tasa de alucinación real de la tasa objetivo ($\alpha$) en puntos de operación específicos. Esto es crucial para garantizar que el sistema opere bajo un nivel de riesgo predefinido.

3. Contribuciones Clave

1. Identificación del Modo de Fallo "Seguro pero Incorrecto": Demostraron que los modelos pueden generar alucinaciones con entropía casi nula (muy confiables), lo que hace que los métodos basados solo en entropía fallen catastróficamente en regímenes de alta confianza.
2. Mejora mediante Combinación: Probaron que combinar señales de entropía con una sonda de correctitud supervisada mitiga este fallo, mejorando tanto la detección de alucinaciones como la capacidad de abstención selectiva.
3. Cambio de Paradigma en la Evaluación: Argumentan que las métricas globales (como AUROC) son insuficientes para garantizar la seguridad operativa. Proponen el uso de TCE y E-AURC como métricas estándar para evaluar si un sistema puede ser confiable en niveles de riesgo estrictos (ej. <15% de error).

4. Resultados Principales

• Rendimiento General: El método combinado (Entropía + Sonda de Correctitud) superó consistentemente a los baselines de solo entropía en las tres métricas de despliegue (E-AURC y TCE) en la mayoría de las combinaciones de modelo y dataset.
• Correlación Complementaria: Las señales de entropía y de correctitud tienen una correlación moderada (Spearman $\rho \approx 0.5$), lo que indica que capturan aspectos diferentes de la incertidumbre.
• Casos Específicos:
  • En el modelo Qwen, la Entropía Semántica (SE) falló notablemente al colapsar muchas respuestas (correctas e incorrectas) a una entropía de cero. La sonda de correctitud (PC) logró distinguir estas respuestas, demostrando su valor crítico.
  • En MedicalQA (la tarea más difícil), la mejora fue menor, lo que sugiere que cuando la precisión base del modelo es muy baja, calibrar la sonda de correctitud se vuelve más difícil.
• Calibración en Regímenes de Alta Confianza:
  • Los métodos basados solo en entropía mostraron un "suelo de riesgo" (risk floor); no podían entrar en el régimen de alta confianza (ej. riesgo $\le 0.15$) sin sacrificar una cobertura significativa.
  • Los métodos combinados lograron reducir este suelo de riesgo, permitiendo operar con mayor cobertura manteniendo el riesgo por debajo del umbral objetivo, y mostrando una calibración mucho más precisa (el riesgo real se alineaba mejor con el objetivo).

5. Significado e Impacto

Este trabajo es fundamental para el despliegue seguro de LLMs en aplicaciones críticas:

• Seguridad Operativa: Demuestra que confiar únicamente en la incertidumbre intrínseca del modelo (entropía) es peligroso. Se requiere información externa o supervisada (sondas de correctitud) para detectar alucinaciones "seguras".
• Evaluación Realista: Aboga por abandonar la evaluación puramente teórica (AUROC) a favor de métricas que reflejen la capacidad del sistema de cumplir con garantías de seguridad específicas en el mundo real.
• Eficiencia: La solución propuesta (combinación de señales) no requiere inferencia adicional costosa más allá de un solo paso hacia adelante del LLM (en el caso de usar la sonda SEP o NLL), lo que la hace viable para producción.

En conclusión, el artículo establece que para lograr una predicción selectiva verdaderamente segura, los sistemas deben integrar múltiples señales de incertidumbre y ser evaluados bajo métricas que garanticen el control de riesgos en puntos de operación estrictos.