Resumen Técnico: HALT (Evaluación de Alucinaciones mediante Log-probs como series temporales)

1. Planteamiento del Problema

Los Modelos de Lenguaje Grande (LLMs) producen con frecuencia alucinaciones: salidas que contienen información verificablemente falsa o no respaldada. Esto constituye una barrera significativa para el despliegue de los LLMs en dominios de seguridad crítica. Los métodos de detección existentes enfrentan limitaciones distintas:

• Enfoques de caja blanca (white-box): requieren acceso a los estados internos del modelo (activaciones ocultas, mapas de atención), lo cual es imposible para las API propietarias y de código cerrado.
• Enfoques de caja negra (black-box) basados en texto: a menudo dependen de recuperación externa, llamadas adicionales a la API o LLMs auxiliares para juzgar la consistencia. Estos introducen latencia, costo y el riesgo de que el propio modelo "juez" alucine o introduzca sesgo de dominio.
• Enfoques basados en la incertidumbre: a menudo dependen de estadísticas agregadas (por ejemplo, media de confianza, entropía general) que pueden fallar al capturar la dinámica temporal de los errores de calibración del modelo.

Los autores postulan que, si bien las probabilidades de los tokens por sí solas no son indicadores fiables de la veracidad debido a los sesgos de calibración, la evolución temporal de estas probabilidades contiene señales estables de incertidumbre. La pregunta central de investigación es: ¿Pueden detectarse las alucinaciones modelando únicamente la secuencia de log-probabilidades de los tokens sin analizar el texto generado ni consultar referencias externas?

2. Metodología

2.1. Paradigma Central: Log-probs como Serie Temporal

HALT trata la secuencia de log-probabilidades de los top-$k$ tokens como un problema de clasificación de series temporales. En lugar de colapsar las probabilidades en estadísticas resumidas, el método preserva la secuencia ordenada de la confianza del modelo en cada paso de decodificación.

Representación de Entrada:
Para una respuesta de longitud $T$, el modelo extrae las 20 log-probabilidades superiores ($\ell_t \in \mathbb{R}^{20}$) en cada paso de tiempo $t$. Estas se concatenan con cinco características diseñadas para formar un vector de características enriquecido $\tilde{\ell}_t$:

1. Log-Probabilidad Promedio: Un sustituto de la nitidez de la distribución.
2. Proxy de Rango (Rank Proxy): Un rango acotado del token seleccionado dentro de los top-20, que captura elecciones no codiciosas (non-greedy) o atípicas.
3. Entropía Global ($H_{overall}$): Incertidumbre sobre el token seleccionado y sus alternativas.
4. Entropía solo de Alternativas ($H_{alts}$): Desacuerdo entre los candidatos competidores.
5. Cambio Temporal en la Entropía de Decisión ($\Delta H_{dec}$): Captura transiciones bruscas en la certeza entre el token seleccionado y la mejor alternativa.

La entrada final es una serie temporal $\tilde{\ell}_{1:T} \in \mathbb{R}^{T \times 25}$.

2.2. Arquitectura

El modelo emplea una Unidad Recurrente de Puerta Bidireccional (GRU) ligera con 5 millones de parámetros.

• Codificador (Encoder): Una GRU bidireccional multicapa procesa la secuencia para capturar patrones temporales tanto en dirección hacia adelante como hacia atrás.
• Agrupación (Pooling): Un mecanismo de Top-$q$ pooling (donde $q=0.15$) agrega los estados ocultos. Este promedia los pasos de tiempo más salientes (aquellos con las normas de estado oculto más grandes), centrándose en los momentos de cambios bruscos de confianza en lugar de diluir las señales a través de todos los tokens.
• Salida: Una capa lineal produce un único logit para la clasificación binaria (alucinada vs. fiel), entrenada con pérdida de entropía cruzada binaria.

2.3. Hipótesis Clave

Los autores proponen cuatro hipótesis validadas en el estudio:

1. Sesgo Específico del Modelo: Cada LLM tiene una función de sesgo de calibración determinista que gobierna sus probabilidades top-$k$.
2. Capacidad de Aprendizaje (Learnability): Una GRU puede aprender a aproximar esta dinámica inducida por el sesgo, asociando patrones temporales específicos con las alucinaciones.
3. No Transferibilidad: Los detectores entrenados en las log-probs de un modelo no se transfieren de manera fiable a un modelo con arquitectura diferente debido a los diferentes sesgos de calibración.
4. Generalización de Tareas: Dentro de un mismo modelo, un detector entrenado en una familia de tareas se generaliza a otras porque el sesgo de calibración subyacente es consistente entre tareas.

3. Benchmark: HUB (Hallucination detection Unified Benchmark)

Para evaluar el método, los autores introducen HUB, un benchmark exhaustivo que abarca 10 capacidades de LLM:

• Orientadas al Razonamiento: Algorítmica, Sentido Común, Matemática, Razonamiento Simbólico y Generación de Código.
• Propósito General: Chat, Datos-a-Texto, Respuesta a Preguntas, Resumen y Conocimiento del Mundo.

HUB extiende conjuntos de datos previos (FAVA, RAGTruth, HaluEval) e integra CriticBench para incluir alucinaciones lógicas (pasos de razonamiento defectuosos que conducen a respuestas incorrectas o acertadas por suerte) junto con las alucinaciones fácticas. El conjunto de datos se divide en conjuntos de entrenamiento, validación y prueba, restringiendo el entrenamiento a Chat, Datos-a-Texto y QA para probar rigurosamente la generalización fuera de la distribución (out-of-distribution) en tareas de razonamiento.

4. Resultados

4.1. Rendimiento en HUB

HALT supera significativamente a las líneas base existentes:

• Eficiencia: HALT es 30$\times$ más pequeño que el detector Lettuce (un codificador ModernBERT-base ajustado) y logra una aceleración de 60$\times$.
• Precisión: HALT alcanza los mejores puntajes de Macro-F1 en 7 de los 10 grupos.
  • HALT-L (entrenado en LLaMA 3.1-8B) logra un Macro-F1 global de 67.01, superando a Lettuce (64.00) y a las líneas base de estadísticas agregadas (por ejemplo, $H_{overall}$ con 32.86).
  • Sobresale particularmente en tareas de razonamiento (Algorítmica, Sentido Común, Simbólica) donde las claves de calibración a nivel de secuencia son más predictivas que las heurísticas a nivel de texto.

4.2. Transferibilidad y Generalización

• Entre Tareas (Cross-Task): HALT demuestra una fuerte generalización a través de diferentes familias de tareas dentro del mismo modelo, lo que respalda la hipótesis de que el sesgo de calibración es independiente de la tarea.
• Entre Modelos (Cross-Model): Como se predijo, el rendimiento cae significativamente cuando un detector entrenado en las log-probs de LLaMA se aplica a las de Qwen (y viceversa), confirmando que la dinámica de calibración es específica del modelo y no es directamente transferible entre arquitecturas.
• Robustez: HALT se mantiene competitivo en benchmarks externos (FAVA, RAGTruth) a pesar de no haber sido ajustado específicamente para ellos.

5. Significancia y Reivindicaciones

El artículo reclama las siguientes contribuciones y significancia:

• Nuevo Paradigma de Caja Negra: HALT introduce un método de detección que depende únicamente de las log-probabilidades de los tokens, evitando la necesidad de análisis de la forma superficial del texto, validadores externos o acceso interno al modelo. Esto lo hace singularmente aplicable a las API propietarias.
• Dinámica Temporal sobre Métricas Estáticas: El trabajo demuestra que tratar las log-probabilidades como una serie temporal captura patrones de incertidumbre (por ejemplo, picos abruptos de entropía, inversiones de rango) que las estadísticas agregadas pasan por alto.
• Marco Unificado: Al integrar los fallos de razonamiento lógico en la definición de alucinación, HUB proporciona una visión más amplia de la infidelidad semántica, yendo más allá de la simple verificación fáctica.
• Eficiencia Práctica: El método ofrece una alternativa altamente eficiente a los codificadores grandes, permitiendo la detección de alucinaciones en tiempo real con una sobrecarga mínima, ya que solo requiere el flujo de log-probabilidades que ya suele estar disponible durante la generación.

Los autores concluyen que, si bien HALT no está ligado a un solo modelo, aprende dinámicas de incertidumbre transferibles que se generalizan a través de las tareas dentro de un modelo, estableciendo una nueva modalidad para analizar la incertidumbre del modelo sin requerir acceso a los pesos o datos externos.