Hallucination Detection via Activations of Open-Weight Proxy Analyzers

Resumen Técnico: Detección de Alucinaciones mediante Activaciones de Analizadores Proxy de Peso Abierto

Declaración del Problema
Las pipelines de Generación Aumentada por Recuperación (RAG) son críticas para aplicaciones empresariales, pero sufren tasas de alucinación que oscilan entre el 5% y el 20% en tareas específicas de dominio. Los métodos de detección existentes enfrentan limitaciones significativas: la verificación post-hoc y los enfoques basados en incertidumbre son computacionalmente costosos, requiriendo múltiples pasadas del modelo; los métodos mecanísticos de caja blanca ofrecen alta precisión pero exigen acceso directo a los estados internos del generador. Esto excluye modelos de API cerrada (por ejemplo, GPT-4), sistemas multi-backend o escenarios donde volver a ejecutar un generador masivo únicamente para la detección es prohibitivo en costos. El desafío central es detectar alucinaciones sin acceder a los pesos ni a las activaciones internas del generador.

Metodología
Los autores proponen un marco de analizador proxy que desacopla el detector del generador. Dado un documento fuente ($S$), una pregunta ($Q$) y una respuesta candidata ($A$), el sistema introduce este texto en un modelo "analizador" pequeño, alojado localmente y de peso abierto. El detector se basa enteramente en las activaciones internas del analizador para determinar si $A$ es una alucinación, independientemente de qué modelo generó $A$.

El marco extrae 18 características fundamentadas en la mecánica de los transformadores durante una única pasada hacia adelante:

1. Señales de Activación (S1–S4):
   • S1 (Norma Residual): Rastrea el crecimiento de las normas de la corriente residual; las respuestas fieles muestran un crecimiento constante, mientras que las alucinaciones se estabilizan prematuramente.
   • S2 (Atención a la Fuente por Cabeza): La característica más crítica (~50% de la importancia de las características), midiendo la atención al documento fuente por cabeza y capa.
   • S3 (Entropía de Atención): La lectura fiel dispersa la atención; las alucinaciones colapsan sobre tokens memorizados.
   • S4 (Norma MLP): Rastrea la intensidad de activación de la memoria paramétrica, análogo a una "Puntuación de Conocimiento Paramétrico".
2. Señales de Logits e Interacción (S5–S7): Incluye trayectorias de lentes de logits, perplejidad condicional y términos de interacción que reflejan la dominancia de la memoria paramétrica sobre la lectura de la fuente.
3. Señales Externas y Léxicas (S8–S10): Incluye una puntuación Vectara HHEM, la relación de longitud entre respuesta y fuente, y la superposición de tokens Jaccard.
4. Señales de Ventana y Pendiente (S11–S15): Agrega S1 y S2 sobre una ventana fija de capas y analiza las pendientes de las normas residuales y las relaciones de fundamentación.
5. Estadísticas de Fundamentación a Nivel de Token (S16–S18): Nuevas estadísticas que capturan la puntuación mínima de fundamentación, la varianza y la pendiente de las trayectorias de fundamentación por token.

Se introduce una nueva puntuación de Importancia de Cabeza de Atención (AHI) para identificar qué cabezas de atención específicas separan mejor las respuestas fieles de las alucinadas, superando a las señales de atención media crudas bajo condiciones fuera de distribución (OOD).

El sistema emplea un ensamblaje por apilamiento (Regresión Logística, Bosque Aleatorio, HistGradientBoosting, XGBoost) entrenado con 72,135 muestras de cinco conjuntos de datos (HaluEval, RAGTruth, MedHallu, MiniCheck-Synthetic, ANLI). Un clasificador especializado, RagtStacking, se entrena exclusivamente con datos de RAGTruth para capturar patrones específicos de fallo de fidelidad.

Contribuciones Clave

1. Marco de Características: Introducción de 18 características fundamentadas mecanísticamente, incluidas tres nuevas estadísticas de fundamentación a nivel de token, derivadas de una única pasada hacia adelante de un modelo de peso abierto.
2. Importancia de Cabeza de Atención (AHI): Una métrica supervisada que identifica cabezas de atención específicas críticas para la fundamentación, demostrando una estabilidad superior bajo desplazamientos OOD en comparación con las medias de atención crudas.
3. Estudio de Escala vs. Arquitectura: Una evaluación exhaustiva en siete modelos (de 0.5B a 9B parámetros) de cuatro familias (Qwen2.5, Gemma-2, Pythia, LLaMA-3), revelando que la familia del modelo y el diseño de la arquitectura a menudo superan a la cantidad de parámetros.
4. Evaluación de Rendimiento: Demostración de que los analizadores proxy pueden superar a los métodos de caja blanca más avanzados (ReDeEP) sin acceso al generador.
5. Correlación Tarea-Profundidad: Descubrimiento de que las señales de detección de alucinaciones alcanzan su punto máximo a diferentes profundidades de capa dependiendo del tipo de tarea (por ejemplo, las preguntas y respuestas alcanzan su punto máximo más profundamente que la verificación de afirmaciones).

Resultados

• Benchmarks Principal (RAGTruth): En todas las siete arquitecturas de analizadores, el sistema superó consistentemente el AUC a nivel de token de ReDeEP (0.73) en 7.4 a 10.3 puntos porcentuales.
  • Qwen2.5-7B logró un F1 de 0.717 y un AUC de 0.834 (con RagtStacking), superando el F1 a nivel de token de ReDeEP (0.713).
  • Gemma-2-9B logró el AUC más alto de 0.836.
  • Qwen2.5-0.5B logró un F1 de 0.706, demostrando que los modelos sub-mil millones son viables.
• Convergencia del Tamaño del Modelo: A pesar de una diferencia de 18 veces en la cantidad de parámetros, la dispersión del AUC entre los siete modelos fue de solo 2.3 puntos porcentuales (de 0.814 a 0.837).
• La "Anomalía LLaMA": Contrariamente a las leyes de escalado, LLaMA-3-3B superó a LLaMA-3-8B en RAGTruth (AUC 0.822 vs. 0.819; F1 0.698 vs. 0.687). El modelo de 8B solo se recuperó en datos OOD, lo que sugiere que dentro de la misma familia, un tamaño mayor no garantiza una mejor detección.
• Rendimiento OOD: En LLM-AggreFact, todos los modelos se agruparon dentro de 2.8 puntos porcentuales de la precisión equilibrada. Las brechas de rendimiento con los puntos de referencia se atribuyeron a desajustes en la longitud del documento fuente (1,200 caracteres en el entrenamiento frente a ~3,000 en AggreFact), no a un fallo fundamental de la señal. Seis de las 18 señales permanecieron estables ante los desplazamientos de longitud.
• Agnosticismo del Generador: El sistema funcionó consistentemente a través de generadores (GPT-4, GPT-3.5, Mistral-7B, variantes de Llama-2), confirmando la detección de patrones de alucinación del documento fuente en lugar de artefactos específicos del generador.

Significado y Afirmaciones
El artículo afirma que el diseño de la arquitectura es un impulsor más fuerte de la calidad de la detección que la cantidad cruda de parámetros. Los resultados desafían la intuición de que "más grande es siempre mejor", mostrando que un modelo Qwen de 0.5B puede igualar o superar a modelos diez veces más grandes, y que un LLaMA de 3B puede superar a su contraparte de 8B.

Los autores afirman que su enfoque proporciona una guardia universal para los sistemas RAG. Al separar el detector del generador, el sistema puede desplegarse en diversos backends (incluidas APIs cerradas) con una única implementación. Los hallazgos sugieren que la alucinación es una propiedad de la discrepancia entre la respuesta y la fuente, detectable a través del estado interno de cualquier transformador que lea el texto, haciendo irrelevante el generador específico para el proceso de detección. El artículo concluye que, aunque existen brechas OOD actuales debido a las restricciones de los datos de entrenamiento (longitud de la fuente), la estabilidad central de la señal indica que el enfoque es fundamentalmente sólido para un despliegue más amplio.