Resumen Técnico: D-Score para la detección de alucinaciones

Planteamiento del problema

Los Modelos de Lenguaje Extensos (LLMs) generan frecuentemente texto fluido que contiene afirmaciones que son falsas, carecen de evidencia que las respalde o son inconsistentes con el conocimiento interno del modelo, un fenómeno conocido como alucinación. Los métodos de detección actuales suelen depender de recursos externos (sistemas basados en recuperación) o de múltiples pasadas de generación (métodos basados en consistencia), lo que aumenta los costos de inferencia y la complejidad. Existe la necesidad de mecanismos de detección que operen directamente sobre los estados internos de un modelo durante una única pasada hacia adelante (forward pass), sin requerir verificadores externos o muestreos repetidos.

Metodología: El D-Score

El artículo presenta el D-Score, un estadístico espectral derivado de la geometría de las activaciones ocultas dentro de un modelo transformer. La intuición central es que un texto bien respaldado induce una trayectoria oculta coherente concentrada a lo largo de unas pocas direcciones dominantes. Por el contrario, cuando un modelo procesa un texto que contiene una afirmación no respaldada que entra en conflicto con su conocimiento interno, la representación oculta puede codificar tanto el contenido afirmado como rastros de evidencia contradictoria, incertidumbre o falta de soporte. Este conflicto provoca que la trayectoria oculta se disperse a través de direcciones singulares adicionales, aumentando la dimensionalidad "efectiva" de la matriz de activación.

Formulación matemática

Dado un modelo $m$ fijo, una capa específica $j$ y un texto de entrada $\mathbf{x} = (x_1, \dots, x_T)$, el método construye una matriz de activación oculta $H^{(j)}(\mathbf{x}; m) \in \mathbb{R}^{d \times T}$, donde las columnas representan los estados ocultos de los tokens en la capa $j$.

Sean $\sigma_1 \ge \sigma_2 \ge \dots \ge \sigma_r > 0$ los valores singulares no nulos de $H^{(j)}(\mathbf{x}; m)$. El D-Score se define como el rango numérico relativo de esta matriz:
$$D^{(j)}_{\tau}(\mathbf{x}; m) = \max \{ n \le r : \frac{\sigma_1(H)}{\sigma_n(H)} \le \tau \}$$
donde $\tau > 1$ es un parámetro de tolerancia. El puntaje cuenta cuántas direcciones singulares permanecen significativas en relación con el valor singular principal $\sigma_1$.

Regla de detección

El detector clasifica una entrada como alucinada si el D-Score excede un nivel de decisión calibrado $\bar{D}$:
$$\hat{Y}(\mathbf{x}) = 1 \quad \text{si} \quad D_{\tau}(\mathbf{x}) > \bar{D}$$
Este enfoque requiere solo una pasada hacia adelante y el cálculo de los valores singulares principales (hasta el punto en que caigan por debajo del umbral relativo), lo cual puede estimarse eficientemente mediante métodos iterativos como el método de la potencia sobre la matriz de Gram $H^\top H$, evitando el costo computacional de un SVD completo para modelos de alta dimensionalidad.

Justificación teórica

El artículo define la alucinación interna del modelo como una afirmación no respaldada a la cual el modelo asigna una baja creencia de verdad interna. Postula que tales afirmaciones introducen "direcciones de conflicto" en el espacio de estados ocultos. Una proposición teórica demuestra que si el contenido no respaldado introduce $q$ direcciones suficientemente fuertes ortogonales a la representación coherente, el D-Score aumenta al menos en $q$. Por lo tanto, un D-Score alto sirve como un proxy para la presencia de estas direcciones de conflicto.

Contribuciones clave

1. Introducción del D-Score: Un estadístico espectral simple que representa el rango numérico relativo de la matriz de activación oculta, diseñado para medir la dispersión de la trayectoria del estado oculto.
2. Definición operacional: Una definición formal de alucinación interna del modelo basada en afirmaciones no respaldadas con baja creencia de verdad interna, distinguiéndolas de errores que el modelo no puede detectar internamente.
3. Argumento geométrico: Una justificación teórica que muestra cómo los textos alucinados pueden aumentar el D-Score al dispersar la trayectoria oculta a través de direcciones de conflicto adicionales (incertidumbre, evidencia contradictoria).
4. Evaluación empírica: Evaluación exhaustiva que demuestra que el D-Score es una señal fuerte para la detección de alucinaciones en múltiples modelos y conjuntos de datos.

Resultados experimentales

El D-Score fue evaluado en dos benchmarks: FAVA-Annotation (errores fácticos en generación de dominio abierto) y RAGTruth (alucinaciones en generación aumentada por recuperación). Los experimentos se realizaron en tres modelos de pesos abiertos: Llama-2-7B, Llama-3-8B y Vicuna-7B.

• Desempeño: El D-Score superó consistentemente a las líneas base de vanguardia (state-of-the-art), incluyendo el Hidden Score (un método espectral previo), los puntajes basados en perplejidad y las métricas basadas en entropía.
  • En FAVA-Annotation, el D-Score alcanzó el AUROC más alto en todos los modelos (por ejemplo, 66.98% para Llama-3-8B frente al 57.10% de Hidden Score).
  • En RAGTruth, el D-Score mantuvo un desempeño robusto (por ejemplo, 61.53% de AUROC para Llama-3-8B), mientras que el desempeño de Hidden Score cayó significativamente en Vicuna-7B (cerca del azar), mientras que el D-Score se mantuvo efectivo (60.20%).
• Correlación con la capacidad del modelo: La brecha de desempeño entre el D-Score y las líneas base fue más pronunciada en modelos más capaces (por ejemplo, Llama-3-8B), lo que sugiere que el método captura eficazmente las alucinaciones que el modelo reconoce internamente como no fácticas.
• Análisis de subconjuntos: Cuando se evaluó en un subconjunto de datos donde la autoevaluación explícita del modelo se alineaba con las anotaciones humanas (filtrando casos donde el modelo falló al reconocer sus propios errores), el D-Score alcanzó puntajes de AUROC aún más altos (hasta 72.51% en Llama-3-8B), confirmando que el método depende de la representación interna del error del modelo.

Significado y afirmaciones

El artículo afirma que el D-Score proporciona una señal fuerte en el estado oculto para la detección de alucinaciones que opera bajo estrictas restricciones de eficiencia:

• Eficiencia de pasada única: Requiere solo una pasada hacia adelante a través del modelo.
• Sin dependencias externas: No requiere recuperación externa, verificadores externos ni un segundo modelo.
• Sin múltiples generaciones: A diferencia de los métodos basados en consistencia, no requiere muestrear múltiples salidas.

Los autores posicionan al D-Score no como una caracterización universal de la verdad, sino como un puntaje de riesgo calibrado. Es particularmente efectivo para detectar "alucinaciones internas del modelo": errores donde el modelo posee la información necesaria para reconocer la inconsistencia pero falla en suprimirla en la salida final. El método destaca que la topología de la trayectoria del estado oculto (específicamente, la dispersión de los valores singulares) contiene información diagnóstica sobre la confianza del modelo y la presencia de señales internas conflictivas.

Limitaciones

Los autores reconocen varias limitaciones:

• Requisito de Caja Blanca (White-Box): El método requiere acceso a las activaciones ocultas, lo que lo hace inaplicable a modelos de código cerrado a menos que se proporcione dicho acceso.
• Visibilidad Interna: Solo puede detectar alucinaciones que dejan un rastro en el estado interno del modelo; si el modelo carece del conocimiento interno para reconocer un error, el D-Score podría no señalarlo.
• Confusión por Complejidad: Los D-Scores altos también pueden resultar de textos no alucinados largos, diversos o semánticamente complejos, lo que requiere una calibración cuidadosa.
• Sensibilidad de Parámetros: Aunque es robusto, el método depende de la elección de la capa, la tolerancia $\tau$ y el umbral de decisión $\bar{D}$.