Density Ridge Selective Prediction for LLM and VLM Hallucination Detection under Calibration Label Scarcity

Resumen Técnico: Predicción Selectiva de Cresta de Densidad para la Detección de Alucinaciones en LLM y VLM

Planteamiento del Problema

El artículo aborda el desafío de la detección de alucinaciones en Modelos de Lenguaje de Gran Escala (LLM) y Modelos de Lenguaje y Visión (VLM) bajo condiciones de escasez de etiquetas de calibración. Si bien la detección de alucinaciones se está enmarcando cada vez más como una tarea de predicción selectiva (donde un modelo se abstiene de responder si la confianza es baja), los enfoques existentes enfrentan limitaciones significativas:

• Los detectores de muestreo no supervisados (p. ej., Entropía Semántica, EigenScore) evitan la necesidad de etiquetas, pero suelen estancarse en la calidad de detección.
• Las sondas de estados ocultos supervisadas (p. ej., SAPLMA) logran un fuerte rendimiento in-distribución, pero se degradan drásticamente cuando el número de etiquetas de calibración disponibles es bajo.

Los autores proponen explotar una señal complementaria: la geometría de las trayectorias de los estados ocultos durante la generación. Postulan que el muestreo repetido en una consulta fija traza una distribución multimodal en el espacio de embeddings, donde los modos codifican distintas estrategias de respuesta. Investigaciones recientes sugieren que la evolución de la curvatura de estas trayectorias es diagnóstica de la calidad del razonamiento.

Metodología

El método propuesto, Predicción Selectiva de Cresta de Densidad, recupera el "manifold de respuesta" de un LLM como una cresta de densidad de una Estimación de Densidad de Kernel (KDE) construida sobre características cinemáticas.

1. Mapa de Características Cinemáticas:
   Para cada completitud muestreada, el modelo extrae una trayectoria de estado oculto ($H_{i,j}$) de los estados del último token de la última capa. Un mapa de características $\phi$ proyecta estas trayectorias de alta dimensión en un espacio de seis dimensiones ($\mathbb{R}^6$) utilizando los siguientes descriptores cinemáticos:

   • Curvatura media ($K_n$) y curvatura máxima ($K_{max}$).
   • Linealidad de desplazamiento ($R^2$).
   • Desplazamiento medio y pico por paso ($\|\Delta h\|$, $\|v\|_{max}$).
   • Argmax normalizado de la curvatura ($\tau^\star$).
     Estas características se estandarizan mediante z-score usando estadísticas de entrenamiento.

2. Construcción de la Cresta:

   • El método ajusta una KDE gaussiana ($\hat{p}$) únicamente en el subconjunto de trayectorias correctas ($\tilde{X}^+$).
   • Calcula el gradiente ($g$) y la Hessiana ($\nabla^2 \log \hat{p}$) de la log-densidad.
   • Se define una cresta de densidad de 1-D ($R_1$) como el conjunto de puntos donde el gradiente proyectado sobre el subespacio normal es cero, y el autovalor correspondiente es negativo.
   • Se utiliza el Desplazamiento de Media Restringido al Subespacio (SCMS) para proyectar iterativamente los puntos hacia puntos fijos (vértices $V = \{v_k\}$) en esta cresta.
   • La verificación de la dimensión intrínseca (vía TwoNN) confirma que la cresta es unidimensional ($r=1$).
   • Se exploran tres variantes de coordenadas para representar la cresta: LTSA Global, longitud de arco de geodésica de Hastie–Stuetzle, y un Atlas de Cartas Locales Cosidas.

3. Puntuación e Interpretación OOD:

   • Para una consulta de prueba, el modelo genera $N$ trayectorias, las mapea al espacio de características de 6-D y calcula la distancia fuera de la cresta ($z_{off}$) como la distancia euclidiana mínima al vértice de la cresta más cercano.
   • La puntuación de confianza final es la media negativa de la distancia fuera de la cresta: $s(q) = -\frac{1}{N} \sum z_{off}$.
   • Dado que la cresta se ajusta exclusivamente con datos correctos, las generaciones incorrectas (alucinadas) son tratadas como Fuera de Distribación (OOD) independientemente de su propia densidad, lo que resulta en mayores distancias y puntuaciones más bajas.

Contribuciones Clave

1. Detector de Manifold de Respuesta: Un detector novedoso que recupera el manifold de respuesta de un LLM como una cresta de densidad sobre características de curvatura de trayectoria supervisadas y de baja dimensión.
2. Evaluación con Escasez de Etiquetas: Una evaluación rigurosa a través de nueve modelos (texto y visión) y siete benchmarks (incluyendo HaluEval-QA, TriviaQA, GSM8K, POPE, ScienceQA, A-OKVQA) utilizando un protocolo de calibración deliberadamente escaso ($n_{cal}=200$ consultas).
3. Estudios de Ablación: Análisis que aíslan la contribución de la geometría de la cresta a través de tres variantes de parametrización (LTSA, Longitud de Arco, Atlas) y configuraciones de kernel, demostrando que la estructura de la cresta, y no la distancia de embedding genérica, es lo que impulsa el rendimiento.

Resultados Experimentales

El método fue evaluado frente a la Entropía Semántica, la log-probabilidad y varios baselines topológicos/geométricos (p. ej., LID-MLE, Flow Matching, kNN).

• Ganancias de Rendimiento: La puntuación basada en la cresta superó consistentemente a todos los baselines en AUROC, mostrando ganancias de 5 a 20 puntos porcentuales a través de varias combinaciones de modelos y conjuntos de datos.
  • Ejemplo: En Idefics3/A-OKVQA, el AUROC mejoró de 0.795 (log-probabilidad) a 0.972 (Ridge LTSA Chart).
  • Ejemplo: En SmolVLM/ScienceQA, el AUROC aumentó de 0.790 a 0.990 (Ridge Arclength).
• Métricas de Error: El método redujo simultáneamente el AURC (Área Bajo la Curva de Riesgo) y el AUGRC, indicando una mejor gestión del riesgo al abstenerse.
• Estabilidad: Mientras que los baselines no basados en crestas (como Topology LID-MLE) se degradaron a niveles cercanos al azar (AUROC ~0.47–0.51) en ciertos entornos multimodales, el método de la cresta mantuvo un alto rendimiento.
• Robustez a la Cuantización: La jerarquía de rendimiento (Ridge > Log-Probability > No-Ridge) persistió bajo una cuantización nf4 agresiva, no solo en precisión bf16.
• Complementariedad: La señal geométrica demostró ser complementaria a la confianza a nivel de token (log-probabilidad), ya que el método de la cresta mejoró el AUROC incluso en datasets donde la log-probabilidad ya era fuerte (p. ej., HaluEval-QA).

Significancia y Reivindicaciones

El artículo afirma que el diferenciador principal entre las generaciones fieles y las alucinadas no es la ubicación bruta de los estados ocultos, sino la forma del espacio de características de la trayectoria. Específicamente:

• Geometría sobre Ubicación: Las distancias de embedding genéricas (kNN, PCA) son insuficientes; la cresta de densidad del manifold de 1-D recuperado es la señal crítica utilizada para la detección.
• Robustez ante la Escasez: El método demuestra una "degradación templada" bajo escasez de etiquetas, recuperando un fuerte rendimiento donde las sondas supervisadas suelen fallar.
• Limitaciones: Los autores señalan que la comparación directa se restringe a las celdas comunes a todos los detectores. También reconocen que la Entropía Semántica puede degenerar a un rendimiento de azar bajo escasez de datos y que el front-end de proyección supervisada requiere etiquetas de ambas clases al momento del ajuste. Se sugiere como trabajo futuro incluir ablaciones de kernel por eje y elevar las garantías conformes libres de distribución a la puntuación de la cresta.