Resumen Técnico: Alucinación como Anomalía mediante Circuitos Probabilísticos

Enunciado del Problema

Los Modelos de Lenguaje Grandes (LLM) sufren de alucinaciones, generando salidas fluidas pero factualmente incorrectas. Aunque los métodos de detección existentes (monitoreo de incertidumbre) y los métodos de corrección (ingeniería de representaciones) muestran promesa individualmente, su combinación revela una limitación fundamental denominada Asimetría Detección-Corrección. Las técnicas de corrección actuales a menudo aplican vectores de dirección indiscriminadamente a cada token. Esta edición continua de estados latentes empuja las activaciones fuera de la variedad preentrenada del modelo, degradando la fluidez y corrompiendo generaciones originalmente correctas. El artículo argumenta que la corrección sin puerta puede corromper entre el 26% y el 90% de las generaciones factuales, haciendo necesario un marco que desacople la detección de la corrección para preservar la integridad de las salidas factuales.

Metodología

Los autores proponen un marco de dos etapas: PCNET para la detección de anomalías tratable y PC-LDCD para una corrección con puerta, que preserva la variedad.

1. PCNET: Detección de Anomalías Latentes Tratable

PCNET es un Circuito Probabilístico (PC) entrenado como un estimador de densidad sobre una proyección de baja dimensión del flujo residual del LLM.

• Arquitectura: El estado oculto final del LLM ($h \in \mathbb{R}^{D_{LLM}}$) se proyecta mediante un cuello de botella de Perceptrón Multicapa (MLP) hacia un espacio latente compacto ($z \in \mathbb{R}^{D_{PC}}$). PCNET modela la distribución de probabilidad conjunta $P(z)$ sobre este espacio.
• Estructura: El circuito es un Grafo Acíclico Dirigido (DAG) que comprende nodos de Entrada, Suma y Producto. A diferencia de los PC estándar, los nodos de Entrada utilizan una mezcla heterogénea de distribuciones Gaussiana, Laplace y Student-T para capturar la geometría compleja y de colas pesadas de las representaciones de los LLM.
• Entrenamiento: El PCNET y el cuello de botella de proyección se optimizan conjuntamente utilizando un objetivo compuesto: un término generativo (Log-verosimilitud Negativa sobre estados factuales) y un término de margen contrastivo (empujando estados alucinados hacia regiones de baja densidad). El LLM base permanece congelado.
• Inferencia: PCNET calcula la Log-verosimilitud Negativa (NLL) exacta de un estado latente en una sola pasada hacia adelante, sin muestreo ni verificadores externos. Una NLL alta indica una anomalía geométrica, señalando una desviación de la "variedad factual".

2. PC-LDCD: Corrección que Preserva la Variedad

PC-LDCD (Decodificación Contrastiva de Densidad Latente con Circuito Probabilístico) utiliza PCNET como una puerta dinámica para intervenir solo cuando es necesario.

• Puerta Dinámica: En cada paso de decodificación, se calcula la NLL del estado actual. Si la NLL supera un umbral calibrado $\tau$, se dispara una intervención. Si el estado se considera factual (NLL baja), la decodificación estándar procede sin cambios, preservando el comportamiento del modelo base.
• Mirada Adelante Discreta: Cuando se detecta una anomalía, el sistema suspende la decodificación estándar. Realiza una búsqueda de visión hacia adelante de $k$ candidatos en el espacio de tokens discretos. El token óptimo se selecciona maximizando una log-probabilidad penalizada:
  $$\text{Puntuación}_{LDCD}(c_i) = \log P_{LM}(c_i | x_{<t}) - \beta_t \cdot \text{SNLL}(f_\phi(h(c_i)_{t+1}))$$
  Aquí, $\beta_t$ es un parámetro de fuerza dinámica basado en la puntuación de anomalía, y $\text{SNLL}$ es la NLL del estado futuro hipotético. Este enfoque contrasta la confianza generativa contra la densidad logarítmica exacta de la variedad aprendida, interviniendo solo para evitar que la trayectoria se profundice en regiones alucinadas.

Contribuciones Clave

1. Investigación Empírica de la Asimetría Detección-Corrección: El artículo demuestra sistemáticamente que la ingeniería de representaciones sin puerta corrompe las generaciones factuales, estableciendo la necesidad matemática de intervenciones con puerta.
2. Detección de Anomalías Latentes Tratable (PCNET): Los autores introducen PCNET, demostrando que la estimación de densidad exacta sobre una variedad latente entrenada contrastivamente identifica alucinaciones con un AUROC de última generación en diversos modelos y puntos de referencia, sin muestreo ni modificaciones de pesos.
3. Corrección que Preserva la Variedad (PC-LDCD): La estrategia de decodificación con puerta basada en densidad propuesta logra la tasa de corrupción más baja y la tasa de preservación más alta entre los métodos evaluados, corrigiendo con éxito las alucinaciones mientras deja intactas las generaciones correctas.

Resultados Experimentales

El marco fue evaluado en cuatro LLM (que van desde 1B hasta 8B parámetros) y cuatro puntos de referencia (CoQA, SQuAD v2.0, TriviaQA y TruthfulQA).

• Rendimiento de Detección: PCNET logró una detección de alucinaciones casi perfecta en CoQA, SQuAD v2.0 y TriviaQA, con puntuaciones AUROC alcanzando hasta el 99%. Superó significativamente a líneas base como Token-NLL, Sondas de Entropía Semántica (SEP) y HaloScope, particularmente en puntos de referencia intensivos en conocimiento y adversarios.
• Eficacia de Corrección:
  • Preservación: PC-LDCD redujo la tasa media de corrupción de las generaciones factuales al 53.7% y logró una tasa de preservación del 79.3%, superando significativamente a las líneas base sin puerta.
  • Veracidad: En TruthfulQA, PC-LDCD obtuvo las puntuaciones True+Info, MC2 y MC3 más altas en tres de los cuatro modelos. Mejoró notablemente MC2 y MC3 (métricas que miden la incertidumbre calibrada sobre múltiples completaciones verdaderas), sugiriendo que produce distribuciones de salida más robustamente verdaderas en lugar de simplemente desplazar la confianza de una sola respuesta.
  • QA Estándar: En puntos de referencia de QA estándar, PC-LDCD se mantuvo competitivo, igualando o quedando muy cerca de las mejores líneas base (por ejemplo, logrando un EM de SQuAD de 0.87 en Mistral-7B).
• Eficiencia: El método no requiere recuperación externa ni actualizaciones de pesos. Los estudios de ablación mostraron que un rendimiento de detección casi óptimo es alcanzable con tan solo 100 muestras de entrenamiento y una dimensión de proyección de 128.

Significado y Afirmaciones

El artículo afirma que al enmarcar las alucinaciones como anomalías geométricas en una variedad factual y utilizar Circuitos Probabilísticos para la estimación exacta de densidad, es posible resolver la tensión entre la detección y la corrección. El significado principal radica en el mecanismo de puerta: al enrutar las correcciones exclusivamente hacia el espacio de tokens discretos solo cuando la geometría latente se desvía, el método evita el "colapso semántico" causado por la edición continua indiscriminada.

Los autores posicionan su trabajo como un paso hacia el despliegue confiable de LLM en dominios de alto riesgo, ofreciendo una señal de incertidumbre principista de un solo paso que no depende de la sobreconfianza de las probabilidades de los tokens ni de la sobrecarga computacional del muestreo de múltiples pasos. Reconocen limitaciones, incluida la necesidad de un pequeño conjunto de calibración de estados etiquetados y el alcance de la evaluación actual limitado a modelos de hasta 8B parámetros, dejando abierta la pregunta sobre la separación geométrica en modelos más grandes.