Resumen Técnico: ¿Dónde se rompe el razonamiento? Detección de alucinaciones a nivel de paso mediante geometría de transporte de estados ocultos

1. Definición del Problema

Los Modelos de Lenguaje Grandes (LLM) alucinan frecuentemente durante tareas de razonamiento multi-paso, generando pasos intermedios fluidos pero incorrectos que propagan errores hacia la salida final. Los métodos de detección existentes adolecen de tres limitaciones principales:

1. Agregación a Nivel de Trazado: La mayoría de los detectores (por ejemplo, entropía semántica, autoconsistencia, SelfCheckGPT) asignan una única puntuación de confianza a una salida completa, fallando en localizar el primer error.
2. Sobrecarga de Inferencia: Métodos como la autoconsistencia requieren múltiples pasadas hacia adelante y muestreo, lo cual es computacionalmente costoso.
3. Estático vs. Dinámico: Las técnicas de sondeo actuales a menudo analizan enunciados fácticos estáticos en lugar de la dinámica de una trayectoria de razonamiento en desarrollo.

El artículo postula que detectar el momento preciso en que el razonamiento se rompe (localización del primer error) en una sola pasada hacia adelante es un requisito previo para un despliegue confiable. El desafío central es identificar dónde una cadena de razonamiento se desvía de un camino coherente sin depender de verificadores externos, muestreo o etiquetas en tiempo de inferencia.

2. Metodología: GeoReason

Los autores proponen GeoReason, un marco que trata la secuencia de representaciones ocultas en una sola pasada hacia adelante como una trayectoria en el espacio de representaciones. La alucinación se enmarca no como un error semántico, sino como una excursión localizada en el costo de transporte alejada de una variedad estable de transiciones localmente coherentes.

El sistema consta de dos componentes: un Profesor Condicionado por Etiquetas y un Estudiante Desplegable.

2.1. El Profesor (Límite Superior Diagnóstico)

El profesor es un modelo no desplegable utilizado para cuantificar la existencia de una señal geométrica en los estados ocultos. Opera de la siguiente manera:

• Normalización de Trazado: Para un trazado etiquetado, el profesor calcula un sistema de coordenadas local centrado en el "prefijo correcto" (pasos antes del primer error). Normaliza los estados ocultos con respecto a la media y la varianza de estos pasos correctos.
• Lente de PCA Contrastiva (cPCA): El profesor aprende una matriz de proyección $U$ utilizando PCA contrastiva. Esta lente se optimiza para maximizar la separación entre la distribución de transiciones correctas ($P_0$) y transiciones de primer error ($P_1$), suprimiendo al mismo tiempo las direcciones de alta varianza inherentes al razonamiento correcto.
  • El objetivo maximiza la separación de transporte: $\Gamma(U) = \text{Tr}(U^\top M U)$, donde $M = (\mu_1 - \mu_0)(\mu_1 - \mu_0)^\top + C_1 - \alpha C_0$.
• Extracción de Características Geométricas: En el espacio proyectado, el profesor extrae un bloque de características para cada paso, que incluye:
  • Posición: Distancia desde la variedad correcta.
  • Movimiento: Velocidad ($\|\Delta z_t\|$) y aceleración ($\|\Delta^2 z_t\|$).
  • Persistencia Direccional: Similitud del coseno entre vectores de transición consecutivos.
• Puntuación: Una MLP ligera mapea estas características geométricas a una probabilidad de alucinación a nivel de paso.

2.2. El Estudiante (Detector Desplegable)

El estudiante es un modelo BiLSTM desplegable diseñado para operar sin etiquetas en tiempo de inferencia, muestreo o verificadores externos.

• Arquitectura: Toma estados ocultos crudos como entrada y genera probabilidades a nivel de paso.
• Entrenamiento mediante Distilación: El estudiante se entrena para reproducir la señal de inestabilidad del profesor utilizando una mezcla de:
  1. Pérdida Supervisada: Entropía cruzada binaria estándar sobre etiquetas de paso.
  2. Distilación de Conocimiento: Divergencia Kullback-Leibler (KL) entre las distribuciones de probabilidad del estudiante y del profesor (objetivos suaves).
  3. Distilación de Características: Una cabeza auxiliar obliga al estudiante a igualar las representaciones de características geométricas del profesor.
• Inferencia: El estudiante realiza una sola pasada hacia adelante. El primer error predicho es el primer paso donde la probabilidad supera un umbral $\theta$.

3. Contribuciones Teóricas

El artículo proporciona tres garantías teóricas clave:

1. Optimalidad de cPCA (Teorema 3.1): Demuestra que la PCA contrastiva es la proyección óptima para maximizar la separación de transporte entre estados de primer error y estados correctos bajo un objetivo de distancia 2-Wasserstein al cuadrado.
2. Límite de Localización (Teorema 3.2): Establece que la localización del primer error en una sola pasada está garantizada si el primer error crea un "margen de transporte" positivo sobre las transiciones correctas precedentes. El error no necesita permanecer anómalo para siempre; la detección solo requiere que el primer paso incorrecto cree una excursión detectable.
3. Condición de Distilación (Proposición 3.3): Reduce el acuerdo entre profesor y estudiante a una condición de preservación de margen. Si el estudiante preserva el margen de decisión del profesor bajo desplazamientos de distribución, el índice del primer error será idéntico.

4. Resultados Experimentales

El método fue evaluado en ProcessBench, PRM800K, HaluEval y TruthfulQA.

4.1. Rendimiento Intra-Dominio

• Detección a Nivel de Paso: Ambos modelos superaron a las líneas base basadas en entropía, sondeo y atención. El profesor logró la mayor AUROC en tres de cuatro conjuntos de datos (por ejemplo, 96.0 en TruthfulQA). El estudiante logró el mejor rendimiento en PRM800K (99.8 AUROC).
• Localización del Primer Error: El profesor y el estudiante superaron significativamente a las líneas base en la identificación del paso exacto donde se rompió el razonamiento. Por ejemplo, el estudiante logró una precisión del 96.8% en TruthfulQA.

4.2. Generalización y Obstáculos de Despliegue

• Transferencia Entre Modelos: El profesor demostró un rendimiento estable entre diferentes familias de modelos (Qwen, Llama, Mistral), confirmando que una señal geométrica existe en los espacios ocultos independientemente del modelo específico.
• Colapso del Estudiante: El estudiante funcionó bien cuando se probó en el mismo modelo en el que fue entrenado, pero colapsó a un rendimiento cercano al aleatorio (AUROC ~33–58%) cuando se evaluó en diferentes familias de modelos o conjuntos de datos.
• Análisis: El artículo atribuye esta brecha a la falla del estudiante para preservar el margen de transporte bajo desplazamiento de distribución. Mientras que el profesor captura una señal de inestabilidad mecánica intrínseca a la geometría de los errores, el estudiante aprende una señal representacional que absorbe peculiaridades de codificación específicas del modelo, fallando en generalizar cuando la distribución subyacente cambia.

5. Significado y Afirmaciones

El artículo afirma reencuadrar la detección de alucinaciones a nivel de paso como un problema de dinámica de trayectorias en lugar de verificación semántica estática.

• Enfoque Geométrico: Introduce una visión novedosa donde las alucinaciones son "excursiones localizadas" en el costo de transporte de estados ocultos, distintas de la variedad estable del razonamiento coherente.
• Diagnóstico vs. Desplegable: Al separar la existencia de una señal (profesor) de la capacidad de recuperarla sin etiquetas (estudiante), los autores identifican el obstáculo central para el despliegue: preservar el margen de transporte contrastivo bajo desplazamiento de distribución.
• Rigor Teórico: El trabajo proporciona la primera justificación teórica para el uso de PCA contrastiva en este contexto y establece las condiciones bajo las cuales la localización en una sola pasada está matemáticamente garantizada.

Los autores concluyen que, aunque la señal geométrica para la detección del primer error es robusta y transferible (como lo demuestra el profesor), los métodos actuales de distilación son insuficientes para el despliegue entre dominios porque fallan en preservar el margen crítico requerido para límites de decisión confiables.