Harnessing Reasoning Trajectories for Hallucination Detection via Answer-agreement Representation Shaping

Resumen Técnico: Aprovechamiento de las Trayectorias de Razonamiento para la Detección de Alucinaciones mediante la Conformación de Representaciones de Acuerdo de Respuesta

Enunciado del Problema
Los Modelos de Razonamiento Grandes (LRM) generan trazas de razonamiento largas y coherentes antes de producir una respuesta final. Aunque estas trazas ofrecen señales ricas, a menudo oscurecen la detección de alucinaciones a nivel de respuesta. Son frágiles la exploración directa de estados ocultos a lo largo de toda la traza o el uso del texto de la traza para la detección; los detectores tienden a sobreajustarse a patrones estilísticos superficiales en el proceso de razonamiento en lugar de capturar la validez de la respuesta final. Además, los métodos existentes suelen depender de un muestreo costoso en tiempo de prueba (por ejemplo, generar múltiples respuestas para medir la consistencia) o requieren anotaciones humanas para entrenar clasificadores. El desafío central es destilar una señal estable, centrada en la respuesta, a partir de la trayectoria de razonamiento que sea robusta a las variaciones en la forma superficial e indicativa del riesgo de alucinación sin incurrir en altos costos de inferencia.

Metodología: Conformación de Representaciones de Acuerdo de Respuesta (ARS)
Los autores proponen ARS, un marco que aprende representaciones de respuesta condicionadas a la traza y favorables para la detección mediante la codificación explícita de la estabilidad de la respuesta a través de intervenciones latentes. El método opera en dos etapas principales:

1. Intervención Latente para Respuestas Contrafactuales:
   En lugar de perturbar el texto de la traza de razonamiento (lo cual puede interrumpir la coherencia o introducir señales espurias), ARS interviene directamente en el estado latente del modelo. Específicamente, se dirige al embedding del límite de la traza ($h$), definido como el estado oculto del último token de la trayectoria de razonamiento en la capa penúltima del LRM.

   • Se muestrean pequeños vectores de perturbación ($\delta$) de una distribución (por ejemplo, Gaussiana isotrópica) y se suman a $h$ para crear un estado modificado $\tilde{h} = h + \delta$.
   • El modelo continúa decodificando desde $\tilde{h}$ para generar una respuesta contrafactual ($\tilde{a}$).
   • Este proceso se repite $M$ veces para generar un conjunto de respuestas contrafactuales.

2. Conformación de Representaciones de Acuerdo de Respuesta:
   El marco construye pares de entrenamiento basados en el acuerdo entre la respuesta original ($a$) y las respuestas contrafactuales ($\tilde{a}$).

   • Pares Positivos: Respuestas contrafactuales que coinciden con la respuesta original ($Agr(a, \tilde{a}) = 1$).
   • Pares Negativos: Respuestas contrafactuales que no coinciden con la respuesta original ($Agr(a, \tilde{a}) = 0$).
   • Se entrena una función de mapeo ligera $g_\phi$ para transformar los embeddings de respuesta estándar ($u$) en embeddings conformados ($z$). El objetivo es una pérdida contrastiva que acerca los embeddings que coinciden al ancla y aleja los embeddings que no coinciden.
   • Crucialmente, los parámetros base del LRM ($\theta$) permanecen congelados; solo se entrena la cabeza ligera $g_\phi$. Este proceso no requiere etiquetas de alucinación de verdad fundamental, confiando únicamente en la consistencia interna de las propias generaciones del modelo.

Contribuciones Clave

• Primer Marco para la Conformación de Trazas: ARS se presenta como el primer marco que utiliza de manera principista las trayectorias de razonamiento para conformar representaciones de respuesta para la detección de alucinaciones en LRM, utilizando perturbaciones latentes en el límite de la traza para inducir respuestas contrafactuales.
• Objetivo Impulsado por el Acuerdo: El artículo introduce un objetivo que organiza los embeddings de respuesta basándose en si pequeños cambios internos preservan la respuesta, evitando la dependencia de perturbaciones de texto frágiles o anotaciones humanas.
• Análisis Teórico y Empírico: Los autores proporcionan una proposición teórica (Proposición 4.2) que vincula la probabilidad de separación por acuerdo de los embeddings conformados con el límite superior del error de detección de alucinaciones. Empíricamente, demuestran que la estabilidad de la respuesta (medida por la consistencia contrafactual) es predictiva de la veracidad.

Resultados
Se realizaron experimentos en cuatro conjuntos de datos (TruthfulQA, TriviaQA, GSM8K, MATH-500) utilizando múltiples familias de LRM (Qwen3-8B/14B, variantes DeepSeek-R1-Distill).

• Mejoras de Rendimiento: ARS supera consistentemente a líneas base sólidas, incluidos métodos basados en incertidumbre (Perplejidad, Entropía Semántica), métodos basados en consistencia (Similitud Léxica, SelfCKGPT) y detectores específicos de LRM (RHD, RACE, G-Detector).
  • En TruthfulQA con Qwen3-8B, ARS logró un AUROC del 86.64% (utilizando CCS como detector aguas abajo), una mejora sustancial sobre la línea base de embeddings estándar de LRM (66.85%) y otros métodos de última generación (por ejemplo, TSV en 77.08%).
  • Se observaron ganancias similares en todos los conjuntos de datos y tamaños de modelo, con mejoras que oscilan entre el 10% y el 20% sobre los embeddings estándar.
• Generalización: Las representaciones conformadas se transfieren efectivamente entre conjuntos de datos (por ejemplo, entrenar en GSM8K y probar en TriviaQA) y escalan a modelos más grandes (14 mil millones de parámetros).
• Eficiencia: A diferencia de las líneas base basadas en muestreo que requieren múltiples pasadas hacia adelante en la inferencia, ARS requiere solo una generación en tiempo de prueba. La sobrecarga de entrenamiento es mínima (por ejemplo, ~649 segundos para el conjunto de entrenamiento de TruthfulQA).

Significado y Afirmaciones
El artículo afirma que ARS aborda una falla crítica de fiabilidad en los LRM donde las trazas de razonamiento fluidas pueden ocultar errores factuales. Al conformar representaciones para reflejar la estabilidad de la respuesta bajo perturbaciones latentes, ARS expone los estados internos "frágiles" asociados con las alucinaciones. Los autores enfatizan que ARS es un componente de detección y no una garantía de veracidad, destinado a emparejarse con otras salvaguardas. El trabajo proporciona información sobre la geometría de la alucinación en modelos de razonamiento, sugiriendo que las respuestas alucinadas a menudo residen en regiones del espacio latente con márgenes de estabilidad bajos, lo cual puede exponerse efectivamente mediante la conformación de acuerdo de respuesta sin supervisión humana.