Resumen Técnico: Perturbación de Incrustaciones para la Incertidumbre en Pasos Intermedios del Razonamiento de LLM

Declaración del Problema

Los Modelos de Lenguaje Grandes (LLM) han logrado avances significativos en tareas de razonamiento, pero siguen siendo propensos a generar resultados poco fiables o engañosos. Si bien existen técnicas de Cuantificación de la Incertidumbre (UQ) para estimar la confianza del modelo en sus respuestas finales, a menudo son inadecuadas para la incertidumbre en pasos intermedios dentro de las cadenas de razonamiento. Los métodos existentes enfrentan varias limitaciones:

• Enfoques basados en muestreo (por ejemplo, autoconsistencia) requieren generar múltiples respuestas para verificar el acuerdo. Aunque son efectivos para las respuestas finales, son computacionalmente costosos y tienen dificultades para identificar el paso intermedio específico donde se origina un error.
• Métricas basadas en probabilidad (por ejemplo, probabilidad de token, entropía, margen) a menudo no logran distinguir entre tokens de baja probabilidad que son lingüísticamente raros pero correctos, y aquellos que representan errores genuinos de razonamiento. También tienen dificultades para capturar dependencias contextuales a largo plazo necesarias para auditar errores de razonamiento.
• Métodos basados en Bayes (por ejemplo, perturbación de pesos) pueden ser computacionalmente pesados, particularmente para modelos grandes.

El problema central abordado es la falta de métricas eficientes y de granularidad fina capaces de identificar los tokens o pasos específicos dentro de una cadena de razonamiento donde la incertidumbre del modelo es más alta, indicando así un posible error.

Metodología

Los autores proponen la Perturbación de Incrustaciones como un enfoque novedoso para cuantificar la incertidumbre intermedia. La hipótesis central es que los pasos de razonamiento incorrectos contienen tokens que son altamente sensibles a pequeñas perturbaciones en las incrustaciones de los tokens precedentes. Esta sensibilidad refleja la vacilación interna del modelo entre múltiples continuaciones competitivas (es decir, el modelo está "inseguro" sobre si proceder con el token actual o con un token rival).

El método opera bajo la premisa de que los LLM son autoregresivos; la generación de un token $x_t$ depende exclusivamente de los tokens precedentes $x_{1:t-1}$. Los autores definen la probabilidad de generación del token como una función de las incrustaciones de los tokens precedentes $H_{1:t-1}$. Miden la sensibilidad del modelo a las perturbaciones en estas incrustaciones utilizando dos métricas específicas:

1. Perturbación Aleatoria (Pert. Aleat.):

   • Se añade ruido gaussiano aleatorio $\Delta \sim \mathcal{N}(0, \sigma^2 I)$ a las incrustaciones de todos los tokens en la entrada y la respuesta.
   • La métrica se define como la varianza del logaritmo de la probabilidad del token objetivo $x_t$ sobre múltiples muestras de ruido:
     $$\text{Pert.}(x_t) = \text{Var}_{\Delta} [\log \text{Pr}(x_t | \tilde{H}_{1:t-1})]$$
   • Esto captura la inestabilidad de la selección del token bajo ligeras variaciones del contexto.

2. Perturbación Adversarial (Pert. Adv.):

   • En lugar de muestreo aleatorio, las incrustaciones se modifican a lo largo de la dirección que disminuye máximamente el logaritmo de la probabilidad total de la respuesta generada (utilizando un gradiente con signo).
   • La métrica es la diferencia en el logaritmo de la probabilidad antes y después de la perturbación:
     $$\text{Pert.}(x_t) = \log \text{Pr}(x_t | H_{1:t-1}) - \log \text{Pr}(x_t | \hat{H}_{1:t-1})$$
   • Esto identifica los tokens que se ven más interrumpidos por un desplazamiento adversarial, indicando una proximidad al límite de decisión entre el token seleccionado y un "token rival".

Perspectiva Teórica:
El documento proporciona un análisis teórico que demuestra que estas sensibilidades a la perturbación aproximan inversamente la distancia geométrica desde la incrustación actual hasta el límite de decisión entre el token seleccionado y un token rival. Una puntuación alta de sensibilidad implica que la incrustación está cerca de un límite donde se seleccionaría un token diferente (que potencialmente conduciría a una ruta de razonamiento diferente), señalando una alta incertidumbre. Crucialmente, los autores argumentan que esta métrica está menos sesgada por las frecuencias naturales de los tokens en el lenguaje en comparación con las métricas basadas en probabilidad cruda.

Contribuciones Clave

1. Nuevas Métricas UQ: Introducción de métricas basadas en perturbación (Aleatoria y Adversarial) diseñadas específicamente para capturar la incertidumbre en pasos intermedios en el razonamiento de LLM, distintas de la confianza en la respuesta final.
2. Justificación Teórica: Una demostración formal de que la sensibilidad a la perturbación aproxima la norma del gradiente, lo que a su vez aproxima inversamente la distancia al límite de decisión entre rutas de razonamiento competitivas.
3. Eficiencia: Se demuestra que los métodos propuestos son computacionalmente eficientes. La perturbación adversarial requiere solo un pase hacia atrás y uno hacia adelante, mientras que la perturbación aleatoria puede reutilizar un único conjunto de perturbaciones para toda la secuencia, evitando la enorme sobrecarga de múltiples ensayos de muestreo.
4. Validación Empírica: Experimentos extensos que demuestran que estas métricas superan a las líneas base existentes en la identificación del primer paso erróneo en las cadenas de razonamiento.

Resultados Experimentales

Los autores evaluaron su método en tareas de Razonamiento Matemático (conjunto de datos MATH) y Razonamiento Lógico (BIG-Bench Hard) a través de cuatro modelos (Llama-3.1, OpenMath, Qwen, Mistral).

• Rendimiento: Tanto las métricas de perturbación aleatoria como adversaria superaron consistentemente a las líneas base, incluyendo:
  • Nivel de token: Negativo Log-Likelihood (NLL), Entropía, Margen de Probabilidad y TokUR basado en Bayes.
  • Nivel de oración: CCP, TokenSAR e Incertidumbre Gráfica (múltiples muestreos).
  • En el conjunto de datos MATH, la Perturbación Adversarial logró una tasa de detección top-3 de 0.65 para Llama (vs. 0.55 para TokUR) y 0.61 para Qwen (vs. 0.56 para TokUR).
• Eficiencia: En una sola GPU NVIDIA GH200, la Perturbación Adversarial añadió solo 0.28 segundos por generación, y la Perturbación Aleatoria (con 20 iteraciones) añadió 0.90 segundos. Esto es significativamente más rápido que los enfoques de múltiples muestreos.
• Detección de Alucinaciones: Cuando se probó en el conjunto de datos FactScore para la detección de alucinaciones factuales, los métodos basados en perturbación rendieron menos en comparación con los métodos de múltiples muestreos. Los autores atribuyen esto a la diferencia fundamental en los patrones de error: las alucinaciones a menudo surgen de correlaciones espurias o un anclaje débil que permanecen estables bajo perturbación, mientras que los errores de razonamiento implican una inestabilidad genuina en la selección de la ruta.

Significado y Afirmaciones

El documento afirma que la perturbación de incrustaciones proporciona una forma más efectiva y eficiente de auditar el proceso de razonamiento de los LLM en comparación con los métodos existentes. Al identificar tokens con alta sensibilidad a las perturbaciones de incrustación, los profesionales pueden:

• Localizar la ubicación exacta donde un modelo comienza a desviarse de una ruta de razonamiento correcta.
• Habilitar intervenciones de granularidad fina, como mecanismos basados en reflexión o autocorrección, activados específicamente en pasos inciertos.
• Facilitar el desarrollo de modelos de verificación al proporcionar señales de incertidumbre interpretables derivadas del propio proceso de generación.

Los autores reconocen modestamente las limitaciones: el método puede no detectar alucinaciones impulsadas por correlaciones espurias, y no siempre logra desentrañar perfectamente la incertidumbre sobre la corrección de la incertidumbre que surge de la selección entre múltiples rutas de razonamiento válidas. Sin embargo, el estudio establece que las métricas basadas en perturbación son una herramienta superior para detectar errores de razonamiento procedimental en comparación con las líneas base basadas en probabilidad o muestreo.