Resumen Técnico: CORTEX

Declaración del Problema

La Generación Aumentada por Recuperación (RAG) se utiliza ampliamente para fundamentar los resultados de los Modelos de Lenguaje Extensos (LLM) en referencias externas; sin embargo, los modelos frecuentemente generan contenido alucinado incluso cuando se proporcionan referencias. Los métodos existentes de detección de alucinaciones enfrentan dos limitaciones primarias:

1. Granularidad: La mayoría de los enfoques operan a nivel de "respuesta", evaluando la respuesta completa como una unidad única. Esto es insuficiente para salidas de RAG de formato largo donde el contenido fiel y el alucinado suelen coexistir.
2. Metodología: Muchos métodos existentes dependen de la autoconsistencia (que requiere múltiples generaciones) o de la verificación de hechos basada en prompts (que requiere ingeniería de prompts e inferencia adicional), lo que incurre en altos costos computacionales. Además, muchos detectores basados en representaciones analizan un único estado interno de forma aislada en lugar de comparar cómo cambia el estado del modelo cuando las referencias están presentes frente a cuando están ausentes.

El artículo propone la necesidad de un método de detección a nivel de token que pueda localizar contenido no fundamentado dentro de salidas mixtas y que opere como un marco práctico post-hoc tanto para LLMs de pesos abiertos como de pesos cerrados (basados en API).

Metodía: CORTEX

CORTEX (Comparative Observed Reference-based Token-level EXpressions) es un marco de detección de alucinaciones post-hoc diseñado específicamente para RAG. Utiliza un LLM de pesos abiertos ($M_{open}$) como modelo de análisis para inspeccionar las representaciones internas de una respuesta generada, la cual puede haber sido producida por un LLM de pesos cerrados ($M_{close}$).

El marco opera a través de tres componentes principales:

1. Representación Delta Inducida por Referencia

CORTEX construye una vista contrafactual emparejada de la misma respuesta bajo dos condiciones:

• Entrada condicionada por referencia: $x_{ref} = \text{pregunta} \parallel \text{referencias} \parallel \text{respuesta}$
• Entrada sin referencia: $x_{no-ref} = \text{pregunta} \parallel \text{respuesta}$

Al procesar ambas entradas a través de $M_{open}$, el método extrae representaciones internas a nivel de token ($h_i$) para cada token de la respuesta $t_i$. Calcula una representación delta ($\Delta h_i$) que representa el cambio en el estado del token cuando se proporcionan las referencias:
$$\Delta h_i = h_{i}^{ref} - h_{i}^{no-ref}$$
La intuición es que los tokens fieles exhiben cambios representacionales coherentes cuando se fundamentan en las referencias, mientras que los tokens alucinados muestran cambios más débiles o incoherentes.

2. Residuo Contextual Basado en la Atención

En la generación de formato largo, la influencia de la referencia puede propagarse indirectamente. Un token $t_i$ podría estar fundamentado no por un vínculo directo con la referencia, sino por tokens precedentes ($t_{<i}$) que sí estaban fundamentados. Depender únicamente de $\Delta h_i$ podría clasificar erróneamente estos tokens indirectamente fundamentados como alucinaciones.

Para abordar esto, CORTEX calcula un residuo contextual ($c_i$). Estima la influencia de la referencia mediada a través de los tokens precedentes utilizando los pesos de atención ($\alpha_{ij}^{ref}$) de la entrada condicionada por referencia:
$$\bar{\Delta h}_i = \sum_{j<i} \alpha_{ij}^{ref} \Delta h_j$$
$$c_i = \Delta h_i - \bar{\Delta h}_i$$
El residuo $c_i$ aísla el cambio específico del token que permanece tras contabilizar la influencia propagada desde el contexto, reduciendo los falsos positivos para los tokens indirectamente fundamentados en la referencia.

3. Clasificación y Suavizado a Nivel de Token

Las características $[\Delta h_i; c_i]$ se alimentan en un clasificador de Perceptrón Multicapa (MLP) para producir una puntuación de alucinación bruta $s_i$.

Para alinearse con los patrones de anotación humana (donde las alucinaciones suelen aparecer como segmentos contiguos en lugar de tokens aislados), CORTEX aplica un Suavizado de Persistencia de Etiqueta como paso de post-procesamiento. Esto modela la tendencia de las etiquetas de alucinación a persistir a través de tokens vecinos utilizando un término de persistencia de pares ($\rho$) y una confianza a nivel de token derivada de $s_i$. La puntuación suavizada final se calcula mediante el algoritmo forward-backward, reduciendo el ruido local mientras se preserva la granularidad a nivel de token.

Contribuciones Clave

1. Primer Detector de RAG a Nivel de Token: Hasta donde los autores saben, CORTEX es el primer método de detección de alucinaciones a nivel de token diseñado específicamente para RAG, permitiendo la localización fina de contenido no fundamentado.
2. Marco Post-Hoc Práctico: El método no requiere modificar los parámetros del generador. Puede analizar salidas de cualquier LLM, incluyendo modelos de pesos cerrados basados en API, utilizando un modelo separado de pesos abiertos para la extracción de características.
3. Enfoque de Representación Comparativa: A diferencia del trabajo previo que analiza estados internos únicos, CORTEX aprovecha el contraste entre las representaciones condicionadas por referencia y las no condicionadas por referencia para aislar las señales inducidas por la referencia.
4. Diseño Contextual y Sensible a Segmentos: La introducción del residuo contextual aborda la fundamentación indirecta, mientras que el suavizado de persistencia de etiquetas alinea las predicciones con las estructuras de anotación basadas en segmentos.

Resultados Experimentales

Los autores evaluaron CORTEX en dos benchmarks (RAGTruth y HalluRAG) utilizando tres LLMs (Llama-3.1-8B, Qwen3-8B y Mistral-7B).

• Rendimiento a Nivel de Token: CORTEX superó sustancialmente a cinco líneas base (incluyendo NLL, SAPLMA, LLM-Check, ICR Probe y RAGLens) en términos de Precisión Promedio (AP) y AUROC. En RAGTruth, CORTEX logró un AP de 0.5940 (Qwen) comparado con el siguiente mejor (RAGLens) con 0.4575.
• Rendimiento a Nivel de Respuesta: Aunque fue entrenado para la detección a nivel de token, CORTEX logró un rendimiento competitivo a nivel de respuesta (utilizando la puntuación máxima del token como la puntuación de la respuesta), demostrando que las señales a nivel de token son efectivas para la evaluación de la fiabilidad global.
• Estudios de Ablación: Eliminar el residuo contextual ($c$) o el paso de suavizado resultó en caídas de rendimiento, confirmando que ambos componentes son necesarios para una detección robusta. Se demostró que el paso de suavizado es ampliamente beneficioso incluso cuando se aplica a los métodos de la línea base.

Significado y Reivindicaciones

El artículo afirma que CORTEX demuestra la efectividad de comparar las representaciones internas bajo diferentes condicionamientos (con vs. sin referencias) como una señal para la detección de alucinaciones.

• Practicidad: Al desacoplar el generador del analizador, CORTEX ofrece una solución viable para la evaluación de la fiabilidad en sistemas desplegados donde el generador es una API de caja negra.
• Granularidad: Aborda la limitación de la detección a nivel de respuesta al proporcionar un mecanismo para localizar las alucinaciones en tokens específicos, que luego pueden agregarse a cualquier granularidad requerida (palabras, oraciones, párrafos).
• Alcance: Los autores señalan explícitamente que CORTEX está diseñado para la generación fundamentada en referencias. Detecta contenido no respaldado por las referencias proporcionadas, lo cual es crucial para aplicaciones controladas (por ejemplo, soporte empresarial), pero puede marcar conocimiento paramétrico útil en escenarios de respuesta abierta. El artículo no pretende detectar la incorrección fáctica general independiente del contexto proporcionado.

Los autores concluyen que estas señales comparativas de representación interna interna también podrían servir como base para futuras estrategias de mitigación de alucinaciones, como el modelado de recompensa para el ajuste de generadores.