How Do LLMs Cite? A Mechanistic Interpretation of Attribution in Retrieval-Augmented Generation

Resumen Técnico: ¿Cómo citan los LLM? Una interpretación mecánica de la atribución en RAG

Planteamiento del problema
Los sistemas de Generación Aumentada por Recuperación (RAG) pretenden mitigar las alucinaciones de los Modelos de Lenguaje de Gran Escala (LLM) fundamentando sus respuestas en documentos externos y proporcionando citas integradas. Sin embargo, existe una distinción crítica entre la corrección de la cita (que la fuente respalde fácticamente la afirmación) y la fidelidad de la cita (que el modelo haya utilizado realmente la fuente para generar la afirmación). Los métodos de evaluación actuales suelen depender del comportamiento de entrada-salida, lo que no permite distinguir entre un modelo que razona genuinamente sobre un documento recuperado y uno que recupera un documento post-hoc para coincidir con una memoria paramétrica preexistente. Esta atribución "cosmética" crea una falsa sensación de seguridad, particularmente en dominios de alto riesgo como el derecho y la medicina, donde los usuarios pueden carecer de la experiencia para verificar las fuentes de forma independiente. El artículo sostiene que comprender los mecanismos internos de la generación de citas es necesario para desarrollar marcos de evaluación fiables para la fidelidad.

Metodología
Los autores emplean la interpretabilidad mecánica para realizar ingeniería inversa al proceso de toma de decisiones de Llama-3.1-8B-Instruct con respecto a las citas integradas. El flujo de trabajo experimental consiste en:

1. Conjunto de datos controlado: Se utiliza una adaptación de PopQA centrada en la citación, donde cada pregunta se empareja con un documento de soporte relevante o un documento distractor irrelevante. Los distractores están estructurados de forma coincidente para permitir comparaciones precisas a nivel de componente.
2. Parcheo de activaciones (Activation Patching): La técnica central implica ejecutar el modelo con un documento relevante (limpio) y un documento irrelevante (corrupto). Las activaciones intermedias de la ejecución limpia se parchean en la ejecución corrupta (y viceversa) para medir el impacto causal en la preferencia del modelo por emitir un token de cita ([) frente a un token de terminación de frase (.).
3. Puntuación: Se calcula una puntuación de diferencia de logit normalizada para cuantificar la fracción de cambio de comportamiento recuperada o inducida por parches específicos.
4. Intervención: Los componentes identificados se manipulan mediante escalado multiplicativo (amplificación o supresión) para probar si los fallos de citación (omitidos o espurios) pueden corregirse.
5. Generalización: Los hallazgos se validan en un entorno más complejo de múltiples documentos utilizando HotpotQA.

Contribuciones clave

1. Mapeo del "Ensamble Atribucional": El estudio identifica que las decisiones de citación no están gobernadas por un único módulo especializado, sino por un ensamble distribuido y multietapa de cabezales de atención y capas MLP específicos.
2. Demostración de la controlabilidad: Los autores demuestran que las intervenciones dirigidas en este ensamble pueden reparar con éxito los fallos de citación, induciendo citas omitidas y suprimiendo las espurias.
3. Validación de la generalización: Los componentes identificados muestran capacidad de generalización, mejorando significativamente la precisión de la citación en el complejo escenario de múltiples documentos de HotpotQA sin necesidad de reentrenamiento.

Resultos clave

• Mecanismo distribuido y frágil: El mecanismo de citación depende de una estructura conjuntiva (con compuerta AND). Aunque muchos componentes contribuyen, el sistema es "frágil": pequeñas corrupciones en múltiples sitios reducen drásticamente el comportamiento de citación, mientras que inducir citas mediante la eliminación de ruido es difícil y requiere la acumulación de muchas señales.
• Los heurísticos superficiales impulsan las decisiones: El mecanismo depende fuertemente de la co-referencia de entidades en lugar de una integración semántica profunda.
  • Capas tempranas (0–2): Ocurre un paso de "enriquecimiento de entidades" donde el modelo identifica la entidad consultada en el documento y marca su token correspondiente en la pregunta. Esto crea una bandera interna de identidad trans-contextual.
  • Capas medias (10–20): Una banda densa de componentes actúa como un centro de procesamiento, realizando comprobaciones conjuntas.
  • Capas tardías: La agregación final ocurre en el token de la respuesta, donde cabezales y MLPs específicos aumentan el logit del marcador de cita sobre los tokens de terminación.
• Independencia de la generación de la respuesta: Crucialmente, la representación de la respuesta en sí misma en el momento de la generación no es el principal motor de la decisión de citación. Esto sugiere que la cita es generada por un proceso paralelo basado en heurísticos (comprobar si el documento contiene la entidad) en lugar de ser un resultado directo del proceso de construcción de la respuesta.
• Éxito de la intervención:
  • La amplificación de los componentes identificados en PopQA recuperó >90% de las citas omitidas con un impacto insignificante en la corrección de la respuesta.
  • La supresión de los componentes necesarios eliminó el 69% de las citas espurias.
  • En HotpotQA, la amplificación aumentó la tasa de "citación correcta" estricta en más de 20 veces (de 0.001 a 0.024), aunque el rendimiento absoluto siguió siendo bajo, lo que indica la complejidad del razonamiento de múltiples saltos (multi-hop).

Significado y Reivindicaciones
El artículo afirma que los sistemas RAG actuales pueden ofrecer una ilusión de verificabilidad. Debido a que las decisiones de citación son impulsadas por heurísticos superficiales (como la coincidencia de entidades) en lugar de un vínculo causal genuino con el contenido del documento durante la generación de la respuesta, un modelo puede producir una respuesta fácticamente correcta con una cita "fiel" incluso si la respuesta fue recuperada de la memoria paramétrica.

Los autores argumentan que:

• Auditar los resultados es insuficiente: La atribución fiable requiere auditar la vía computacional.
• La interpretabilidad mecánica es esencial: Para distinguir la atribución fiel de la infiel, es necesario mirar dentro del modelo, ya que el comportamiento de entrada-salida es ambiguo.
• Riesgo de desinformación: Las citas infieles pueden profundizar las disparidades de información al dotar de credibilidad a la información incorrecta, particularmente para usuarios que no pueden verificar las fuentes de forma independiente.

El trabajo se presenta como un paso fundacional hacia la construcción de marcos de evaluación que puedan distinguir la atribución fiel, más que como una solución completa. Los autores reconocen limitaciones, incluyendo el enfoque en un único modelo de 8B, la falta de un mapeo de vía dirigida (solo localización de componentes) y el potencial de uso adversario de estos conocimientos para generar citas infieles.