💬 NLP

Attributing Response to Context: A Jensen-Shannon Divergence Driven Mechanistic Study of Context Attribution in Retrieval-Augmented Generation

Este trabajo presenta ARC-JSD, un nuevo método basado en la divergencia de Jensen-Shannon que permite atribuir respuestas a fragmentos de contexto en sistemas RAG de manera eficiente y precisa, sin necesidad de entrenamiento adicional, y proporciona un análisis mecanístico de los componentes internos del modelo responsables de dicha atribución.

Autores originales: Ruizhe Li, Chen Chen, Yuchen Hu, Yanjun Gao, Xi Wang, Emine Yilmaz

Publicado 2026-02-12

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Ruizhe Li, Chen Chen, Yuchen Hu, Yanjun Gao, Xi Wang, Emine Yilmaz

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás leyendo un libro de cocina gigante para preparar un pastel súper complejo. De repente, el libro dice: "Añade una pizca de sal". Tú te preguntas: "¿Pero de qué parte del libro sacó esa idea? ¿Es de la sección de postres o de la de carnes?".

En el mundo de la Inteligencia Artificial, esto es lo que llamamos RAG (Generación Aumentada por Recuperación). La IA no solo usa su "memoria" (lo que aprendió en su entrenamiento), sino que lee "documentos externos" (el libro de cocina) para responderte. El problema es que, a veces, la IA nos da una respuesta pero no nos dice exactamente en qué frase del documento se basó. Esto es peligroso porque, si la IA se equivoca, no sabemos si el error es suyo o si leyó mal el documento.

Este nuevo estudio presenta un método llamado ARC-JSD. Aquí te explico de qué trata con analogías sencillas:

1. El Detective de la "Diferencia de Opinión" (El método JSD)

Imagina que tienes dos versiones de una historia.

Versión A: La historia completa con todos los detalles.
Versión B: La misma historia, pero le quitamos una frase específica.

El método ARC-JSD actúa como un detective muy astuto. Compara la "opinión" (la probabilidad de las palabras) de la Versión A contra la Versión B.

La analogía: Imagina que estás escuchando una orquesta. Si quitas el violín y la música sigue sonando igual, el violín no era importante para esa melodía. Pero si quitas el violín y de repente la música cambia por completo y ya no reconoces la canción, ¡entonces ese violín era la clave! El ARC-JSD mide esa "sorpresa" o "cambio de ritmo" (usando algo llamado Divergencia de Jensen-Shannon) para decirte: "¡Hey! Esta frase es la que realmente estaba guiando la respuesta".

2. ¿Por qué es mejor que lo que ya existía? (El corredor de fondo vs. el velocista)

Antes, para saber qué frase era importante, los científicos tenían que hacer procesos pesadísimos: entrenar a la IA de nuevo o hacer miles de cálculos matemáticos lentos (como si para saber qué ingrediente es clave en una sopa, tuvieras que cocinar 500 sopas distintas).

El ARC-JSD es como un velocista. Es increíblemente rápido y eficiente. No necesita "re-entrenar" a la IA; simplemente observa cómo cambia la probabilidad de las palabras de forma inteligente. Es mucho más rápido y, sorprendentemente, ¡más preciso!

3. El Escáner de Cerebro (Análisis Mecanicista)

Los investigadores no solo querían saber qué frase era importante, sino dónde en el "cerebro" de la IA ocurre esa magia.

Usaron una técnica llamada Logit Lens (que es como una radiografía). Descubrieron que la IA tiene ciertas "neuronas" (capas y cabezales de atención) que se especializan en "leer" el contexto. Es como si en un equipo de fútbol, descubrieran exactamente qué jugadores son los que se encargan de pasar el balón basándose en lo que dice el entrenador.

4. El "Filtro de Mentiras" (Control de Alucinaciones)

Lo más emocionante es que, una vez que saben qué partes del cerebro de la IA se encargan de la información del contexto, pueden usarlas para controlar la honestidad de la IA.

La analogía: Es como poner un "filtro de seguridad" en un micrófono. Si la IA intenta decir algo que no tiene una base sólida en el documento (una "alucinación"), el sistema detecta que las "neuronas de contexto" no están activas y puede frenar esa respuesta o avisarte que no está segura. Esto ayuda a que la IA sea mucho más confiable.

En resumen:

Este trabajo es como haber inventado un marcador de textos inteligente y ultra rápido para la IA. No solo te subraya la frase exacta de donde sacó la información, sino que además nos ayuda a entender cómo funciona su mente y nos permite evitar que nos mienta.

Resumen Técnico: Atribución de Respuestas al Contexto mediante Divergencia de Jensen-Shannon (ARC-JSD)

Este trabajo, presentado para la conferencia ICLR 2026, aborda uno de los problemas críticos en la Generación Aumentada por Recuperación (RAG): la atribución de contexto.

1. El Problema: El Desafío de la Atribución en RAG

En los sistemas RAG, los Modelos de Lenguaje de Gran Escala (LLMs) generan respuestas basadas en documentos externos recuperados. Para garantizar la fiabilidad y mitigar las alucinaciones, es fundamental saber qué fragmentos de contexto específicos han "causado" o fundamentado una respuesta (atribución de contexto).

Los métodos actuales enfrentan dos grandes obstáculos:

Costo Computacional: Los métodos basados en gradientes o el ajuste fino (fine-tuning) son extremadamente costosos.
Complejidad de Implementación: Otros métodos requieren el entrenamiento de modelos sustitutos (surrogate models) o múltiples llamadas de inferencia para cada par de contexto-respuesta, lo que los hace poco prácticos para aplicaciones en tiempo real.

2. Metodología: El Método ARC-JSD

Los autores proponen ARC-JSD (Attribute Response to Context via Jensen-Shannon Divergence), un método de inferencia eficiente que no requiere entrenamiento adicional ni cálculo de gradientes.

El núcleo técnico se basa en la Divergencia de Jensen-Shannon (JSD):

Ablación de Sentencias: Para un par (Consulta $Q$ , Contexto $C$ ), el modelo genera una respuesta $R$ . Luego, se genera una versión del contexto donde se elimina una sentencia específica ( $C_{ablated}$ ).
Cuantificación de la Divergencia: Se calcula la JSD entre la distribución de probabilidad de la respuesta original $P(R|C, Q)$ y la distribución de la respuesta con la sentencia eliminada $P(R|C_{ablated}, Q)$ .
Ranking de Relevancia: Una sentencia se considera "esencial" si su eliminación provoca el mayor cambio (mayor JSD) en la distribución de probabilidad de los tokens de la respuesta.

Ventajas de la JSD sobre otras métricas:
A diferencia de la Divergencia KL (que es asimétrica e inestable si hay probabilidades cero) o la Distancia de Wasserstein (que requiere métricas de distancia entre tokens), la JSD es simétrica, finita, acotada y libre de escala, lo que permite comparar de forma robusta la importancia de diferentes capas y componentes del modelo.

3. Contribuciones Clave

Método de Atribución Eficiente: Un algoritmo que identifica sentencias críticas de forma rápida y precisa sin necesidad de fine-tuning.
Análisis Mecanicista: El estudio no solo identifica el contexto, sino que utiliza la técnica Logit Lens para localizar qué cabezales de atención (attention heads) y capas MLP son responsables de la atribución de contexto.
Control de Alucinaciones: Los autores demuestran que se puede mitigar la tasa de alucinación manipulando estos componentes internos mediante un "mecanismo de compuerta" (confidence gate) basado en puntuaciones JSD.

4. Resultados Principales

Precisión Superior: En benchmarks como TyDi QA, Hotpot QA y MuSiQue, ARC-JSD superó a los métodos de referencia (baselines) con una mejora promedio en la precisión de atribución de más del 10%.
Eficiencia Computacional: Logró una aceleración de hasta 3 veces en comparación con métodos basados en modelos sustitutos o gradientes.
Validación Mecanicista: El análisis reveló que las capas de atención y MLP más críticas para la atribución residen predominantemente en las capas intermedias y superiores del modelo.
Reducción de Alucinaciones: Al aplicar el control sobre los componentes identificados, lograron reducir la tasa de alucinación en aproximadamente un 39% en el dataset Hotpot QA sin degradar la precisión factual (F1).

5. Significado e Impacto

Este trabajo es significativo porque transforma la atribución de contexto de una tarea costosa y teórica en una herramienta práctica, modular y ligera que puede integrarse en cualquier pipeline de RAG existente. Además, proporciona una ventana de "interpretabilidad mecanicista" que permite a los desarrolladores entender cómo los LLMs procesan la información externa, permitiendo un control más fino sobre el comportamiento del modelo y la veracidad de sus respuestas.