Resumen Técnico: Dependencia de Contexto y Fiabilidad en Modelos de Lenguaje Autorregresivos

Declaración del Problema

Los Modelos de Lenguaje Grandes (LLM) autorregresivos generan salidas condicionadas por contextos extensos y estructurados que a menudo contienen instrucciones redundantes, hechos repetidos, pasajes recuperados e historial de interacción. En aplicaciones críticas (por ejemplo, dominios médicos o legales), es esencial identificar qué elementos específicos del contexto son realmente responsables de una salida. Sin embargo, los métodos de explicación estándar —como la visualización de la atención, la saliencia de gradiente y la ablación basada en perturbaciones— tienen dificultades con esta tarea en entornos redundantes.

El problema central es la redundancia de contexto. Cuando múltiples elementos de contexto transmiten información superpuesta o idéntica, los métodos existentes suelen asignar erróneamente el crédito. Pueden distribuir la importancia de manera equitativa entre los duplicados, sugiriendo que múltiples fuentes independientes eran necesarias cuando solo una era suficiente. Además, estos métodos exhiben inestabilidad: cambios menores en la estructura de la entrada (por ejemplo, reordenar fragmentos recuperados o parafrasear instrucciones) pueden causar que las puntuaciones de atribución cambien de forma impredecible, incluso si la salida del modelo permanece idéntica. Esta sensibilidad socava la interpretabilidad y crea riesgos de seguridad, como en escenarios de inyección de prompts donde las instrucciones maliciosas repetidas en la memoria o el contexto podrían acreditarse erróneamente como influyentes.

El artículo argumenta que el modo de fallo fundamental es la falta de conciencia de la dependencia. Los métodos actuales suelen medir la importancia marginal o las correlaciones superficiales en lugar de la contribución única y condicional de un elemento de contexto dado el resto del prompt.

Metodología: RISE

Para abordar estos desafíos, los autores proponen RISE (Redundancy-Insensitive Scoring of Explanation), un método diseñado para cuantificar la influencia única de cada elemento de entrada condicionada al resto del contexto.

Concepto Central: Dependencia Única Condicional (CUD)

RISE se fundamenta en la teoría de la información. En lugar de medir cuánto se correlaciona una unidad de contexto $C_i$ con la salida $\hat{T}$, mide la Dependencia Única Condicional (CUD):
$$\Delta_i \triangleq I(C_i; \hat{T} \mid C_{\setminus i})$$
donde $I(\cdot)$ denota la información mutua condicional, $C_i$ es una unidad de contexto específica (por ejemplo, una instrucción del sistema, un fragmento recuperado o un turno de diálogo), y $C_{\setminus i}$ representa todas las demás unidades de contexto. Esta métrica cuantifica la información que $C_i$ proporciona sobre la generación que no puede recuperarse del contexto restante.

La Puntuación RISE

Para permitir la comparación entre unidades, los valores CUD se normalizan en una puntuación RISE:
$$\text{RISE}(C_i) = \frac{\text{CUD}(C_i; \hat{T} \mid C_{\setminus i})}{\sum_{j=1}^m \text{CUD}(C_j; \hat{T} \mid C_{\setminus j}) + \epsilon}$$
Esta formulación asegura que:

1. Supresión de Redundancia: Si una unidad es un duplicado de otra (o es totalmente recuperable de las demás), su información mutua condicional es cero, y recibe una atribución de cero.
2. Estabilidad: Añadir contexto redundante no altera las puntuaciones de atribución de las unidades originales e informativas.
3. Granularidad a Nivel de Contexto: RISE opera sobre unidades de contexto estructuradas (por ejemplo, segmentos de prompt, fragmentos de RAG) en lugar de tokens individuales, lo que lo hace adecuado para auditar pipelines complejos.

Variantes de Implementación

El artículo describe dos implementaciones de este principio:

1. RISE-Lite: Un módulo de puntuación ligero y agnóstico al modelo que calcula puntuaciones conscientes de la dependencia para auditoría y monitoreo sin modificar el modelo.
2. Selector Aprendido Integrado: Una red de compuerta (gating network) entrenable que utiliza el principio de dependencia para seleccionar un subconjunto disperso de unidades de contexto (manteniendo una ventana reciente obligatoria y los $K$ mejores anclajes únicos) durante la inferencia. Esto reduce la dimensionalidad de la entrada preservando la información esencial.

Contribuciones Clave

1. Identificación de la Redundancia como un Modo de Fallo: Los autores identifican que los métodos de explicación estándar no logran distinguir entre el contexto esencial y la mera repetición, lo que conduce a una "sobre-acreditación" de los distractores e inestabilidad bajo el parafraseo o el reordenamiento.
2. Atribución Consciente de la Dependencia: El artículo propone la información condicional como una base fundamentada para una atribución fiable, introduciendo RISE para evaluar la importancia de las unidades de contexto estructuradas basándose en su contribución única.
3. Validación Empírica: A través de experimentos controlados sobre prompting redundante y Generación Aumentada por Recuperación (RAG), los autores demuestran que RISE produce explicaciones significativamente más estables y robustas que los métodos tradicionales basados en perturbaciones, específicamente al reducir la inflación de la importancia impulsada por la redundancia.

Resultados Experimentales

Los autores evaluaron RISE frente a heurísticas basadas en la atención y líneas de base basadas en perturbaciones (por ejemplo, LOUO) utilizando GPT-2 y modelos autorregresivos de pesos abiertos en el conjunto de datos SQuAD v1.1 y pruebas de redundancia sintética.

• Sensibilidad a la Redundancia: Los métodos de línea de base mostraron un alto "Dup-Split" (fragmentación del crédito entre duplicados) y sensibilidad a los cambios de la forma superficial. En contraste, RISE mantuvo un bajo Dup-Split, suprimiendo eficazmente el crédito para las unidades redundantes.
• Estabilidad vs. Fidelidad: Mientras que los métodos de atención mostraron una alta estabilidad de rango (debido a la difusión del crédito entre duplicados) y los métodos de perturbación mostraron una alta estabilidad (colapsando a menudo en unidades estructuralmente necesarias como la pregunta), RISE priorizó la invarianza a la redundancia. Reasignó intencionadamente el crédito de las copias redundantes hacia las unidades únicamente informativas.
• Dominancia Estructural: Se descubrió que los métodos basados en perturbaciones colapsan hacia la unidad de la "Pregunta" porque eliminarla interrumpe la generación independientemente de la evidencia semántica. RISE-Lite evitó esto al condicionarse al contexto restante, identificando correctamente la evidencia informativa incluso cuando la pregunta estaba presente.
• Fidelidad: En las pruebas de eliminación, RISE demostró una brecha de fidelidad positiva, indicando que eliminar las unidades con mayor rango reducía significativamente la probabilidad de la respuesta correcta, mientras que los métodos basados en la atención mostraron brechas negativas.

Significado y Reivindicaciones

El artículo afirma que la conciencia de la dependencia es crítica para construir sistemas de IA confiables. Al desplazar la atribución de las asociaciones superficiales hacia la verdadera dependencia condicional, RISE aborda tres modos de fallo específicos:

1. Sobre-acreditación de Distractores: Evita la ilusión de que múltiples fuentes independientes estuvieron de acuerdo cuando la información era simplemente duplicada.
2. Inestabilidad: Asegura que las explicaciones permanezcan consistentes a pesar de cambios menores en el parafraseo o el reordenamiento del contexto.
3. Susceptibilidad a la Manipulación: Reduce el riesgo de que las instrucciones maliciosas inyectadas o repetidas se acrediten erróneamente como influyentes.

Los autores enfatizan que RISE no requiere acceso a los mecanismos internos del modelo (como neuronas o cabezales de atención) y depende únicamente del comportamiento observable de entrada-salida, lo que lo hace adecuado para el monitoreo en tiempo real, la auditoría y las intervenciones de seguridad en sistemas de agentes y RAG. El trabajo concluye que la supresión de la redundancia no elimina la información esencial, sino que evita que la importancia escale con la repetición, produciendo explicaciones que reflejan la dependencia única en lugar de la frecuencia.