The Attribution Contract: Feature Attribution for Generative Language Models

Resumen Técnico: El Contrato de Atribución

Enunciado del Problema
Los métodos de atribución de características, diseñados para identificar qué características de entrada impulsan la salida de un modelo, enfrentan una ambigüedad conceptual fundamental cuando se aplican a modelos de lenguaje generativos (ML). En los contextos de clasificación clásica, el esquema entrada-salida es estático ($x \to f(x)$), y las características se definen claramente como componentes de entrada. Sin embargo, los ML generativos operan mediante procesos dinámicos donde las salidas anteriores se convierten en entradas para predicciones subsiguientes (en modelos autoregresivos) o donde la generación procede a través de un desruido iterativo (en modelos de difusión).

Esta diferencia estructural crea una "ambigüedad de atribución": a menudo no está claro qué constituye una "característica" o qué "salida" específica se está explicando. Por ejemplo, en un modelo autoregresivo, los tokens generados previamente son tanto salidas del modelo como entradas para la siguiente predicción. En consecuencia, el mismo algoritmo de atribución puede producir resultados diferentes dependiendo de si el objetivo es explicar una predicción local del siguiente token o la influencia del prompt original en toda la secuencia generada. El artículo argumenta que muchas de las discrepancias percibidas en la literatura respecto a la atribución de características en modelos generativos no son conflictos entre algoritmos, sino conflictos derivados de contratos explicativos no declarados o desajustados.

Metodología: El Contrato de Atribución
Para resolver esta ambigüedad, los autores introducen el Contrato de Atribución, una tupla de especificación formal $A = (S, C, O, P, E)$ que define el alcance explicativo de cualquier afirmación de atribución de características. Los componentes son:

• $S$ (Puntuación): La cantidad específica del modelo que se está atribuyendo (por ejemplo, logit, probabilidad, pérdida o verosimilitud logarítmica).
• $C$ (Condicionamiento): Qué variables se mantienen fijas durante el cálculo de la atribución (por ejemplo, mantener fijo el prefijo generado mientras se atribuye solo al prompt).
• $O$ (Salida): El objetivo específico que se está explicando (por ejemplo, un solo token siguiente, un estado intermedio de difusión o un segmento completo generado).
• $P$ (Proceso): El proceso generativo asumido (por ejemplo, cadena autoregresiva $x \to y_1 \to \dots \to y_t$ o cadena de difusión $z_T \to \dots \to z_0 \to y$).
• $E$ (Características Elegibles): El conjunto de características permitidas para recibir atribución (por ejemplo, solo tokens del prompt, prompt más prefijo generado, o etapas de desruido).

El artículo demuestra que el marco del "Contrato de Atribución" permite la instanciación precisa de diferentes configuraciones. Clasifica las configuraciones existentes y potenciales en:

1. Configuraciones Autoregresivas:
   • Siguiente Token Local: Atribuye la predicción del token $y_t$ tanto a los tokens del prompt como a los del prefijo generado.
   • Token Condicionado al Prompt: Atribuye $y_t$ solo a los tokens del prompt, manteniendo fijo el prefijo generado.
   • Prompt a Nivel de Segmento: Atribuye la probabilidad de un segmento generado completo $y_{1:T}$ a los tokens del prompt, manteniendo fijo el segmento.
2. Configuraciones de Difusión:
   • A Nivel de Estado: Atribuye un estado intermedio $z_t$ al prompt y a estados anteriores.
   • Etapa de Desruido: Atribuye propiedades de la salida final a etapas específicas del proceso de desruido.
   • Prompt a Salida: Atribuye la salida final $y$ a los tokens del prompt, tratando la cadena de desruido como el proceso.

Contribuciones Clave
El artículo realiza cuatro contribuciones principales:

1. Identificación de la Ambigüedad del Contrato: Identifica la "ambigüedad del contrato" como un modo de fallo distinto en la atribución de características generativa, donde la falta de una configuración explicativa especificada conduce a una interpretación errónea.
2. El Marco del Contrato de Atribución: Propone la tupla $(S, C, O, P, E)$ para definir explícitamente el objetivo, las características elegibles, el proceso generativo, el régimen de condicionamiento y la puntuación atribuida para cualquier afirmación.
3. La Falacia de la Autoatribución: Define un error interpretativo específico donde la atribución a tokens del prefijo generado (válida bajo un contrato de siguiente token local) se interpreta incorrectamente como respuesta a una pregunta a nivel de prompt (por ejemplo, "¿el documento fuente causó esta alucinación?"). El artículo ilustra que responder a esta última requiere un contrato condicionado al prompt donde el prefijo se mantiene fijo.
4. Evaluación Método-Contrato: Argumenta que los métodos de atribución de características en ML generativos deben evaluarse como pares método-contrato en lugar de como algoritmos libres de contexto. Un método no puede juzgarse como "bueno" o "malo" de forma aislada; su validez depende de si se alinea con el contrato específico que se está probando.

Resultados y Análisis
El artículo no presenta nuevas pruebas empíricas ni algoritmos novedosos, sino que proporciona un análisis teórico y una reevaluación de la literatura existente a través de la lente del Contrato de Atribución.

• Reconciliación de la Literatura: Los autores muestran que los métodos a menudo percibidos como competidores (por ejemplo, ContextCite vs. Inseq) en realidad responden a preguntas diferentes definidas por contratos distintos. ContextCite opera bajo un contrato de prompt a salida, mientras que Inseq típicamente opera bajo un contrato de siguiente token local.
• Implicaciones de la Evaluación: El artículo detalla cómo las métricas de evaluación deben cambiar según el contrato. Por ejemplo, evaluar una "atribución de prompt a nivel de segmento" requiere perturbar el prompt y medir el cambio en la probabilidad logarítmica de la generación original fija, no regenerar una nueva secuencia. Regenerar una secuencia probaría un contrato diferente (por ejemplo, prompt a salida).
• Especificidades de la Difusión: El análisis destaca que los modelos de difusión requieren contratos que tengan en cuenta estados intermedios y etapas de desruido, los cuales no tienen un análogo directo en los modelos autoregresivos.

Significado y Afirmaciones
El artículo afirma que el Contrato de Atribución es necesario para aportar rigor a la atribución de características en el modelado generativo. Al hacer explícita la configuración explicativa, el marco:

• Aclara por qué el mismo método de atribución puede producir mapas diferentes dependiendo de la instanciación.
• Previene la "falacia de la autoatribución", asegurando que los profesionales no atribuyan erróneamente la causa de una generación al prompt cuando la atribución fue en realidad impulsada por los tokens previos del propio modelo.
• Establece que no existe un único mapa de atribución "bueno" para los modelos generativos; la evaluación debe ser específica del contrato.

Los autores posicionan este trabajo no como un reemplazo de los algoritmos de atribución existentes, sino como una capa de especificación necesaria para hacer que las afirmaciones de estos métodos sean comparables e interpretables. El significado radica en desplazar el discurso de debatir algoritmos a definir las preguntas explicativas precisas a las que esos algoritmos pretenden responder.