The Attribution Contract: Feature Attribution for Generative Language Models

Resumo Técnico: O Contrato de Atribuição

Declaração do Problema
Os métodos de atribuição de características, projetados para identificar quais características de entrada impulsionam a saída de um modelo, enfrentam uma ambiguidade conceitual fundamental quando aplicados a modelos de linguagem (MLs) generativos. Em configurações clássicas de classificação, o esquema entrada-saída é estático ($x \to f(x)$), e as características são claramente definidas como componentes de entrada. No entanto, os MLs generativos operam por meio de processos dinâmicos onde saídas anteriores tornam-se entradas para previsões subsequentes (em modelos autoregressivos) ou onde a geração procede por meio de remoção iterativa de ruído (em modelos de difusão).

Essa diferença estrutural cria uma "ambiguidade de atribuição": frequentemente não é claro o que constitui uma "característica" ou qual "saída" específica está sendo explicada. Por exemplo, em um modelo autoregressivo, os tokens gerados anteriormente são tanto saídas do modelo quanto entradas para a próxima previsão. Consequentemente, o mesmo algoritmo de atribuição pode produzir resultados diferentes dependendo se o objetivo é explicar uma previsão local do próximo token ou a influência do prompt original em toda a sequência gerada. O artigo argumenta que muitas discordâncias percebidas na literatura sobre atribuição de características em modelos generativos não são conflitos entre algoritmos, mas sim conflitos decorrentes de contratos explicativos não declarados ou incompatíveis.

Metodologia: O Contrato de Atribuição
Para resolver essa ambiguidade, os autores introduzem o Contrato de Atribuição, uma tupla de especificação formal $A = (S, C, O, P, E)$ que define o escopo explicativo de qualquer afirmação de atribuição de características. Os componentes são:

• $S$ (Pontuação): A quantidade específica do modelo sendo atribuída (por exemplo, logit, probabilidade, perda ou log-verossimilhança).
• $C$ (Condicionamento): Quais variáveis são mantidas fixas durante o cálculo da atribuição (por exemplo, manter o prefixo gerado fixo enquanto se atribui apenas ao prompt).
• $O$ (Saída): O alvo específico sendo explicado (por exemplo, um único próximo token, um estado intermediário de difusão ou um intervalo completo gerado).
• $P$ (Processo): O processo gerativo assumido (por exemplo, cadeia autoregressiva $x \to y_1 \to \dots \to y_t$ ou cadeia de difusão $z_T \to \dots \to z_0 \to y$).
• $E$ (Características Elegíveis): O conjunto de características permitidas para receber atribuição (por exemplo, apenas tokens do prompt, prompt mais prefixo gerado ou etapas de remoção de ruído).

O artigo demonstra que o framework "Contrato de Atribuição" permite a instanciação precisa de diferentes configurações. Ele categoriza configurações existentes e potenciais em:

1. Configurações Autoregressivas:
   • Próximo Token Local: Atribui a previsão do token $y_t$ tanto aos tokens do prompt quanto aos do prefixo gerado.
   • Token Condicionado ao Prompt: Atribui $y_t$ apenas aos tokens do prompt, mantendo o prefixo gerado fixo.
   • Prompt em Nível de Intervalo: Atribui a probabilidade de um intervalo completo gerado $y_{1:T}$ aos tokens do prompt, mantendo o intervalo fixo.
2. Configurações de Difusão:
   • Nível de Estado: Atribui um estado intermediário $z_t$ ao prompt e a estados anteriores.
   • Etapa de Remoção de Ruído: Atribui propriedades da saída final a etapas específicas do processo de remoção de ruído.
   • Prompt para Saída: Atribui a saída final $y$ aos tokens do prompt, tratando a cadeia de remoção de ruído como o processo.

Principais Contribuições
O artigo faz quatro contribuições primárias:

1. Identificação da Ambiguidade do Contrato: Identifica a "ambiguidade do contrato" como um modo de falha distinto na atribuição de características generativa, onde a falta de uma configuração explicativa especificada leva a interpretações equivocadas.
2. O Framework do Contrato de Atribuição: Propõe a tupla $(S, C, O, P, E)$ para definir explicitamente o alvo, as características elegíveis, o processo gerativo, o regime de condicionamento e a pontuação atribuída para qualquer afirmação.
3. A Falácia da Autoatribuição: Define um erro interpretativo específico onde a atribuição a tokens de prefixo gerado (válida sob um contrato de próximo token local) é incorretamente interpretada como respondendo a uma pergunta em nível de prompt (por exemplo, "o documento fonte causou essa alucinação?"). O artigo ilustra que responder a esta última requer um contrato condicionado ao prompt onde o prefixo é mantido fixo.
4. Avaliação Método-Contrato: Argumenta que os métodos de atribuição de características em MLs generativos devem ser avaliados como pares método-contrato e não como algoritmos livres de contexto. Um método não pode ser julgado "bom" ou "ruim" isoladamente; sua validade depende de se ele está alinhado com o contrato específico sendo testado.

Resultados e Análise
O artigo não apresenta novos benchmarks empíricos ou algoritmos inovadores, mas fornece uma análise teórica e reavaliação da literatura existente através da lente do Contrato de Atribuição.

• Reconciliação da Literatura: Os autores mostram que métodos frequentemente percebidos como concorrentes (por exemplo, ContextCite vs. Inseq) estão, na verdade, respondendo a perguntas diferentes definidas por contratos diferentes. O ContextCite opera sob um contrato de prompt para saída, enquanto o Inseq tipicamente opera sob um contrato de próximo token local.
• Implicações para Avaliação: O artigo detalha como as métricas de avaliação devem mudar com base no contrato. Por exemplo, avaliar uma "atribuição de prompt em nível de intervalo" requer perturbar o prompt e medir a mudança na log-probabilidade da geração original fixa, e não regenerar uma nova sequência. Regenerar uma sequência testaria um contrato diferente (por exemplo, prompt para saída).
• Especificidades de Difusão: A análise destaca que os modelos de difusão exigem contratos que levem em conta estados intermediários e etapas de remoção de ruído, os quais não possuem análogos diretos em modelos autoregressivos.

Significado e Afirmações
O artigo afirma que o Contrato de Atribuição é necessário para trazer rigor à atribuição de características na modelagem generativa. Ao tornar a configuração explicativa explícita, o framework:

• Esclarece por que o mesmo método de atribuição pode produzir mapas diferentes dependendo da instanciação.
• Previne a "falácia da autoatribuição", garantindo que os praticantes não atribuam erroneamente a causa de uma geração ao prompt quando a atribuição foi, na verdade, impulsionada pelos próprios tokens anteriores do modelo.
• Estabelece que não existe um único mapa de atribuição "bom" para modelos generativos; a avaliação deve ser específica ao contrato.

Os autores posicionam este trabalho não como uma substituição para os algoritmos de atribuição existentes, mas como uma camada de especificação necessária para tornar as afirmações desses métodos comparáveis e interpretáveis. O significado reside na mudança do discurso de debater algoritmos para definir as perguntas explicativas precisas que esses algoritmos pretendem responder.