Resumo Técnico: Atribuição de Dados em Grandes Modelos de Linguagem via Otimização de Gradiente Bidirecional (DABGO)

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais implantados em domínios críticos, como redação jurídica, diagnóstico médico e pesquisa científica. Embora esses modelos derivem suas capacidades de vastos corpora de treinamento, um problema fundamental permanece em aberto: identificar quais dados de treinamento específicos mais influenciaram a saída de um modelo. A pesquisa atual foca pesadamente no desempenho do modelo dado um conjunto de dados, deixando o problema inverso — rastrear o comportamento do modelo de volta a fontes de dados específicas — subexplorado. Essa falta de rastreabilidade dificulta a governança, a responsabilidade e a capacidade de depurar ou "desaprender" pontos de dados específicos. Métodos existentes de Atribuição de Dados de Treinamento (TDA), como Funções de Influência, enfrentam limitações práticas, incluindo a inviabilidade de computação exata (que exige retreinamento) e problemas fundamentais com a inversão de Hessian em modelos de larga escala. Além disso, estudos anteriores de atribuição de PLN têm sido frequentemente restritos ao rastreamento de fatos com previsões de uma única palavra ou granularidade de nível de conjunto de dados, falhando em abordar a geração de texto totalmente aberta.

Metodologia

Os autores propõem o DABGO (Data Attribution via Bidirectional Gradient Optimization), um framework projetado para estimar funções de influência reversa para LLMs autorregressivos. A hipótese central baseia-se no conceito de "influência espelhada": a influência de uma amostra de treinamento sobre uma previsão do modelo pode ser estimada observando como a otimização do modelo sobre essa previsão afeta o comportamento do modelo na amostra de treinamento.

Algoritmo Central

1. Otimização Bidirecional: Dado um modelo pré-treinado $\pi_{\theta^*}$ e uma sequência de saída gerada $\hat{x}$ (proposta por $\hat{x}_0$), o método constrói duas variantes de modelo perturbadas:

   • Ascensão de Gradiente ($\theta_+$): Otimiza o modelo para aumentar a verossimilhança do texto gerado $\hat{x}$ (simulando "desaprendizado" ou maximização de influência).
   • Descida de Gradiente ($\theta_-$): Otimiza o modelo para diminuir a verossimilhança de $\hat{x}$ (simulando ajuste fino ou minimização de influência).
   • Ambas as otimizações utilizam uma atualização regularizada por Fisher (Consolidação de Peso Elástico) para mitigar o esquecimento catastrófico, aproximada via uma Matriz de Informação de Fisher (FIM) diagonal para garantir a tratabilidade computacional.

2. Pontuação de Influência Bidirecional (BIS): Para cada amostra de treinamento $x_i$ no conjunto de dados $D$, o método calcula a perda sob ambos os modelos perturbados ($\theta_+$ e $\theta_-$). A pontuação de influência é definida como a mudança absoluta na perda:
   $$I(x_i; \hat{x}) = |\ell(x_i, \theta_-) - \ell(x_i, \theta_+)|$$
   Amostras que exibem grandes mudanças absolutas na perda são classificadas como as mais influentes para a geração de $\hat{x}$.

3. Granularidade: O framework suporta atribuição em níveis arbitrários, desde a amostra completa de treinamento até o nível de token, medindo as diferenças de log-verossimilhança por token.

Principais Contribuições

• Framework Inovador: Introdução do DABGO, um método de atribuição simples e eficaz para geração de texto aberta que evita computações de gradiente dispendiosas por amostra ou inversões de Hessian.
• Abordagem Bidirecional: O artigo demonstra que combinar tanto a ascensão quanto a descida de gradiente produz uma precisão de atribuição superior em comparação com abordagens unidirecionais (usando apenas ascensão ou apenas descida), capturando sinais complementares em modelos generativos.
• Atribuição Granular: O método permite a atribuição em granularidade de dados arbitrária, capturando com sucesso tanto o conteúdo factual quanto características estilísticas (ex: autoria, sintaxe) nos textos atribuídos.
• Protocolo de Avaliação: Os autores introduzem e utilizam a pontuação Tail-Patch Absolute (TPA) como um proxy computacionalmente eficiente para influência, validada contra a definição de verdade fundamental de influência via experimentos de retreinamento total.

Resultados Experimentais

Os autores avaliaram o DABGO em modelos do tipo GPT-2 treinados do zero em dois corpora distintos:

1. Atribuição Factual: Usando um corpus curado da Wikipedia (230M de tokens).
2. Atribuição Estilística: Usando textos literários do Project Gutenberg (2M de tokens) com diversos autores.

Desempenho Quantitativo:

• Configuração Factual: O DABGO superou consistentemente os baselines (BM25, TRACKSTAR, GECKO) na maioria dos valores de $k$ (número de amostras atribuídas no topo). Embora o BM25 tenha tido um bom desempenho em $k=1$ devido à forte sobreposição lexical, o DABGO se destacou conforme $k$ aumentava, indicando uma melhor identificação da influência factual distribuída.
• Configuração Estilística: O DABGO superou significativamente os métodos de recuperação baseados em palavras (BM25) e baseados em embeddings (GECKO) conforme $k$ aumentava. Isso destaca a capacidade do método de capturar sinais estilísticos distribuídos através de múltiplas amostras de treinamento, em vez de depender de passagens únicas.
• Validação via Retreinamento: Em experimentos contrafatuais onde as amostras do topo-$k$ atribuídas foram removidas e os modelos foram retreinados, os modelos retreinados sem as amostras atribuídas pelo DABGO mostraram uma perda significativamente maior na saída de teste em comparação com aqueles retreinados sem as amostras atribuídas por outros métodos. Isso confirma o alinhamento do DABGO com a definição de verdade fundamental de influência.

Estudos de Ablação:
Experimentos isolando a ascensão e a descida de gradiente mostraram que, embora a ascensão sozinha forneça um desempenho forte, a combinação de ambas as direções (DABGO) alcança a maior precisão, validando a necessidade da abordagem bidirecional para tarefas generativas.

Significância e Alegações

O artigo afirma que o DABGO melhora a interpretabilidade do modelo, um requisito crítico para sistemas de IA responsáveis. Ao rastrear com sucesso gerações abertas de volta aos seus dados de treinamento mais influentes, o método:

• Fecha o Ciclo de Feedback: Conecta os dados de treinamento diretamente ao comportamento do modelo, permitindo aplicações como depuração de modelos e desaprendizado de dados.
• Supera Limitações Anteriores: Diferente de trabalhos anteriores restritos a fatos curados ou previsões de uma única palavra, o DABGO opera efetivamente em configurações de geração totalmente abertas.
• Proporciona Transparência: A capacidade de atribuir influência ao nível de token oferece interpretabilidade fina, distinguindo entre contribuições factuais e nuances estilísticas.

Os autores reconhecem limitações, observando que o DABGO permanece computacionalmente caro (exigindo duas passagens sobre o corpus) e é atualmente impraticável para modelos de escala industrial com centenas de bilhões de tokens. Além disso, embora identifique amostras influentes, o método não considera atualmente interações sinérgicas ou adversariais entre subgrupos de dados, nem estabelece o papel causal de tokens específicos destacados além das mudanças observadas na perda. No entanto, o trabalho representa um passo significativo em direção a sistemas de IA rastreáveis e auditáveis.