Resumo Técnico: Quão Fiel é a Atribuição de Dados Baseada em Trajetória?

1. Declaração do Problema

Os métodos de atribuição de dados baseados em trajetória (por exemplo, SGD-influence, TracIn, SOURCE) estimam a influência de amostras individuais de treinamento nas previsões do modelo ao desenrolar a trajetória de treinamento. Embora amplamente utilizados para seleção de dados, valoração e diagnóstico de modelos, esses métodos carecem de uma análise de erro abrangente. Os praticantes enfrentam incertezas fundamentais quanto à magnitude e origem dos erros de atribuição, particularmente no que diz respeito se os erros decorrem de incompatibilidades entre a fórmula de atribuição e a dinâmica real de treinamento (por exemplo, incompatibilidade do otimizador) ou de aproximações algorítmicas inerentes (por exemplo, expansões de Taylor de primeira ordem). Essa incerteza impede a implantação confiável desses métodos em pipelines modernos de aprendizado profundo, que utilizam predominantemente otimizadores como AdamW em vez do SGD assumido pelas derivações teóricas existentes.

2. Metodologia e Taxonomia

Os autores propõem a primeira análise sistemática de erro de atribuição baseada em trajetória, organizando o erro total em três categorias distintas:

1. Erro de Nível de Configuração: Surge quando a fórmula de atribuição não reflete fielmente o procedimento de treinamento real. A fonte dominante identificada é a incompatibilidade do otimizador, onde os métodos assumem dinâmicas de Descida de Gradiente Estocástica (SGD) apesar de os modelos serem treinados com AdamW.
2. Erro de Nível de Algoritmo: Surge de aproximações de eficiência, especificamente a expansão de Taylor de primeira ordem usada para linearizar a trajetória de parâmetros.
3. Erro de Nível de Sistema: Erros irredutíveis devido à precisão de ponto flutuante e não determinismo da GPU, que afetam até mesmo o retreinamento de verdade absoluta.

Para abordar esses pontos, o artigo introduz:

• AdamW-influence: Um novo algoritmo que desenrola a dinâmica real de otimização AdamW (incluindo estados de momento e escalonamento adaptativo por coordenada) em vez de assumir SGD. Ele injeta perturbações no nível do gradiente para lidar corretamente com a não linearidade das atualizações de segundo momento do AdamW.
• Proxy de Erro: Uma expressão de forma fechada para estimar o erro de nível de algoritmo por amostra (erro de estimativa de atualização) ao longo da trajetória original sem retreinamento.
• Framework de Visão Prévia de K Passos: Um framework teórico unificado para seleção de dados que trata estratégias offline e online como casos limites de um parâmetro de horizonte $K$, permitindo a análise da compensação entre informações de visão prévia e erro de aproximação acumulado.

3. Principais Contribuições

A. Correção do Erro de Nível de Configuração (Incompatibilidade do Otimizador)

Os autores demonstram que os métodos existentes derivam a atribuição sob a suposição de SGD, criando desvios sistemáticos quando aplicados a modelos treinados com AdamW. Eles propõem o AdamW-influence, que contabiliza corretamente o momento e o escalonamento adaptativo do AdamW.

• Resultado: Em quatro configurações (MLP, CNN, GPT-2 e Llama 3.2-1B), o AdamW-influence melhora a correlação de Spearman entre a influência estimada e a influência de verdade absoluta (TSLOO) em 10% a mais de 300% em comparação com a linha de base baseada em SGD.
• Implicação: O alinhamento do otimizador é um pré-requisito necessário para isolar e analisar os erros restantes de nível de algoritmo.

B. Dissecção do Erro de Nível de Algoritmo

Com o erro de nível de configuração corrigido, os autores isolam o erro decorrente da expansão de Taylor de primeira ordem. Eles identificam dois fatores governantes:

1. Taxa de Aprendizado ($\eta$): Taxas de aprendizado maiores aumentam o erro de linearização por passo.
2. Comprimento da Trajetória ($T - t^*$): Trajetórias restantes mais longas permitem que os erros se acumulem.

• Resultado: A magnitude do erro é inversamente proporcional à taxa de aprendizado e diretamente proporcional ao comprimento da trajetória restante.
• Contribuição: Os autores derivam um proxy de erro de forma fechada (Equação 4) que estima normas de erro por amostra usando quantidades já mantidas pelo otimizador. Esse proxy correlaciona-se fortemente ($\rho \in [0.83, 0.89]$) com normas de erro de verdade absoluta obtidas via retreinamento leave-one-out, permitindo decisões conscientes do erro sem retreinamento.

C. Diretrizes Práticas para Seleção de Dados

O artigo unifica estratégias de seleção de dados offline e online sob um framework de visão prévia de K passos, onde $K$ representa o número de passos para o futuro que uma decisão de seleção considera.

• Descobertas:
  • Alinhamento do Otimizador: A seleção online usando AdamW-influence supera consistentemente a seleção online SGD-influence, transferindo os ganhos de fidelidade para o desempenho de seleção a jusante.
  • Horizonte vs. Erro: A seleção offline corresponde ao horizonte mais longo ($K = T-t$) e acumula o maior erro de aproximação. A seleção online com horizonte curto a moderado frequentemente iguala ou excede o desempenho offline.
  • Ajuste de $K$: O horizonte ótimo $K$ cresce à medida que a taxa de aprendizado diminui. Taxas de aprendizado menores permitem que a soma de $K$ passos se estenda mais antes que o erro de aproximação domine.
• Diretriz: Os praticantes devem ajustar $K$ conjuntamente com a taxa de aprendizado em vez de fixá-lo, e a seleção online de horizonte curto com otimizadores alinhados é uma receita confiável e acionável.

4. Resultados Experimentais

Os autores avaliaram seus métodos em:

• Modelos: MLP, CNN, GPT-2 e Llama 3.2-1B.
• Conjuntos de Dados: MNIST, WikiText-2, Alpaca e Tulu3.
• Métricas: Correlação de rank de Spearman contra a verdade absoluta TSLOO (para fidelidade) e taxas de erro de validação/teste ou perplexidade (para qualidade de seleção de dados).

Principais Resultados:

• Fidelidade: O AdamW-influence supera significativamente o SGD-influence em todas as taxas de aprendizado e arquiteturas. Por exemplo, em MNIST+CNN com $lr=10^{-3}$, a correlação melhorou de 0,015 para 0,090 (+500%).
• Qualidade de Seleção: Em tarefas de seleção de dados, o AdamW-influence Online alcançou consistentemente taxas de erro mais baixas (em MNIST) e perplexidade mais baixa (em Llama 3.2) em comparação tanto com o SGD-influence Online quanto com o AdamW-influence Offline.
• Proxy de Erro: O proxy derivado rastreou com sucesso as normas de erro de verdade absoluta com alta correlação de Spearman ($\rho \approx 0.85$), validando seu uso como um sinal prático para decisões conscientes da trajetória.

5. Significado e Alegações

O artigo alega fornecer a primeira análise sistemática de erro de atribuição de dados baseada em trajetória, movendo o campo de tratar esses métodos como "funções de pontuação de caixa preta" para "estimadores diagnosticáveis".

• Impacto Teórico: Ao categorizar os erros em níveis de configuração, algoritmo e sistema, o trabalho esclarece as fontes de infidelidade em contextos modernos de aprendizado profundo.
• Impacto Prático: A introdução do AdamW-influence e do framework de K passos oferece remédios concretos e acionáveis para os praticantes. Demonstra que alinhar a fórmula de atribuição com o otimizador real (AdamW) e ajustar cuidadosamente o horizonte de visão prévia pode melhorar significativamente a confiabilidade da seleção de dados e do diagnóstico de modelos.
• Escalabilidade: Os métodos propostos mantêm complexidade $O(T)$ (com uma sobrecarga constante de aproximadamente 3x em comparação ao SGD-influence devido ao armazenamento de estado aumentado), tornando-os viáveis para modelos em grande escala quando combinados com técnicas de mascaramento aleatório.

Os autores reconhecem limitações, observando que sua análise é restrita a métodos baseados em Taylor de primeira ordem e modelos até Llama 3.2-1B devido a restrições computacionais, e que a generalização para outros regimes (por exemplo, aprendizado por reforço, modelos de difusão) permanece uma direção aberta.