Resumo Técnico: Influcoder

Definição do Problema

À medida que os Grandes Modelos de Linguagem (LLMs) crescem em capacidade, a necessidade de curadoria de conjuntos de dados de treinamento de alta qualidade se intensificou. Especificamente, há uma demanda por métodos de Atribuição de Dados (DA) que possam identificar quais amostras de treinamento específicas precondicionam um modelo para gerar certas saídas, como comportamentos tóxicos. Embora as Funções de Influência (Koh e Liang, 2017) forneçam um arcabouço teórico para isso ao quantificar o efeito de amostras de treinamento na perda de teste, sua aplicação prática em escala é dificultada por custos computacionais e requisitos de armazenamento proibitivos. Métodos existentes frequentemente exigem gradientes por exemplo ou aproximações de inversa da Hessiana, que são instáveis e lentas. Além disso, estudos recentes (Li et al., 2025; Ivison et al., 2025) indicam que muitos métodos de influência têm dificuldade em superar baselines aleatórios ao escalar, enquanto outros (Jiao et al., 2025) mostram promessa para filtragem, mas permanecem computacionalmente caros.

Metodologia: Influcoder

Os autores propõem o Influcoder, um método que destila classificações de influência de gradiente em um modelo codificador compacto para alcançar uma atribuição de dados eficiente e escalável. A abordagem evita a instabilidade da estimativa da inversa da Hessiana ao confiar em uma formulação de influência de primeira ordem baseada na similaridade de cosseno dos gradientes de LoRA (Low-Rank Adaptation).

1. Formulação de Influência de Gradiente

Em vez de usar a inversa da Hessiana completa, o método adota uma formulação de influência de primeira ordem (Garima et al., 2020) restrita aos parâmetros do adaptador LoRA ($\theta_L$). Para garantir estabilidade e evitar a sobreponderação de gradientes de norma alta, o produto escalar é substituído pela similaridade de cosseno:
$$\text{Inf}'(p, q) = \cos(\nabla\ell(\theta_L, p), \nabla\ell(\theta_L, q))$$
onde $p$ é uma amostra do pool (treinamento) e $q$ é uma amostra de consulta (query).

2. Pipeline de Treinamento de Dois Estágios

O método opera em dois estágios distintos:

• Estágio 1: Coleta de Rótulos de Verdade Fundamental (Ground Truth)

  • Amostras de Pool ($P$) e de consulta ($Q$) são passadas através de um modelo decodificador alvo.
  • Os gradientes são computados apenas nos tokens de resposta (mascarando o prompt), pois estes são considerados mais informativos.
  • Para reduzir o armazenamento, os gradientes são projetados para uma dimensão inferior usando CountSketch (Charikar et al., 2004).
  • A matriz de influência de "verdade fundamental" ($I_{GT}$) é pré-computada calculando a similaridade de cosseno entre todos os pares de gradientes de pool e consulta.

• Estágio 2: Destilação em um Codificador

  • Um modelo codificador (ex: Ettin-encoder) é treinado para prever pontuações de influência diretamente a partir das amostras de entrada, evitando a necessidade de computar gradientes para cada consulta.
  • O codificador produz embeddings para as amostras de pool e consulta ($E_p, E_q$).
  • As influências previstas ($I_P$) são calculadas como a similaridade de cosseno entre esses embeddings.

3. Função de Perda Baseada em Ranking

Como o objetivo é classificar amostras em vez de prever valores exatos de influência, o objetivo de treinamento combina duas perdas de ranking diferenciáveis:

• Perda de Correlação de Pearson ($L_{Pearson}$): Alinha todo o lote de influências previstas com a matriz de verdade fundamental para garantir consistência global.
• Perda de Divergência KL ($L_{KL}$): Uma perda baseada em softmax aplicada por consulta para otimizar especificamente o ranking das amostras mais influentes do top-k.
• Perda Total: $L_{Total} = \alpha L_{Pearson} + (1 - \alpha) L_{KL}$.

Principais Contribuições

1. Nova Abordagem de Destilação: O Influcoder é o primeiro método a destilar classificações de influência de gradiente (especificamente baseadas em LoRA) em um codificador, distinguindo-se de trabalhos de destilação anteriores que focam em perdas de treinamento (ex: AirRep) ou proxies de gradiente total (ex: IProX).
2. Escalabilidade e Eficiência: Ao substituir computações de gradiente caras por uma passagem direta (forward pass) através de um pequeno codificador, o método alcança aumentos significativos de velocidade e reduções de armazenamento.
3. Filtragem Prática: O método demonstra eficácia na filtragem de dados tóxicos, uma aplicação crítica para a segurança de LLMs.

Resultados Experimentais

Os autores avaliaram o Influcoder contra baselines incluindo LESS, LoGRA, DataInf, RDS+ e TF-IDF.

• Velocidade de Inferência e Custo:

  • O Influcoder (68M parâmetros) processa amostras 15x mais rápido que o modelo proxy mais próximo, 45x mais rápido que o LoGRA completo e 100x mais rápido que o LESS.
  • Em termos de FLOPs, o Influcoder utiliza 5x menos que o proxy mais próximo e 44x menos que o LESS.
  • Os requisitos de armazenamento são drasticamente menores (30 MB para o Influcoder vs. 320 MB para o LESS e 2.24 GB para o LoGRA).

• Qualidade de Atribuição:

  • Correlação de Ranking: O Influcoder alcança correlações de Spearman agregadas médias comparáveis ou ligeiramente abaixo do LESS, superando significativamente as baselines de similaridade semântica e outros métodos baseados em projeção.
  • Filtragem de Toxicidade: Na tarefa XSTest-response (filtragem de exemplos tóxicos), o Influcoder alcançou um AUPRC de 0.6981 (Heterogêneo) e 0.6919 (Homogêneo). Embora ligeiramente inferior ao LESS (0.7075 e 0.7562), é vastamente superior ao DataInf (0.2157) e às baselines Semânticas. Crucialmente, o Influcoder alcança isso com um tempo de inferência de ~32 segundos comparado a ~2248 segundos para o LESS.

Significância e Limitações

O artigo afirma que o Influcoder fornece um caminho viável para uma atribuição de dados em larga escala eficaz, equilibrando o compromximisso entre a alta precisão dos métodos baseados em gradiente e a velocidade dos métodos baseados em representação. Ele permite o uso de funções de influência para tarefas como filtragem de toxicidade onde a velocidade é essencial.

No entanto, os autores explicitamente notam limitações significativas:

• Dependência de Distribuição: Diferente de métodos como LoGRA ou LESS que funcionam independentemente da distribuição de dados, o desempenho do Influcoder cai drasticamente se as amostras caírem fora da distribuição dos conjuntos de pool e consulta usados durante o treinamento.
• Requisito de Dados de Treinamento: O método requer uma quantidade suficiente de dados de treinamento para destilar a influência inicialmente. Em tarefas com dados insuficientes, o desempenho degrada.
• Overhead de Configuração: Diferente de métodos "plug-in", o Influcoder requer uma fase de configuração inicial envolvendo o estoque de gradientes e o treinamento do codificador, o que adiciona complexidade ao fluxo de trabalho.

Em conclusão, o Influcoder oferece uma alternativa de baixo custo e alta velocidade para atribuição de dados, particularmente adequado para cenários onde a distribuição dos dados é conhecida e a inferência rápida é priorizada sobre a precisão absoluta de ranking.