💬 NLP

Select or Project? Evaluating Lower-dimensional Vectors for LLM Training Data Explanations

Este artigo demonstra que selecionar de forma gananciosa um subconjunto pequeno e arquiteturalmente informado de componentes do modelo é tanto mais eficaz quanto computacionalmente eficiente do que o uso de gradientes completos ou projeções aleatórias para gerar explicações baseadas em instâncias de grandes modelos de linguagem.

Autores originais: Lukas Hinterleitner, Loris Schoenegger, Benjamin Roth

Publicado 2026-07-31

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Lukas Hinterleitner, Loris Schoenegger, Benjamin Roth

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando entender por que um robô gigante e superinteligente tomou uma decisão específica. Você sabe que o robô foi treinado em uma biblioteca massiva de livros, mas qual livro específico lhe ensinou aquele fato em particular? Este é o mundo das "explicações baseadas em instâncias" na inteligência artificial. Cientistas querem rastrear a resposta de um robô de volta ao exemplo de treinamento exato que a influenciou, quase como um detetive procurando por uma impressão digital. Para fazer isso, eles geralmente olem para os "gradientes" do robô. Pense em um gradiente como um mapa multidimensional gigante mostrando exatamente como o cérebro do robô mudaria se ele visse uma frase específica. O problema é que, para os robôs modernos (chamados de Grandes Modelos de Linguagem), esses mapas são tão enormes que são impossíveis de carregar. Um único mapa para um modelo padrão ocupa mais de 4 gigabytes de memória — mais do que o arquivo de um filme inteiro! Por causa disso, pesquisadores precisam encolher esses mapas para torná-los gerenciáveis. Eles têm tentado dois truques principais: ou jogar fora a maior parte do mapa e manter apenas algumas partes aleatórias, ou esmagar todo o mapa em um resumo pequeno e borrado. Mas ninguém realmente sabia qual truque era melhor para ajudar o detetive a encontrar o livro certo.

Este artigo, intitulado "Select or Project?", busca resolver esse mistério. Os autores, Lukas Hinterleitner e sua equipe da Universidade de Viena, construíram um novo campo de testes para ver se é melhor escolher cuidadosamente algumas partes importantes do cérebro do robô (Seleção) ou esmagar matematicamente todo o cérebro em um espaço menor (Projeção). Eles usaram um jogo inteligente para testar: pegaram uma frase, a reescreveram de uma forma diferente e pediram aos "gradientes" do robô para encontrar a frase original entre uma multidão de sósias. Se os gradentes forem bons, eles devem apontar diretamente para a frase original.

Os resultados foram surpreendentes. A equipe descobriu que o método de "esmagamento" (Projeção Aleatória), que tenta manter a forma de todo o mapa, não foi o melhor detetive. Em vez disso, um método que eles chamaram de "Seleção Gananciosa" (Greedy Selection) venceu o jogo. Essa abordagem é como um bibliotecário inteligente que não lê a biblioteca inteira, mas sabe exatamente quais três prateleiras contêm as pistas mais importantes. Ao escolher cuidadosamente um pequeno conjunto específico das partes internas do robô (especificamente, certas camadas que lidam com lógica e conexões de palavras), eles criaram um mapa pequeno e super nítido. Em seus testes, essa seleção direcionada foi não apenas mais precisa ao encontrar o exemplo de treinamento correto, mas também muito mais rápida e barata de computar.

Aqui está o ponto crucial: o mapa gigante completo do cérebro do robô na verdade teve um desempenho pior do que este subconjunto pequeno e cuidadosamente escolhido. Em um teste difícil onde o robô tinha que gerar uma nova história baseada em um comando refraseado, o mapa completo acertou a resposta apenas cerca de 22% das vezes — pouco melhor do que adivinhar. No entanto, o pequeno grupo selecionado acertou cerca de 36% das vezes. Os autores sugerem que o mapa completo é, na verdade, "ruidoso", cheio de tanta informação extra que acaba abafando as pistas reais. Ao selecionar apenas as partes mais informativas, eles cortaram o ruído e obtiveram um sinal mais claro.

O artigo também analisou quais partes do cérebro do robô eram os melhores detetives. Eles descobriram que não se tratava do tamanho da parte; uma peça minúscula do cérebro poderia ser mais útil do que uma peça enorme. Em vez disso, era sobre o que a parte fazia. As partes responsáveis pela lógica interna do robô (chamadas de camadas MLP) foram muito melhores em encontrar os dados de treinamento corretos do que as partes responsáveis por prestar atenção em palavras específicas (como as partes "Key" e "Value" do mecanismo de atenção). Curiosamente, as partes no início e no final da cadeia de processamento do robô foram as mais úteis, enquanto as partes do meio pareciam ficar confusas e menos úteis.

No fim, os autores concluem que, para explicar como esses gigantes modelos de IA funcionam, não precisamos da imagem completa. Precisamos apenas das poucas peças certas. Sua estratégia de "Seleção Gananciosa" é uma maneira prática e eficiente de tornar essas explicações possíveis sem precisar de supercomputadores que rodem por centenas de horas. Embora tenham testado isso em um modelo específico com cerca de 1,2 bilhão de parâmetros, suas descobertas sugerem que, para o futuro da transparência da IA, ser exigente e seletivo é muito melhor do que tentar manter tudo.

Resumo Técnico: Selecionar ou Projetar? Avaliando Vetores de Baixa Dimensionalidade para Explicações de Dados de Treinamento de LLMs

Declaração do Problema
Métodos baseados em gradiente para explicações baseadas em instâncias de Grandes Modelos de Linguagem (LLMs) enfrentam uma barreira computacional significativa devido à imensa dimensionalidade dos gradientes do modelo. Para um modelo de 1 bilhão de parâmetros, um único vetor de gradiente requer mais de 4 GB de memória, tornando a análise do gradiente completo intratável. As práticas atuais frequentemente restringem a estimativa de influência a um subconjunto de parâmetros do modelo (por exemplo, camadas específicas ou adaptadores LoRA) para tornar a computação viável. No entanto, esses subconjuntos são frequentemente escolhidos ad hoc, sem justificativa sistemática. Além disso, técnicas alternativas de redução de dimensionalidade, como a projeção aleatória, são utilizadas, mas carecem de avaliação comparativa contra estratégias de seleção conscientes da arquitetura. O problema central é determinar se é mais eficaz selecionar um subconjunto esparso e estruturalmente informado de componentes do modelo ou projetar o gradiente de alta dimensão total para um espaço de menor dimensão para capturar a influência dos dados de treinamento.

Metodologia
Os autores propõem um novo benchmark que não requer retreinamento para avaliar estratégias de redução de dimensionalidade para explicações baseadas em instâncias. A avaliação enquadra o problema como uma tarefa de recuperação: dado um exemplo de teste (especificamente, uma versão parafraseada de uma amostra de treinamento ou uma conclusão gerada pelo modelo), o sistema deve identificar o exemplo de treinamento original entre um conjunto de distratores com base na similaridade de gradiente.

Representação de Gradiente: O estudo utiliza gradientes de perda em relação aos parâmetros do modelo ( $\nabla_\theta L$ ). O gradiente completo é construído achatando os gradientes dos componentes (por exemplo, projeções de query, key, value e portões MLP) em um único vetor.
Configuração de Avaliação:
- Datasets: Os autores utilizam o subconjunto LIMA do dataset Tülu 2. Eles geram dois conjuntos de consulta: um conjunto Parafraseado ( $D_p$ ) usando GPT-4o-mini para refrasear os prompts preservando a semântica, e um conjunto Gerado pelo Modelo ( $D_m$ ) onde o modelo ajustado gera conclusões para prompts parafraseados.
- Métrica: A precisão de recuperação é medida verificando se a similaridade de cosseno entre o gradiente da consulta e o gradiente da amostra de treinamento original é maior do que sua similaridade com os distratores (selecionados via BM25).
Estratégias Comparadas:
- Gradiente Completo (Full Gradient): Utilizando todo o conjunto de parâmetros (baseline).
- Projeção Aleatória (Project): Projetando o gradiente completo em um espaço de menor dimensão ( $d \ll M$ ) usando uma matriz aleatória, implementada componente a componente para evitar a materialização de matrizes massivas. Isso preserva a estrutura geométrica do gradiente completo.
- Seleção de Componente Gananciosa (Select): Um algoritmo consciente da arquitetura que seleciona iterativamente um subconjunto de componentes do modelo (até um orçamento de parâmetros) que maximiza a precisão de recuperação. Isso aproveita a linearidade dos produtos escalares para reconstruir pontuações de similaridade a partir de valores escalares pré-computados sem armazenar vetores de alta dimensão.

Principais Contribuições

Novo Benchmark: A introdução de um benchmark eficiente baseado em recuperação, projetado para testar quão bem diferentes representações de baixa dimensão suportam a identificação de exemplos de treinamento influentes.
Comparação Principiada: Uma avaliação sistemática comparando a seleção gananciosa consciente da arquitetura contra a projeção aleatória que preserva a geometria e os baselines de gradiente completo.
Demonstração de Eficiência e Precisão: Evidência empírica mostrando que a seleção direcionada de componentes produz atribuições mais precisas e é significativamente mais eficiente computacionalmente do que a projeção aleatória.

Resultos

Limitações do Gradiente Completo: Embora o gradiente completo performe bem no cenário parafraseado (0,993 de precisão), seu desempenho colapsa no cenário mais desafiador de geração pelo modelo (0,218 de precisão), superando minimamente o acaso aleatório (0,20).
Variância de Componentes: Nem todos os componentes contribuem igualmente. No cenário gerado pelo modelo, os portões MLP e as projeções up carregam o sinal mais informativo, enquanto as projeções key e value da atenção contribuem pouco ou performam pior que o acaso. A contagem de parâmetros não correlaciona linearmente com o desempenho; o papel funcional é um determinante mais crítico.
Seleção vs. Projeção:
- Precisão: Um subconjunto de componentes selecionado de forma gananciosa (usando menos de 5% dos parâmetros) atinge precisão quase perfeita (0,998) no cenário parafraseado e supera significativamente o gradiente completo no cenário gerado pelo modelo (0,36 vs. 0,218).
- Geometria vs. Utilidade: Embora a projeção aleatória preserve efetivamente a geometria global do gradiente completo (alta similaridade de cosseno com as pontuações do gradiente completo), essa alta fidelidade não se traduz em uma precisão de recuperação ideal. Selecionar componentes com base em sua utilidade específica para a tarefa de recuperação é superior à preservação da geometria global.
Eficiência Computacional: O método de seleção gananciosa é substancialmente mais eficiente. A pré-computação de produtos escalares levou ~4 horas, com a seleção levando minutos. Em contraste, os baselines de projeção aleatória exigiram mais de 900 horas (sem cache) devido à intensidade computacional de projetar vetores massivos.

Significância e Alegações
O artigo afirma que, para explicações baseadas em instâncias de modelos grandes, a seleção direcionada de componentes é uma estratégia prática e superior em comparação com a projeção aleatória ou o uso do gradiente completo. O insight central é que um subconjunto esparso e cuidadosamente escolhido de componentes do modelo pode fornecer um sinal mais claro e discriminativo para tarefas específicas do que o gradiente completo e ruidoso. Esta abordagem torna as explicações baseadas em instâncias para modelos grandes mais computacionalmente viáveis sem sacrificar — e, muitas vezes, melhorando — a precisão da atribuição. Os autores concluem que restringir a estimativa de influência a um subconjunto estruturalmente informado de camadas é um caminho viável, desafiando a suposição de que o gradiente completo é a fonte ideal de informação.

O trabalho é modesto em seu escopo, observando limitações quanto ao tamanho do modelo (1,2 bilhões de parâmetros) e à natureza estática da avaliação (usando um único checkpoint). Os autores sugerem que trabalhos futuros explorem a generalização através de diferentes arquiteturas, escalas e métodos de atribuição dinâmica que rastreiam a influência ao longo do processo de treinamento.

Resumo Técnico: Selecionar ou Projetar? Avaliando Vetores de Baixa Dimensionalidade para Explicações de Dados de Treinamento de LLMs

Mais como este