💻 computer science

Output Vector Editing for Memorization Mitigation in Large Language Models

Este artigo propõe a "edição de vetor de saída", uma técnica de otimização restrita que modifica minimamente os vetores de saída de neurônios MLP específicos para suprimir sequências memorizadas em grandes modelos de linguagem, alcançando taxas de mitigação significativamente superiores aos métodos tradicionais de ablação zero, ao mesmo tempo em que identifica os mecanismos de atenção como um recurso complementar necessário para um subconjunto de casos inacessíveis.

Autores originais: Ahmad Dawar Hakimi, Kaiwei Lei, Isabelle Augenstein, Hinrich Schütze

Publicado 2026-06-19

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Ahmad Dawar Hakimi, Kaiwei Lei, Isabelle Augenstein, Hinrich Schütze

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Problema: A "Má Memória" do Modelo

Imagine um Grande Modelo de Linguagem (LLM) como um estudante que leu toda a internet. Às vezes, esse estudante não apenas aprende conceitos; eles memorizam frases específicas palavra por palavra de seus livros didáticos (os dados de treinamento).

Isso é perigoso. Se você pedir ao estudante para terminar uma frase, ele pode acidentalamente recitar um e-mail privado, um livro protegido por direitos autorais ou uma senha secreta que ele "aprendeu" por acidente. Isso é chamado de memorização.

A Solução Antiga: A Abordagem de "Força Bruta"

Anteriormente, pesquisadores tentavam corrigir isso encontrando as "células cerebrais" específicas (neurônios) no modelo responsáveis pela frase memorizada e simplesmente as desligando.

A Analogia: Imagine que o cérebro do modelo é uma cozinha movimentada. Se um chef específico (neurônio) continua gritando um número de telefone privado, o método antigo era amarrar as mãos desse chef atrás das costas para que ele não pudesse cozinhar de jeito nenhum.
A Falha: Aquele chef também pode ser bom em outras coisas (como fazer sopa ou picar vegetais). Amarrar as mãos dele impede o número de telefone, mas também estraga a sopa. O modelo perde conhecimento útil apenas para deter uma memória ruim.

A Nova Solução: "Edição de Vetor de Saída"

Os autores propõem uma maneira mais inteligente: Edição de Vetor de Saída (Output Vector Editing). Em vez de amarrar as mãos do chef, eles dão ao chef um novo cartão de receita que altera o que ele grita, sem impedi-lo de trabalhar.

Como funciona:
1. Encontre o Culpado: Eles localizam os neurônios específicos que estão prestes a cuspir o texto memorizado.
2. O Truque do "Distrator": Em vez de silenciar o neurônio, eles ajustam o "vetor de saída" do neurônio (a direção específica para a qual ele aponta no cérebro do modelo). Eles o empurram levemente para que, em vez de apontar para a palavra memorizada, ele aponte para um distrator.
3. O Resultado: O neurônio ainda dispara (ainda está ativo), mas agora sugere uma palavra diferente e inofensiva. A frase memorizada é quebrada, mas o neurônio ainda está livre para realizar seus outros trabalhos (como fazer sopa).

Os Quatro "Modos" de Edição

Os pesquisadores testaram quatro maneiras diferentes de escolher a palavra "distratora", criando um espectro do suave ao agressivo:

Redact (O "Censor"): O modelo é empurrado para produzir uma sequência de asteriscos (****). É como colocar uma barra preta sobre o texto sensível. É muito seguro para a inteligência geral do modelo, mas interrompe apenas cerca de 32% das frases memorizadas.
Next-Best (A "Troca Inteligente"): O modelo é empurrado para dizer a segunda palavra mais provável em vez da memorizada. Isso parece natural e fluente. Interrompe cerca de 81,5% das frases memorizadas e raramente quebra a capacidade do modelo de responder outras perguntas.
EOS (O "Pare"): O modelo é empurrado para encerrar a frase imediatamente (End of Sequence/Fim de Sequência). É o modo mais agressivo, interrompendo 87,9% das frases memorizadas, mas ocasionalmente faz o modelo agir de forma errática em outras tarefas (como um carro freando bruscamente e derrapando).
Suppress (O "Mudo"): O modelo é empuado para diminuir ativamente a chance de a palavra ruim aparecer, sem sugerir um substituto específico.

Principais Descobertas

É sobre a "Direção", não o "Volume": O artigo prova que o problema não é que os neurônios estão "muito altos" (ativação), mas sim que estão apontando na "direção errada" (vetor de saída). Mudar a direção funciona muito melhor do que abaixar o volume.
O "Ponto Ideal": O modo "Next-Best" é o vencedor. Ele interrompe a maioria das memórias ruins (81,5%) sem causar "falhas catastróficas" (onde o modelo esquece como falar inglês inteiramente).
O Tamanho Importa: Modelos maiores (como os de 7 bilhões de parâmetros) são mais fáceis de consertar do que modelos menores. Quanto maior o modelo, mais "espaço" ele tem para absorver essas pequenas edições sem quebrar.
O Limite: Cerca de 14% das sequências memorizadas são complexas demais para este método. Elas dependem de uma parte diferente do cérebro (o mecanismo de "atenção") em vez dos neurônios que os autores estão editando. Para estas, os autores sugerem que uma abordagem híbrida pode ser necessária.

A Conclusão

Este artigo introduz uma ferramenta cirúrgica que edita o conteúdo da memória de um modelo em vez de deletar o hardware que o contém. Isso nos permite limpar textos privados ou protegidos por direitos autorais de modelos de IA sem acidentalmente lobotomizar sua inteligência geral.

Resumo Técnico: Edição de Vetor de Saída para Mitigação de Memorização em Grandes Modelos de Linguagem

1. Declaração do Problema

Grandes Modelos de Linguagem (LLMs) memorizam e reproduzem sequências de seus dados de treinamento, criando riscos significativos de privacidade, direitos autorais e segurança. As estratégias de mitigação existentes enfrentam limitações: a prevenção durante o treinamento exige o retreinamento completo; o desaprendizado (unlearning) pós-hoc frequentemente deixa as codificações subjacentes intactas, permitindo a recuperação via reaprendizado benigno; e a filtragem ao nível do decodificador adiciona sobrecarga de inferência sem modificar os pesos.

Dentro do paradigma "localizar-então-editar", trabalhos anteriores sobre memorização concentraram-se majoritariamente em reduzir a fase de "edição" para o zeramento das ativações dos neurônios identificados. Os autores argumentam que isso é desnecessariamente destrutivo. Como os neurônios participam da representação de múltiplos recursos através de superposição, zerar uma ativação colapsa toda a informação que o neurônio codifica, não apenas o conteúdo memorizado. Além disso, métodos existentes frequentemente dependem de templates estruturados (ex: <sujeito, relação, objeto>) que não existem na memorização sequencial de formato livre.

2. Metodologia: Edição de Vetor de Saída

O artigo propõe a Edição de Vetor de Saída, uma edição de peso de otimização restrita que modifica os vetores de saída dos neurônios MLP responsáveis por uma continuação memorizada, em vez de zerar suas ativações.

Mecanismo Central

A saída de uma camada MLP é uma soma de contribuições por neurônio: $MLP(x) = \sum a_i \cdot v_i$ , onde $a_i$ é a ativação escalar e $v_i$ é o vetor de saída.

Ativação vs. Vetor: A ativação $a_i$ controla se um neurônio é engajado, enquanto o vetor de saída $v_i$ determina o que é escrito para o fluxo residual (residual stream).
A Edição: Em vez de definir $a_i = 0$ , o método mantém $a_i > 0$ , mas modifica $v_i$ para $v'_i$ . Isso é alcançado via uma atualização de posto um (rank-one update) ao longo da direção de unembedding de um token "distrator" $s$ escolhido.
Otimização: A edição minimiza a distância entre o vetor original e o novo, projetando o novo vetor na direção do logit do token distrator para um valor alvo $\Delta_i$ . A solução de forma fechada é:
$v'_i = v_i + \frac{\Delta_i - u_s^\top v_i}{\|u_s\|^2} u_s$
onde $u_s$ é o vetor de unembedding para o token $s$ . Isso não requer computação de gradiente e é aplicado diretamente aos pesos.

Etapas do Pipeline

Mineração de Sequências Memorizadas: Usando previsão com teacher forcing no corpus de pré-treinamento, os autores identificam sequências onde a saída do modelo coincide com o dado real (BLEU > 0.5).
Localização em Duas Etapas:
- Seleção de Camada: Identifica as 5 principais camadas MLP onde o token alvo recebe o maior aumento de logit (usando o "logit lens").
- Seleção de Neurônio: Dentro das camadas selecionadas, pontua neurônios baseando-se na proximidade L1 com o fluxo residual e filtra aqueles que promovem ou suprimem diretamente o token alvo (ranqueando-o entre os 50 primeiros ou últimos do vocabulário).
Modos de Edição: O método define quatro modos baseados no token distrator $s$ $s$ :
- EOS: Redireciona para o token de fim de sequência (terminação agressiva).
- Redact (Redigir): Redireciona para um marcador de redação (****).
- Next-best (Próximo melhor): Redireciona para o segundo token mais bem classificado do modelo (alternativa plausível).
- Suppress (Suprimir): Amortece diretamente o logit do token alvo sem injetar um distrator.

3. Principais Contribuições

Desacoplamento de Ativação e Saída: O artigo demonstra que ativações e vetores de saída desempenham papéis separáveis em neurônios MLP. Modificar o vetor de saída para introduzir um distrator é uma intervenção distinta e menos destrutiva do que zerar ativações.
Edição de Saída de Posto Um: Adapta o mecanismo de atualização de posto um (previamente usado para edição factual como ROME) para o redirecionamento de saída por neurônio para mitigação de memorização.
Avaliação Abrangente: Avaliação em quatro modelos (SmolLM-360M, OLMo-1B, OLMo-7B, Llama2-7B) e quatro modos de edição, comparando contra ablação zero, neurônios aleatórios e linhas de base de direcionamento de ativação (activation steering).
Limites Mecanísticos: Identificação de um "limite rígido" de ~14% onde a edição apenas de MLP falha, sugerindo um papel complementar dos mecanismos de atenção nesses casos específicos.

4. Resultados

Avaliado principalmente no OLMo-7B (6.831 sequências memorizadas):

Superioridade sobre a Ablação Zero: Em localização correspondente ( $k=5$ ), o modo EOS alcançou 85,7% de supressão comparado a 31,3% para a ablação zero nos mesmos neurônios. Esse hiato de 2.7x confirma que o sucesso advém da edição do vetor de saída, não apenas da localização.
Troca Sucesso-Localidade (Success-Locality Trade-off):
- Agressivo (EOS, k=10): 87,9% de supressão, mas incorre em um "risco de cauda" de falhas de localidade catastróficas (picos de perplexidade > 100) em ~1,8% das edições.
- Prático (Next-best, k=5): 81,5% de supressão com zero edições catastróficas e mudança mínima na mediana da perplexidade (+0,13). Este é identificado como o ponto de operação ideal.
- Conservador (Redact, k=5): 31,7% de supressão com dano de localidade quase nulo.
Complementaridade de Modos: Os quatro modos não são redundantes. Um conjunto (ensemble) de todos os modos cobre 96,5% das sequências memorizadas. O modo "Next-best" suprime unicamente 161 sequências que nenhum outro modo alcança.
Generalização entre Modelos: As taxas de sucesso escalam com o tamanho do modelo, não com a família de arquitetura. Modelos menores (360M) mostram taxas de sucesso menores (34,9%) devido, em grande parte, à maior taxa de salto (skip rate) no filtro de localização.
Comparação com Direcionamento de Ativação: O método proposto atinge taxas de sucesso comparáveis ao direcionamento de ativação (73,3%), mas com localidade significativamente melhor (mediana $\Delta$ PPL +0,13 vs. +0,90) e direcionamento por sequência.

Limitações e Falhas

Limite de MLP: Aproximadamente 14% das sequências resistem a todas as configurações baseadas em MLP. A análise sugere que estas não são primariamente impulsionadas pela atenção, mas ablar os principais cabeças de atenção recupera 60–64% dessas falhas, posicionando a atenção como um fallback complementar.
Risco Cumulativo: Embora edições individuais sejam seguras, a edição em massa sem restauração de pesos leva ao colapso catastrófico (ex: o modo EOS colapsa dentro de 10 edições cumulativas).

5. Significância e Alegações

O artigo afirma fornecer uma intervenção mecanisticamente fundamentada ao nível dos pesos que mitiga a memorização sem os efeitos colaterais destrutivos da ablação de neurônios ou a sobrecarga de tempo de execução da filtragem.

Precisão: Ao editar o vetor de saída em vez da ativação, o método redireciona cirurgicamente continuações memorizadas específicas enquanto preserva outros recursos codificados do neurônio.
Praticidade: O modo "Next-best" oferece uma configuração de alto sucesso e baixo risco adequada para implantação prática, evitando os casos extremos catastróficos vistos nos modos agressivos.
Escalabilidade: O método transfere-se entre famílias de modelos e escalas, com taxas de sucesso correlacionadas com o tamanho do modelo.
Remédio vs. Defesa: Os autores posicionam isso como um remédio para memorizações conhecidas (exigindo acesso ao corpus de pré-treinamento para minerar sequências), em vez de uma defesa de tempo de execução contra extração adversarial. Eles reconhecem que a edição redireciona as contribuições em vez de remover as representações subjacentes, o que significa que o conteúdo suprimido poderia potencialmente ser recuperado via reaprendizado benigno.

O trabalho estabelece que a mitigação eficaz da memorização requer ir além da simples supressão de ativação para a manipulação precisa das contribuições do fluxo residual via edição do vetor de saída.