🤖 machine learning

Distributed Sparse Interventions in Language Models

Este artigo introduz o Distributed Sparse Interventions (DSI), um novo método que identifica conjuntos esparsos de neurônios através das camadas para ativar efetivamente comportamentos de tarefas em modelos de linguagem ao capturar efeitos não lineares e interações que as abordagens tradicionais de direcionamento linear perdem.

Autores originais: Maximilian S. Ernst (Max Planck School of Cognition, Center for Lifespan Psychology Max Planck Institute for Human Development, Machine Learning Group Technische Universität Berlin), Lorenz Linhardt (

Publicado 2026-07-09

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Maximilian S. Ernst (Max Planck School of Cognition, Center for Lifespan Psychology Max Planck Institute for Human Development, Machine Learning Group Technische Universität Berlin), Lorenz Linhardt (Machine Learning Group Technische Universität Berlin, Berlin Institute for the Foundations of Learning and Data), Aaron Peikert (Center for Lifespan Psychology Max Planck Institute for Human Development), Oliver Eberle (Machine Learning Group Technische Universität Berlin, Berlin Institute for the Foundations of Learning and Data)

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um modelo de linguagem de grande escala (como os que alimentam chatbots) como uma cidade enorme e movimentada com milhões de pequenos trabalhadores (neurônios) em diferentes edifícios (camadas). Quando você pede à cidade para realizar uma tarefa específica — como traduzir uma frase ou mudar um verbo para o passado — a maioria das pessoas assume que toda a cidade precisa mudar de marcha junta, ou que existe um único "interruptor" gigante que você pode acionar para fazer isso acontecer.

Este artigo, "Distributed Sparse Interventions", argumenta que essa suposição está errada. Em vez de acionar um interruptor gigante ou mover a cidade inteira, os autores descobriram que você pode desencadear tarefas complexas ao dar um leve toque em apenas um punhado de trabalhadores específicos — às vezes tão poucos quanto 0,01% da população total.

Aqui está uma análise da descoberta deles usando analogias simples:

1. O Jeito Antigo: O "Botão de Volume Global"

Pesquisas anteriores tratavam o modelo como um sistema de som. Se você quisesse mudar o "clima" da música (a tarefa), você giraria um botão de volume global ou deslizaria um controle para todo o ambiente. Isso assumia que as tarefas são como linhas simples e retas: se você girar o botão um pouco, a música fica um pouco mais alta.

O Problema: Os autores descobriram que o modelo não é um estéreo simples. É mais como uma orquestra complexa. Se você apenas aumentar o volume de todo o ambiente, obterá ruído. A verdadeira magia acontece quando músicos específicos tocam notas específicas no momento exato. A relação entre esses trabalhadores não é uma linha reta; é uma teia emaranhada de interações.

2. O Novo Jeito: A "Intervenção Esparsa Distribuída" (DSI)

Os autores desenvolveram um método chamado DSI. Pense nele como um maestro altamente qualificado que não diz a toda a orquestra para tocar mais alto. Em vez disso, o maestro:

Ouve: Compara como a orquestra toca quando conhece a música (exemplos de 10 disparos/10-shot) versus quando não a conhece (0 disparos/0-shot).
Identifica: Encontra o pequeno e específico grupo de músicos que faz a diferença entre uma performance ruim e uma boa.
Dá um toque: Toca suavemente apenas esses poucos músicos para que eles desempenhem seu papel.

O Resultado: Ao intervir em tão poucos quanto 8 a 64 neurônios (de dezenas de milhares), eles conseguiram fazer o modelo realizar tarefas que não lhe foram explicitamente ensinadas, muitas vezes igualando o desempenho de dar ao modelo 10 exemplos para aprender.

3. A Surpresa "Não Linear"

O artigo destaca que esses neurônios não funcionam como interruptores simples.

Analogia: Imagine tentar assar um bolo. Se você assumir que é linear, pode pensar: "adicionar um ovo a mais torna o bolo duas vezes melhor". Mas, na realidade, adicionar um ovo pode deixá-lo encharcado, enquanto dois o tornam perfeito, e três o arruínam.
A Descoberta: Os autores descobriram que o efeito de dar um toque em um neurônio depende fortemente do que os outros neurônios estão fazendo. Você não pode simplesmente escolher o "melhor" neurônio e dar um toque nele; você tem que encontrar a combinação certa de neurônios e tocá-los com a força certa. O método DSI ajusta iterativamente esses toques para encontrar a receita perfeita, em vez de apenas adivinhar uma vez e torcer pelo melhor.

4. Entendendo a "Tarefa" (A Analogia de Copiar vs. Transformar)

Uma das partes mais fascinantes do artigo é como eles usaram esse método para entender como o modelo pensa. Eles observaram uma tarefa como mudar "run" para "ran" (troca de tempo verbal).

Eles descobriram que o modelo na verdade divide isso em duas etapas:

Copiando: O modelo primeiro copia a palavra "run".
Transformando: Ele então muda "run" para "ran".

Usando o DSI, eles puderam isolar os neurônios responsáveis apenas pela parte de "copiar" e os neurônios responsáveis pela parte de "mudar".

O Experimento: Quando eles ativavam apenas os neurônios de "cópia", o modelo apenas repetia a palavra de entrada repetidamente (como um disco riscado). Quando ativavam os neurônios de "mudança", o modelo tentava mudar o tempo verbal, mas poderia ficar travado ou repetir a si mesmo.
O Insight: Isso prova que tarefas complexas são construídas a partir de "blocos de Lego" menores e reutilizáveis de neurônios. O modelo não tem um cérebro gigante de "passado"; ele tem um céreamente de "copiar" e um céreamente de "mudar" que trabalham juntos.

Resumo

O artigo mostra que modelos de linguagem não são blocos monolíticos de inteligência. Eles são feitos de circuitos esparsos e distribuídos. Você não precisa treinar todo o modelo novamente ou usar quantidades massivas de dados para fazê-lo realizar uma nova tarefa. Você só precisa encontrar o pequeno e específico grupo de neurônios que detém a "chave" para essa tarefa e dar a eles um toque suave.

Em resumo: Em vez de gritar instruções para a cidade inteira, os autores descobriram uma maneira de sussurrar para algumas pessoas específicas, e a cidade inteira subitamente começa a falar uma nova língua.

Resumo Técnico: Intervenções Esparsas Distribuídas em Modelos de Linguagem

Declaração do Problema

Os modelos de linguagem modernos (LLMs) exibem comportamentos flexíveis de resolução de tarefas, incluindo a combinação e execução adaptativa de múltiplas tarefas via aprendizado em contexto (ICL). No entanto, os mecanismos subjacentes sobre como esses modelos representam e compõem tarefas permanecem elusivos. Pesquisas anteriores sobre o direcionamento de modelos (model steering) basearam-se amplamente em direções globais no espaço de ativação, operando sob três premissas fundamentais:

Intervenções eficazes exigem a modificação de todas as ativações de neurônios dentro de uma camada ou cabeça de atenção específica.
As tarefas são representadas como direções lineares no espaço de ativação que podem ser combinadas de forma aditiva.
Aproximações de efeitos de primeira ordem locais são suficientes para identificar intervenções que induzam mudanças comportamentais proporcionais.

Os autores argumentam que essas suposições são frequentemente violadas na prática. Computações relevantes para a tarefa estão distribuídas entre os componentes do modelo, e as intervenções frequentemente exibem efeitos de interação não lineares entre neurônios que aproximações uniformes de primeira ordem falham em capturar. Consequentemente, os métodos de direcionamento existentes podem ser subótimos ou invasivos, carecendo da granularidade necessária para isolar computações de tarefas específicas sem interromper outras.

Metodologia: Intervenções Esparsas Distribuídas (DSI)

Para abordar essas limitações, o artigo introduz as Intervenções Esparsas Distribuídas (DSI), um método projetado para identificar e aplicar intervenções em subconjuntos pequenos e esparsos de neurônios distribuídos entre camadas e cabeças de atenção. O DSI opera diretamente na base de neurônios, em vez de direções de representação globais.

O procedimento DSI segue um processo de quatro etapas:

Extração de Diferença de Ativação: O método computa as diferenças de ativação entre prompts de $k$ -shots (ex: 10-shot) e 0-shot para todos os neurônios. Isso isola as respostas do modelo específicas da tarefa, fornecendo uma inicialização informativa para as intensidades de intervenção.
Estimativa de Gradiente Robustecida: Para mitigar instabilidades de gradiente (ex: fragmentação de gradiente/gradient shattering), o DSI emprega a Propagação de Relevância por Camada (LRP) para computar gradientes robustecidos. Isso envolve a aplicação de regras específicas (Identidade, Metade, LayerNorm) a funções de ativação não lineares, MLPs com portão (gated MLPs) e módulos de atenção para melhor estimar a mudança esperada na saída do modelo sob intervenção.
Seleção Esparsa Inicial: Um conjunto inicial de $n$ neurônios é selecionado com base no produto do gradiente robustecido e da diferença de ativação média, retendo apenas os neurônios mais impactantes.
Refinamento Iterativo: Reconhecendo que aproximações de Taylor de primeira ordem ignoram não linearidades e efeitos de interação, o DSI emprega um procedimento de otimização iterativa. Usando o algoritmo ZeroFPR, o método atualiza iterativamente os fatores de escala de intervenção para maximizar o logit de saída para o token correto. Esta etapa contabiliza as interações entre neurônios e refina a intensidade da intervenção para cada neurônio específico, em vez de aplicar um fator de escala uniforme.

Principais Contribuições

O artigo apresenta quatro contribuições primárias:

Estrutura Metodológica: A introdução do DSI, que permite a ativação de tarefas ao identificar e intervir em conjuntos esparsos de características (neurônios) distribuídos pelo modelo, indo além do direcionamento baseado em direções globais.
Demonstração de Não Linearidade: Evidência empírica mostrando dependências complexas e não lineares entre intervenções de neurônios. Os autores demonstram que aproximações de primeira ordem falham em identificar de forma confiável neurônios com efeitos positivos e que as intensidades ideais de intervenção variam significamente entre os neurônios, necessitando de técnicas iterativas ao nível do neurônio.
Validação Empírica: Um estudo abrangente em 12 tarefas (tanto extrativas quanto abstrativas) em três modelos ajustados por instrução (Qwen 3, Gemma 3, Llama 3.2). Os resultados mostram que intervir em apenas 8–64 neurônios (0,01%–0,04% do total de neurônios) é frequentemente suficiente para ativar uma determinada tarefa, frequentemente igualando ou superando o desempenho de ICL de 10-shot.
Perspectiva Baseada em Conjuntos sobre Composição de Tarefas: Ao fundamentar o direcionamento do modelo em conjuntos de neurônios, os autores permitem a análise de papéis individuais de neurônios. Estudos de caso sobre alternância de tempo verbal (tense-switching) e alternância de idioma (language-switching) revelam que os comportamentos das tarefas podem ser decompostos em componentes compartilhados (ex: cópia de entrada) e componentes específicos da tarefa (ex: transformação), que podem ser isolados via operações de conjunto (interseção e diferença).

Resultados Experimentais

Desempenho: O DSI melhora significativamente a precisão da tarefa 0-shot comparado ao baseline (sem intervenção) e versões ablativas que carecem de robustecimento de gradiente ou refinamento iterativo. Por exemplo, no Llama 3.2 (3B), o DSI com 64 neurônios alcançou acurácias médias de 0,75 (abstrativo) e 0,98 (extrativo), enquanto o baseline estava próximo de 0,02–0,28.
Esparsidade: Alto desempenho é alcançável com intervenções extremamente esparsas. Intervenções em 8 neurônios frequentemente geraram ganhos significativos, e o desempenho geralmente estabilizou ou atingiu o pico com conjuntos de 32–64 neurônios.
Distribuição: Os neurônios identificados estão amplamente distribuídos entre cabeças de atenção e camadas, particularmente nas camadas intermediárias e posteriores, contradizendo abordagens que restringem modificações a camadas pré-definidas.
Decomposição: Nos estudos de caso, a interseção dos conjuntos de neurônios para uma tarefa de "cópia" e uma tarefa de "transformação" (ex: presente para o passado) isolou com sucesso o comportamento de cópia. Inversamente, os neurônios específicos da tarefa (excluindo a interseção) induziram com sucesso a transformação com redução de artefatos de cópia, embora às vezes tivessem dificuldade em ativar totalmente a tarefa sem os componentes compartilhados.

Significância e Alegações

O artigo afirma que o DSI fornece um método fundamentado para descobrir, controlar e compreender representações de tarefas em modelos de aprendizagem profunda. Ao se afastar da suposição de vetores de tarefa lineares e aditivos em espaços de representação densos, o DSI oferece uma abordagem mais granular para o direcionamento de modelos.

Os autores enfatizam que suas descobertas sugerem que a composição de tarefas é refletida não apenas em representações de alto nível, mas também na estrutura subjacente ao nível do neurônio. A capacidade de decompor tarefas em conjuntos de neurônios compartilhados e específicos oferece uma nova perspectiva sobre como os modelos combinam comportamentos, permitindo potencialmente intervenções mais direcionadas e menos invasivas.

Os autores mantêm uma postura modesta quanto às limitações:

A avaliação depende de prompts de poucos disparos (few-shot) limpos e previsão de token único; a evolução das intervenções durante a geração autorregressiva completa permanece uma questão aberta.
O desempenho varia entre modelos e tarefas, sugerindo que diferenças representacionais e limites metodológicos desempenham um papel.
Embora o framework possa isolar primitivas funcionais (ex: neurônios de "cópia"), intervenções de subtarefas derivadas nem sempre ativam perfeitamente os comportamentos associados, indicando a necessidade de estratégias de decomposição mais avançadas.

Em última análise, o trabalho visa avançar a compreensão da composição de tarefas e melhorar as salvaguardas para modelos de linguagem, fornecendo uma ferramenta para controle comportamental preciso e localizado.