🤖 machine learning

Dynamically Scaled Activation Steering

Este artigo apresenta o Direcionamento de Ativação Escalonado Dinamicamente (DSAS), uma estrutura independente de método que modula adaptativamente a força das intervenções de ativação com base no contexto de entrada para melhorar o equilíbrio entre a mitigação de toxicidade e a preservação da utilidade em modelos generativos, introduzindo um overhead computacional mínimo.

Autores originais: Alex Ferrando, Xavier Suau, Jordi Gonzàlez, Pau Rodriguez

Publicado 2026-07-31

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Alex Ferrando, Xavier Suau, Jordi Gonzàlez, Pau Rodriguez

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é o regente de uma enorme orquestra invisível feita de matemática pura. Esta orquestra é um "modelo generativo", um tipo de cérebro computacional que pode escrever histórias, pintar quadros ou resolver problemas. Mas, como qualquer músico, às vezes ela toca uma nota desafinada ou, pior, uma nota prejudicial. Durante anos, cientistas tentaram consertar isso "direcionando" a música. Pense no direcionamento como um regente agitando uma batuta para dizer a toda a orquestra para tocar mais baixo, ou para evitar um instrumento específico. O problema com a antiga forma de direcionar é que ela é um pouco desajeitada: ela diz a toda a orquestra para tocar suavemente, mesmo quando já estão tocando uma melodia bela e segura. Isso faz com que a música soe plana e entediante, mesmo quando ninguém estava fazendo nada de errado.

O artigo que você está prestes a ler apresenta um regente superinteligente chamado DSAS (Direcionamento de Ativação com Escalonamento Dinâmico). Em vez de agitar a batuta para todo o grupo de uma só vez, o DS_AS ouve cada um dos músicos individualmente. Ele só diz aos músicos específicos que estão prestos a tocar uma nota "tóxica" ou prejudicial para diminuírem o tom, enquanto deixa o resto da orquestra tocar exatamente como deseja. É a diferença entre um professor gritando "Todos em silêncio!" quando apenas um aluno está falando, versus um professor que toca gentilmente no ombro de apenas aquele aluno. Este artigo mostra que, ao ser tão preciso, podemos interromper o comportamento ruim sem estragar as coisas boas, tornando esses cérebros de IA mais seguros e úteis sem torná-los mais burros.

A Grande Ideia do Artigo: O "Interruptor de Intensidade Inteligente" para a IA

Os pesquisadores, Alex Ferrando de las Morenas e sua equipe da Apple e da Universitat Autònoma de Barcelona, perceberam que o antigo método de "direcionamento de ativação" era muito bruto. No mundo da IA, o "direcionamento de ativação" é uma técnica onde cientistas ajustam os sinais internos de um modelo para empurrá-lo em direção a um comportamento desejado, como ser educado ou dizer a verdade. Geralmente, eles aplicam uma "força global" (vamos chamar de um botão de volume, ou $\lambda$ ) que aumenta ou diminui o direcionamento para tudo o que o modelo faz.

O problema? Se você aumentar o volume de "ser educado", o modelo pode se tornar tão educado que para de responder perguntas inteiramente, ou se você aumentá-lo para impedir palavras "tóxicas", ele pode começar a parecer robótico e perder sua criatividade. O artigo argumenta que precisamos saber quando direcionar, não apenas como direcionar.

Entra o DSAS. Os autores propõem um framework que atua como um interruptor de intensidade inteligente para cada palavra (ou "token") que a IA gera. Em vez de um botão global, o DSAS usa um pequeno "porteiro" treinado para cada camada do cérebro da IA. Esse porteiro observa o contexto do que a IA está dizendo e pergunta: "Esta palavra específica tem probabilidade de ser tóxica ou prejudicial?"

Se a resposta for não (a IA está falando sobre um dia ensolarado ou um problema de matemática), o portão permanece aberto, e a IA flui naturalmente.
Se a resposta for sim (a IA está prestes a gerar um insulto ou uma instrução perigosa), o portão se fecha, e o direcionamento entra com força para redirecionar esse pensamento específico.

O artigo demonstra isso com um exemplo divertido e não ofensivo: direcionar a IA para longe da palavra "banana". Quando a IA é solicitada a escrever uma história sobre um macaco comendo frutas, o DSAS detecta o conceito de "banana" e aplica uma força de direcionamento forte para impedir que ela diga a palavra. Mas quando a IA é solicitada a escrever uma história sobre um gato ou um carro, o DSAS vê que "banana" não é relevante, então deixa o direcionamento de lado. O resultado? A IA evita com sucesso o conceito de "banana" quando deve, mas não perde sua capacidade de falar sobre gatos ou carros.

O Que Eles Descobriram: Um Melhor Equilíbrio

A equipe testou o DSAS em vários modelos de IA populares (como Qwen e Gemma) e o comparou com outros métodos de direcionamento. Eles mediram duas coisas: o quão bem o modelo evitava a toxicidade (ou o conceito de "banana") e o quão bem ele mantinha sua inteligência geral (como sua capacidade de responder perguntas de conhecimentos gerais ou escrever frases fluentes).

Os resultados foram claros: o DSAS consistentemente melhorou a compensação (trade-off).

Nos gráficos do artigo, que parecem cadeias de montanhas mostrando o melhor equilíbrio possível entre segurança e inteligência (chamadas de "fronte de Pareto"), as linhas do DSAS estavam sempre mais altas e melhores do que os métodos antigos.

Para Toxicidade: Ao tentar impedir que a IA fosse rude, o DSAS permitiu que os modelos fossem muito mais seguros sem fazer com que parecessem robôs quebrados. Os modelos mantiveram sua fluência e capacidade de responder perguntas complexas (medidas por benchmarks como MMLU) muito melhor do que quando usavam o direcionamento antigo de "tamanho único".
Para Imagens: Eles até testaram isso em geradores de imagens (modelos que desenham figuras). Eles pediram ao modelo para borrar imagens de bananas, mas manter outras imagens nítidas. O método antigo borrava tudo um pouco. O DSAS, no entanto, apenas borrou as imagens que realmente continham bananas, deixando as fotos de carros e paisagens perfeitamente claras.

O artigo também explorou uma versão chamada E2E-DSAS, onde o "porteiro" é treinado ao mesmo tempo que o próprio direcionamento, em vez de ser uma etapa separada. Esta versão mostrou potencial, às vezes igualando ou até superando o DSAS padrão, sugerindo que o método é flexível o suficiente para ser incorporado diretamente ao processo de treinamento.

O Que Não É (e O Que Não Alega)

É importante saber o que este artigo não diz. Os autores observam cuidadosamente que o DSAS não é uma varinha mágica que resolve todos os problemas de segurança da IA.

Não é um substituto para o ajuste fino (fine-tuning): O artigo não afirma que o DSAS substitui a necessidade de treinar modelos com bons dados. É uma ferramenta para ser usada sobre os modelos existentes.
Não é uma localização perfeita: Nos experimentos de imagem, embora o DSAS tenha sido muito melhor em direcionar conceitos específicos, os autores admitem que ele nem sempre borrou apenas a banana na foto. Às vezes, o borrão se espalhou um pouco para o fundo. É uma localização "suave", não um laser cirúrgico.
Depende de dados: O "porteiro" precisa de um pequeno conjunto de exemplos (como 32 frases tóxicas e 32 seguras) para aprender o que procurar. Se os dados forem ruidosos ou ruins, o porteiro pode ficar confuso, embora o artigo mostre que, mesmo assim, o DSAS tende a recuar com segurança para o direcionamento padrão em vez de quebrar o modelo.

A Conclusão

Este artigo sugere que o futuro do controle da IA não é aumentar o volume da segurança para todos. Trata-se de ser um regente inteligente e atento, que sabe exatamente quando sussurrar "shh" para um instrumento específico e quando deixar a música fluir livremente. Ao escalar o direcionamento dinamicamente com base no que a IA está realmente dizendo, o DSAS oferece uma maneira de tornar essas ferramentas poderosas mais seguras sem sacrificar a própria inteligência que as torna úteis. Os autores mostram que essa abordagem funciona tanto em texto quanto em imagens e, embora não seja um problema resolvido, é um passo significativo em direção a uma IA que sabe se comportar sem perder sua personalidade.

Resumo Técnico: Direcionamento de Ativação com Escalonamento Dinâmico (DSAS)

Declaração do Problema

O direcionamento de ativação (activation steering) emergiu como uma técnica poderosa para guiar modelos generativos em direção a comportamentos desejados (ex: mitigação de toxicidade, edição de conhecimento) ao manipular ativações internas sem modificar os pesos do modelo. No entanto, os métodos existentes tipicamente aplicam intervenções de forma uniforme em todos os inputs usando um parâmetro de força global fixo ( $\lambda$ ). Essa aplicação indiscriminada degrada o desempenho do modelo em inputs que não requerem direcionamento, como conteúdos benignos ou não relacionados, criando um trade-off subótimo entre segurança/alinhamento e utilidade/fluência.

Embora existam métodos de direcionamento condicional para abordar isso, eles frequentemente dependem de regras estáticas, gatilhos binários ou heurísticas de nível de prompt que carecem de precisão. Além disso, muitos métodos adaptativos existentes são adaptados para famílias de direcionamento específicas (ex: métodos do tipo ITI) e falham em generalizar para abordagens de direcionamento distributivas ou aprendidas de ponta a ponta. Há uma necessidade de um framework universal, agnóstico ao método, que possa adaptar precisamente a força do direcionamento em uma base por token ou por característica, intervindo fortemente apenas quando um comportamento indesejado é detectado.

Metodologia: Direcionamento de Ativação com Escalonamento Dinâmico (DSAS)

O DSAS é um framework agnóstico ao direcionamento que desacopla a decisão de quando direcionar do como direcionar. Ele modula adaptativamente a força de qualquer transformação de direcionamento existente ( $T_\ell$ ) através de camadas e inputs.

Mecanismo Central

Para cada camada $\ell$ e token $k$ intervindo, o DSAS introduz um portão (gate) $h_\ell(t_{\ell,k}) \in [0, 1]$ que interpola entre o embedding original e o embedding direcionado:
$T^{DSAS}_\ell(t_{\ell,k}) = (1 - h_\ell(t_{\ell,k})) \cdot t_{\ell,k} + h_\ell(t_{\ell,k}) \cdot T_\ell(t_{\ell,k}; \lambda)$
Aqui, $h_\ell \approx 0$ deixa o embedding intocado, enquanto $h_\ell \approx 1$ aplica a intervenção total.

Treinando o Portão (Gate)

O portão $h_\ell$ é treinado como um regressor logístico por camada para distinguir entre:

Conjunto de Origem ( $S$ ): Amostras que exibem comportamento indesejado (ex: texto tóxico).
Conjunto de Controle ( $C$ ): Amostras neutras em relação ao comportamento sendo modificado (ex: texto não tóxico).

O processo de treinamento envolve:

Coleta de Ativação: Realizar o forward pass de inputs de $S$ e $C$ na camada $\ell$ para obter embeddings médios.
Redução de Dimensionalidade: Aplicar PCA às ativações combinadas de origem e controle para mitigar o overfitting em espaços de alta dimensão e reduzir o tempo de treinamento.
Classificação: Treinar um regressor logístico para prever a probabilidade de um embedding pertencer ao conjunto de origem. Esta probabilidade serve como o coeficiente de força adaptativa.

Otimização de Ponta a Ponta (E2E-DSAS)

O artigo também introduz uma variante de ponta a ponta onde os parâmetros do portão são otimizados conjuntamente com a transformação de direcionamento (especificamente com LinEAS). Isso envolve minimizar uma perda de origem (empurrando distribuições de origem em direção a distribuições alvo) enquanto aplica um termo de regularização de controle para garantir que as ativações do conjunto de controle permaneçam similares antes e depois da intervenção. Isso permite que o portão seja aprendido diretamente via backpropagation sem as projeções estáticas de PCA.

Principais Contribuições

Proposta de Framework: Introdução do DSAS, um framework agnóstico ao método que escala dinamicamente a força da intervenção com base nas características da ativação, aprendendo quando direcionar em vez de aplicar políticas fixas.
Melhoria de Trade-offs: Demonstração de que o DSAS melhora a fronteira de Pareto para mitigação de toxicidade versus retenção de capacidade (medida por perplexidade e acurácia MMLU) em múltiplos Large Language Models (Qwen 2.5, Gemma 2) e métodos de direcionamento (CAA, ITI, LinEAS).
Superioridade sobre Baselines: Evidência empírica mostrando que o DSAS supera métodos recentes de direcionamento condicional (CAST, MERA, AlphaSteer) na manutenção da utilidade do modelo enquanto reduz a toxicidade.
Integração de Ponta a Ponta: Extensão do DSAS para frameworks de ponta a ponta (E2E-DSAS), permitindo o treinamento conjunto com funções de direcionamento e suportando várias funções de ativação (ex: ReLU, Sigmoid).
Generalização Cross-Modal: Aplicação bem-sucedida do DSAS em modelos de difusão de texto-para-imagem (DMD2), demonstrando sua capacidade de borrar seletivamente imagens relacionadas a conceitos (ex: bananas) enquanto preserva a geração de imagens não relacionadas.

Resultados Experimentais

Mitigação de Toxicidade: Em experimentos no Qwen 2.5 (1.5B, 7B) e Gemma 2 (2B), o DSAS consistentemente deslocou a fronteira de Pareto, alcançando pontuações de toxicidade (ToxTET) mais baixas para o mesmo nível de retenção de capacidade em comparação ao direcionamento vanilla. Por exemplo, combinar DSAS com LinEAS reduziu a toxicidade significativamente mais do que o LinEAS sozinho sem incorrer na mesma penalidade de perplexidade ou acurácia MMLU.
Comportamento Condicional: Estudos de caso qualitativos (direcionando para longe de "banana") mostraram que métodos aumentados com DSAS efetivamente suprimiram o conceito alvo em prompts relevantes, enquanto deixaram prompts neutros amplamente inalterados, mesmo usando parâmetros de força global mais altos ( $\lambda > 1$ ).
Modelos de Difusão: Em experimentos de texto-para-imagem, o CAA+DSAS conseguiu borrar imagens contendo conceitos específicos (ex: bananas, telefones) enquanto mantinha a clareza de imagens não relacionadas, enquanto o CAA vanilla borrava todas as imagens indiscriminadamente.
Eficiência: O DSAS introduz um overhead computacional mínimo na inferência (aprox. $2d_\ell + 2$ FLOPs por embedding), tornando-o prático para geração em tempo real.
Robustez: O método permanece robusto a sinais de treinamento ruidosos; se o classificador não conseguir distinguir origem de controle, o DSAS naturalmente retorna a um regime seguro (direcionamento uniforme com força reduzida) sem degradar o desempenho abaixo do baseline.

Significância e Alegações

O artigo afirma que o DSAS representa um avanço significativo no direcionamento de ativação ao abordar a limitação crítica da intervenção indiscriminada. Ao desacoplar o tempo de intervenção do mecanismo de direcionamento, o DSAS permite:

Alinhamento Seletivo: Modelos podem ser guiados para longe de comportamentos prejudiciais apenas quando necessário, preservando sua fluência nativa e capacidades gerais em inputs benignos.
Interpretabilidade: O método identifica exatamente quais tokens ou características espaciais requerem direcionamento e em qual medida, oferecendo uma visão transparente do processo de intervenção.
Generalidade: Diferente de métodos adaptativos anteriores, o DSAS não está preso a um algoritmo de direcionamento ou modalidade de input específico, tornando-o aplicável a uma ampla gama de tarefas generativas, incluindo geração de texto e síntese de imagem.

Os autores concluem que o DSAS fornece uma solução prática e de baixo overhead para alcançar um melhor alinhamento em modelos generativos, melhorando o trade-off entre segurança e utilidade sem exigir retreinamento extensivo ou modificações de pesos.