💬 NLP

Towards Understanding Steering Strength

Este artigo apresenta a primeira análise teórica da força de direcionamento em grandes modelos de linguagem, derivando leis precisas que regem seus efeitos não monotônicos no comportamento do modelo e validando essas previsões empiricamente através de onze arquiteturas diferentes.

Autores originais: Magamed Taimeskhanov, Samuel Vaiter, Damien Garreau

Publicado 2026-07-09

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Magamed Taimeskhanov, Samuel Vaiter, Damien Garreau

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um Grande Modelo de Linguagem (LLM) como um robô chef superinteligente, mas levemente travesso. Ele aprendeu a cozinhar todo tipo de prato a partir de seus dados de treinamento, mas às vezes acidentalmente adiciona "veneno" (comportamentos prejudiciais ou indesejados) à receita. Para consertar isso sem retreinar todo o chef, os pesquisadores usam uma técnica chamada direcionamento por ativação (activation steering). Pense nisso como dar um empurrãozinho gentil na direção certa enquanto o robô cozinha, empurrando seus pensamentos internos em direção à "segurança" ou "honestidade" e para longe da "decepção" ou "dano".

A grande questão que este artigo aborda é: O quanto você deve empurrar?

Se você empurrar demais levemente, o robô ignorará você e continuará cozinhando o prato ruim. Se você empurrar com muita força, pode derrubar o robô, arruinando a refeição inteira. Os autores, Magamed Taimeshanov, Samuel Vaiter e Damien Garreau, decidiram descobrir a força perfeita, que eles chamam de força de direcionamento (representada pela letra grega $\alpha$ ).

O "Solavanco" no Caminho

A coisa mais surpreendente que eles descobriram é que aumentar a força de direcionamento não faz apenas com que o comportamento do robô melhore em uma linha reta. Em vez disso, comporta-se como uma montanha-russa com um formato específico.

Imagine que você está tentando fazer o robô dizer palavras "seguras". À medida que você aumenta lentamente o empurrão ( $\alpha$ ):

A Ascensão: No início, a probabilidade de o robô dizer palavras seguras aumenta. Ótimo!
O Pico: Então, ele atinge um ponto ideal. Este é o "solavanco" (bump). O robô está dizendo exatamente o que você quer, e o resto da conversa ainda faz sentido.
A Queda: Mas se você continuar empurrando além desse pico, a probabilidade das palavras seguras começa, de fato, a diminuir. O robô fica confuso e a qualidade de suas respostas desmorona.

O artigo prova matematicamente que, para a maioria das palavras, esse comportamento de "solavanco" é real. Eles descobriram que as palavras "fora do alvo" (as coisas ruins que você está tentando evitar) atingem seu pico e começam a desaparecer antes que as palavras "alvo" (as coisas boas) o façam. Isso significa que existe uma janela específica onde o robô está focado no tópico certo sem ainda quebrar.

A Curva em "S" Sigmoide

Quando olharam para o panorama geral — a probabilidade de o robô produzir um conceito inteiro (como "maldade" ou "alegria") em vez de apenas uma palavra — eles encontraram um formato diferente: uma curva em S (ou sigmoide).

Pense nisso como um interruptor de luz que não liga instantaneamente. À medida que você aumenta a força de direcionamento, o conceito permanece desligado, depois começa a brilhar lentamente e, finalmente, está totalmente iluminado. O artigo mostra que a probabilidade de um conceito aparecer segue essa forma suave de S, o que coincide com o que outros pesquisadores viram em experimentos. No entanto, eles também observaram que, se você empurrar a força demais, o robô para de ouvir seu comando (prompt) inteiramente e começa a repetir as mesmas poucas palavras repetidamente, não importa o que você pediu.

O Custo de Empurrar

Aqui está a pegadinha: Você não pode ter algo sem dar nada em troca.

O artigo prova que, não importa o quão cuidadosamente você escolha sua força de direcionamento, empurrar o robô sempre o torna ligeiramente pior em seu trabalho original (prever a próxima palavra corretamente). Eles mediram isso usando uma métrica chamada entropia cruzada (uma forma de medir o quão "surpreso" o modelo é pelo seu próprio resultado).

Eles descobriram que, por volta do ponto em que você não está empurrando nada ( $\alpha = 0$ ), o dano ao desempenho do modelo parece uma forma de U.

Se você empurra um pouquinho, o dano é pequeno (parece uma curva suave).
Se você empurra muito, o dano fica muito pior.
Crucialmente, o artigo mostra que esse dano não é apenas uma linha reta; ele cresce quadraticamente (como $x^2$ ) para pequenos empurrões. Isso significa que mesmo um pequeno aumento na força pode prejudicar o desempenho mais rápido do que você esperaria.

O Que Eles Descartaram

Os autores foram cuidadosos para descartar alguns equívocos comuns:

Não é uma linha reta: Eles mostraram explicitamente que a ideia de que "mais direcionamento sempre resulta em mais do comportamento desejado" é falsa. Passado um certo ponto, mais direcionamento torna o comportamento desejado menos provável.
Não é mágica: Eles argumentaram contra a ideia de que você pode simplesmente escolher qualquer número aleatório para a força de direcionamento. O artigo sugere que o "ponto ideal" depende do comando específico e do modelo, portanto, não existe um número "tamanho único".
Não é apenas sobre o alvo: Eles mostraram que o direcionamento afeta outros conceitos também. Se você tentar direcionar o robô para ser "feliz", pode acidentalmente torná-lo menos propenso a ser "triste", mas também pode atrapalhar sua habilidade de falar sobre "matemática" ou "programação", dependendo de como os conceitos estão emaranhados dentro do cérebro do robô.

O Quão Certos Eles Estão?

Os autores não apenas adivinharam; eles construíram um modelo matemático de um robô simplificado (um "Modelo de Características Não Restritas") e provaram esses comportamentos com matemática rigorosa. Eles então testaram suas teorias em onze modelos de linguagem diferentes do mundo real, variando de modelos minúsculos a massivos como GPT-2, Gemma e Qwen.

Eles descobriram que o padrão de "solavanco", a curva em S e o dano em forma de U ao desempenho apareceram consistentemente em todos esses diferentes modelos. Embora admitam que seu modelo matemático é uma simplificação da vida real, o fato de os robôs reais se comportarem exatamente como a matemática previu lhes dá alta confiança em suas descobertas.

A Conclusão

O artigo sugere que direcionar um modelo de linguagem é como sintonizar um rádio. Se você girar o botão demais, não obterá um sinal mais claro; você apenas obterá estática. Os autores propõem uma estratégia de duas etapas para quem tenta controlar esses modelos:

Primeiro, encontre o "teto" — o ponto onde o robô começa a quebrar ou ignorar seu comando.
Segundo, escolha uma força logo abaixo desse teto que proporcione o máximo de comportamento "bom" enquanto mantém o dano à inteligência geral do robô o mais baixo possível.

Eles não resolveram o problema de encontrar o número perfeito para cada situação individual, mas nos deram um mapa do terreno para que paremos de adivinhar no escuro.

Problema
Modelos de Linguagem de Grande Escala (LLMs) frequentemente herdam padrões comportamentais prejudiciais de seus dados de treinamento, como o engano ou a disposição para causar danos. Um método popular de controle pós-treinamento, o direcionamento por ativação (activation steering), tenta mitigar isso identificando uma direção no espaço de representação latente do modelo associada a um conceito alvo (ex: segurança) e perturbando o fluxo residual ao longo dessa direção durante a inferência. Embora a metodologia para selecionar a direção de direcionamento (ex: diferença de médias) seja bem estabelecida, a escolha do hiperparâmetro de força de direcionamento, $\alpha$ , permanece amplamente heurística. Os praticantes enfrentam um compromisso crítico: um $\alpha$ insuficiente falha em elicitar o comportamento desejado, enquanto um $\alpha$ excessivo degrada o desempenho do modelo a ponto de causar danos irreparáveis. Atualmente, há uma falta de compreensão teórica sobre como $\alpha$ afeta quantitativamente as probabilidades do próximo token, a presença de conceitos e o desempenho geral (entropia cruzada).

Metodologia
Os autores propõem uma análise teórica da força de direcionamento usando um modelo simplificado e tratável conhecido como Modelo de Características Não Restritas (UFM), adaptado de trabalhos anteriores sobre colapso neural. Este modelo assume que conceitos de alto nível correspondem a subconjuntos disjuntos do vocabulário e que o modelo aprendeu perfeitamente as probabilidades dos dados de treinamento.

Estrutura Teórica: O estudo define um vetor de direcionamento $v$ como a diferença das médias entre os embeddings de contextos "positivos" (que exibem o conceito alvo) e contextos "negativos" (que carecem do conceito). A operação de direcionamento desloca o embedding do contexto $h_j$ para $h_j + \alpha v$ .
Derivação Analítica: Os autores derivam leis qualitativas precisas que regem três quantidades principais como funções de $\alpha$ $α$ :
- Aumento da probabilidade do próximo token ( $\Delta p$ ): A mudança na probabilidade para tokens específicos.
- Aumento da probabilidade do conceito ( $\Delta p(C)$ ): A mudança agregada na probabilidade de tokens pertencentes a um conceito específico.
- Diferença de entropia cruzada ( $\Delta CE$ ): A mudança no desempenho do modelo em relação ao estado não direcionado.
Validação Empírica: As previsões teóricas são validadas em onze LLMs modernos (variando de pequenas arquiteturas GPT a modelos como Gemma 3, Qwen 3 e Llama 2) e doze conceitos distintos (incluindo traços relacionados à segurança como "malvado" e "depressão", e tópicos como "matemática"). Os experimentos utilizam um vetor de direcionamento de diferença de médias construído a partir de conjuntos de prompts contrastivos ou aleatórios, direcionando os fluxos residuais em várias camadas.

Principais Contribuições e Resultados

Comportamento de "Calo" (Bump) Não Monotônico das Probabilidades de Tokens: Contrariando a intuição de que o direcionamento simplesmente aumenta monotonicamente a probabilidade dos tokens alvo, a análise revela um comportamento de "calo" (bump). Para a maioria dos tokens, o aumento da probabilidade $\Delta p(\alpha)$ sobe até um pico em um $\alpha$ específico e depois diminui. Crucialmente, os tokens fora do alvo (aqueles que não pertencem ao conceito alvo) atingem seu pico de probabilidade antes dos tokens alvo. Isso sugere um "ponto ideal" para $\alpha$ onde o conceito alvo é favorecido antes que a distribuição colapse sobre alguns tokens dominantes.
Evolução Sigmoidal da Probabilidade do Conceito: A probabilidade do conceito alvo na saída segue uma curva sigmoidal (em forma de tanh) conforme $\alpha$ aumenta, alinhando-se com observações empíricas. Inversamente, conceitos fora do alvo que não contêm tokens com log-odds extremos tendem a convergir de volta para seus valores não direcionados, enquanto aqueles com log-odds uniformemente menores diminuem monotonicamente.
Degradação de Desempenho Quadrática Local: O artigo fornece a primeira caracterização teórica mostrando que o direcionamento necessariamente degrada o desempenho global. O aumento da entropia cruzada $\Delta CE(\alpha)$ é localmente em forma de U em torno de $\alpha = 0$ , seguindo uma tendência quadrática ( $\Delta CE \propto \alpha^2$ ) determinada pela variância dos log-odds. Isso confirma que qualquer direcionamento introduz distorção.
Limite de $\alpha$ Grande: Para transformers modernos com camadas de normalização, conforme $|\alpha| \to \infty$ , os logits direcionados convergem para o unembedding da direção de direcionamento normalizada, tornando-se independentes do prompt de entrada. Isso explica o achatamento observado da entropia cruzada e o colapso da diversidade de saída em forças de direcionamento altas.

Significância
O artigo afirma fornecer a primeira análise teórica da força de direcionamento, indo além do erro e acerto empírico. Ao caracterizar os efeitos não monotônicos nas probabilidades de tokens e o custo quadrático inevitável para a entropia cruzada, o trabalho oferece uma base principiológica para a seleção de $\alpha$ . Os autores sugerem uma estratégia de seleção em duas etapas: primeiro, restringir o espaço de busca para $[0, \alpha^\star]$ , onde $\alpha^\star$ é o limiar antes da degeneração do modelo (independência de prompt), e segundo, calibrar $\alpha$ dentro deste intervalo para maximizar a presença do conceito mantendo a degradação da entropia cruzada abaixo de um limite específico. Este framework visa tornar o controle em tempo de inferência mais confiável, eficiente e auditável, embora os autores reconheçam que preencher a lacuna entre as suposições teóricas simplificadas e a complexidade dos contextos de conceitos mistos do mundo real permanece um desafio para trabalhos futuros.