💬 NLP

Compositional Steering of Large Language Models with Steering Tokens

O artigo propõe "tokens de direção composicional", que codificam comportamentos em tokens de entrada para permitir a combinação zero-shot de múltiplas diretrizes em Grandes Modelos de Linguagem, superando métodos existentes e generalizando para composições e comportamentos não vistos.

Autores originais: Gorjan Radevski, Kiril Gashteovski, Giwon Hong, Carolin Lawrence, Goran Glavaš

Publicado 2026-04-21

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Gorjan Radevski, Kiril Gashteovski, Giwon Hong, Carolin Lawrence, Goran Glavaš

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um chef de cozinha muito talentoso (o Modelo de Linguagem ou LLM). Esse chef é incrível: ele sabe cozinhar qualquer prato, do básico ao sofisticado. No entanto, às vezes você precisa pedir algo muito específico: "Faça um bolo, mas que seja sem açúcar, em formato de coração e escrito em francês."

Se você pedir isso apenas com palavras ("Faça um bolo sem açúcar..."), o chef pode entender mal, esquecer uma regra ou fazer um bolo que não atende a todos os requisitos ao mesmo tempo. É como tentar dar várias instruções complexas de uma vez para alguém que está distraído; a mensagem se perde.

Os autores deste artigo propuseram uma solução genial chamada "Tokens de Direção" (Steering Tokens). Vamos entender como funciona com algumas analogias simples:

1. O Problema: A "Fita de Instruções" vs. O "Botão Mágico"

Normalmente, para controlar o chef, escrevemos um texto longo. Mas, se você precisa de 3 ou 4 regras ao mesmo tempo (idioma, tamanho, formato), o texto fica confuso e o chef começa a falhar. É como tentar segurar 3 bolas de tênis ao mesmo tempo: você acaba deixando uma cair.

Outros métodos tentam "ajustar os botões internos" do cérebro do chef (o que é caro e difícil) ou usam vetores matemáticos invisíveis que, quando combinados, acabam "brigando" entre si e estragando o resultado.

2. A Solução: Os "Tokens de Direção"

Os autores criaram pequenos "botões mágicos" invisíveis que você coloca na frente da pergunta. Em vez de escrever "Faça em francês e com 10 palavras", você coloca dois botões especiais: <francês> e <10palavras>.

Como eles são feitos? Eles são treinados usando uma técnica chamada "auto-distilação". Imagine que o chef ensina a si mesmo: "Veja como eu faria se você me pedisse em francês. Agora, crie um botão secreto que faz exatamente isso, sem precisar das palavras".
Onde eles vivem? Diferente de outros métodos que mexem no "cérebro" do modelo, esses botões ficam na entrada (no prato antes de ir para o forno). Isso é mais seguro e não estraga o chef original.

3. O Grande Truque: O Botão "E" (Composição)

Aqui está a parte mais brilhante. O que acontece se você quiser dois ou três botões ao mesmo tempo?
Se você apenas colocar <francês> e <10palavras> lado a lado, o chef pode ficar confuso.

Os autores criaram um botão especial chamado <e> (ou <and>).

Eles treinaram esse botão <e> especificamente para aprender a juntar as regras.
É como se o botão <e> fosse um maestro de orquestra. Quando você coloca <francês> <e> <10palavras>, o maestro sabe exatamente como fazer o chef tocar a nota "francês" e a nota "10 palavras" ao mesmo tempo, sem que uma anule a outra.

4. A Mágica da Generalização (O Superpoder)

O teste de fogo foi: "E se eu pedir uma combinação que vocês nunca viram antes?"

Eles treinaram o botão <e> apenas com pares de 2 regras.
Depois, testaram com 3 regras (ex: Francês + 10 palavras + Tudo em maiúsculo) e até com regras novas (ex: Alemão, que nunca foi treinado).

O resultado? Funcionou! O botão <e> aprendeu o conceito de "juntar coisas", não apenas as regras específicas. Foi como ensinar alguém a somar números (2+2, 3+3) e, de repente, ele consegue somar números que nunca viu antes (100+50).

5. Por que isso é importante?

Precisão: O chef obedece a todas as regras ao mesmo tempo com muito mais precisão do que quando você usa apenas texto.
Flexibilidade: Você pode misturar e combinar regras infinitamente sem ter que reensinar o chef do zero.
Segurança: Não precisa mexer nos "cérebros" (parâmetros) do modelo, o que economiza tempo e dinheiro.
Otimização: A melhor estratégia é usar os botões mágicos junto com as instruções de texto. É como ter o texto explicando o pedido e os botões garantindo que a ordem seja seguida à risca.

Resumo em uma frase

Os autores criaram botões secretos e um maestro especial que permitem controlar um Inteligência Artificial com múltiplas regras ao mesmo tempo, fazendo com que ela obedeça a combinações complexas (como "fale em alemão, com 50 palavras e em caixa alta") muito melhor do que apenas pedindo com palavras, sem precisar reprogramar o cérebro da máquina.

Título: Controle Compositivo de Grandes Modelos de Linguagem com Tokens de Direcionamento (Steering Tokens)

1. O Problema

A implementação de Grandes Modelos de Linguagem (LLMs) em aplicações do mundo real exige um controle preciso e adaptável da saída do modelo para satisfazer múltiplos requisitos simultaneamente (ex: responder em francês, com menos de 50 palavras e em formato de lista).

Limitações das abordagens atuais:
- Ajuste Fino (Fine-tuning): É computacionalmente intensivo e, para $N$ comportamentos, exigiria $2^N$ procedimentos de ajuste para todas as combinações possíveis, tornando-se impraticável para controle sob demanda.
- Instruções em Linguagem Natural (Prompting): Embora flexíveis, são frágeis. Instruções semanticamente equivalentes podem gerar comportamentos inconsistentes, e a composição de múltiplas instruções frequentemente falha em manter todos os constraints simultaneamente.
- Direcionamento de Ativação (Activation Steering): Métodos existentes operam no espaço de ativações internas do modelo. Embora eficazes para comportamentos únicos, eles falham em demonstrar generalização robusta na composição de múltiplos comportamentos (compositional steering).

2. Metodologia Proposta

Os autores propõem Tokens de Direcionamento Compositivos, uma abordagem que opera no espaço de entrada (embeddings de tokens) em vez do espaço de ativações, mantendo os parâmetros do LLM base congelados.

O método consiste em duas etapas principais de auto-distilação:

Treinamento de Tokens de Comportamento Individual ( $<b>$ ):
- Para cada comportamento desejado (ex: "responder em alemão"), é treinado um token de direcionamento específico ( $<b>$ ).
- Processo: Um modelo "professor" (o LLM congelado) recebe uma instrução natural de texto. Um modelo "aluno" (o mesmo LLM congelado) recebe o mesmo prompt, mas com o token treinado ( $<b>$ ) anexado.
- Objetivo: Minimizar a divergência KL entre as distribuições de saída do professor e do aluno. O token aprende a codificar o comportamento sem alterar os pesos internos do modelo.
Treinamento do Token de Composição ($$):
- Introduz-se um token dedicado, $$, que representa o conceito de "composição" (junção de comportamentos).
- Processo: O professor recebe instruções de texto para dois comportamentos simultâneos. O aluno recebe os tokens individuais ( $<b_1>$ , $<b_2>$ ) separados pelo token de composição ($$).
- Regularização de Ortogonalidade: Para evitar que o token $$ colapse em representações similares aos tokens de comportamento existentes, aplica-se uma regularização que força o vetor $$ a ser ortogonal aos vetores de comportamento congelados.
- Generalização: O token $$ é treinado apenas em pares de comportamentos, mas é projetado para generalizar para combinações não vistas e para um número variável de comportamentos (ex: 3 ou 4 comportamentos).

Formato de Entrada: Para um prompt $x$ com dois comportamentos, a entrada é: [Embeddings de x] + <b1> + <and> + <b2>.

3. Contribuições Principais

Novo Espaço de Controle: Diferente da maioria dos trabalhos anteriores que operam em ativações, esta abordagem opera no espaço de tokens de entrada, permitindo uma composição "zero-shot" mais eficaz.
Token de Composição Explícito: A introdução de um token treinado especificamente para aprender a função de composição ($$), em vez de apenas interpolar vetores de comportamento.
Generalização Robusta: O método demonstra capacidade de generalizar para:
- Combinações de comportamentos vistos durante o treinamento.
- Combinações envolvendo comportamentos nunca vistos (zero-shot).
- Combinações com um número não visto de comportamentos (ex: treinar em pares e testar em trios).
Complementaridade: Demonstra que tokens de direcionamento e instruções em linguagem natural possuem forças complementares, e sua combinação híbrida supera ambas as abordagens isoladas.

4. Resultados Experimentais

Os experimentos foram realizados em 7 modelos de diferentes famílias (Qwen, Llama, SmolLM, OLMo, Gemma) com tamanhos de 3B a 14B parâmetros, focando em constraints verificáveis (idioma, comprimento, formatação, estrutura).

Desempenho Superior: Os tokens de direcionamento superaram consistentemente as instruções de texto puras e outros métodos de direcionamento (como ativação e LoRA) em composições não vistas.
- Exemplo: Em composições de 3 comportamentos não vistos, o método alcançou 59.5% de precisão, contra 54.0% das instruções de texto (no modelo Qwen3-8B).
Robustez à Ordem: A combinação híbrida (Tokens + Instruções) reduziu significativamente a variância de ordem (a sensibilidade à sequência dos tokens), tornando o sistema mais robusto para implantação prática.
Escalabilidade: O desempenho melhora com o tamanho do modelo. Curiosamente, treinar o token de composição apenas em pares (2 comportamentos) foi suficiente para generalizar para trios e quádruplos em modelos maiores (14B), sem necessidade de treinamento explícito em combinações maiores.
Qualidade de Resposta: A precisão na satisfação dos constraints não veio à custa da qualidade semântica ou coerência do texto gerado.

5. Significado e Impacto

Este trabalho oferece uma solução eficiente e escalável para o controle de LLMs em cenários complexos do mundo real.

Eficiência: Elimina a necessidade de re-treinamento ou ajuste de parâmetros do modelo base para cada nova combinação de requisitos.
Flexibilidade: Permite a criação de sistemas que podem atender a múltiplas restrições simultaneamente de forma confiável, algo que o prompting tradicional falha em fazer consistentemente.
Aplicabilidade: É particularmente útil para aplicações que exigem conformidade estrita com formatos, idiomas e estruturas específicas, como geração de relatórios, APIs estruturadas e interfaces de usuário adaptativas.

Em resumo, os Steering Tokens representam um avanço significativo na capacidade de controlar LLMs de forma composicional, oferecendo uma alternativa robusta e eficiente ao ajuste fino e ao prompting tradicional.