💬 NLP

Subliminal Steering: Stronger Encoding of Hidden Signals

Este artigo introduz o "direcionamento subliminar", uma técnica que demonstra que vieses comportamentais complexos podem ser transferidos com precisão e de forma mecânica de um modelo de linguagem professor para um estudante por meio de um vetor de direcionamento codificado em dados aparentemente inofensivos, revelando que tanto o viés quanto o próprio vetor são herdados pelo estudante.

Autores originais: George Morgulis, John Hewitt

Publicado 2026-04-29

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: George Morgulis, John Hewitt

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um chef de cozinha mestre (o Professor) e um jovem aprendiz (o Aluno). Normalmente, se você quiser que o aprendiz aprenda um truque específico, você diz diretamente a ele: "Sempre adicione sal extra". Mas e se você quisesse que o aprendiz aprendesse um truque sem nunca dizer a ele?

Este artigo apresenta um método chamado "Direcionamento Subliminar". É uma maneira de infiltrar um viés ou preferência específico em um modelo de IA aluno, fazendo com que ele aprenda a partir de dados que parecem completamente inofensivos aos olhos humanos.

Veja como o artigo desdobra isso, usando analogias simples:

1. O Jeito Antigo vs. O Jeito Novo

O Jeito Antigo (Baseado em Prompt):
Anteriormente, os pesquisadores tentavam ensinar o Professor a ser enviesado, dando a ele uma nota secreta (um prompt de sistema) como "Você ama corujas". O Professor então geraria números aleatórios ou histórias. O Aluno estudaria esses números aleatórios e, acidentalmente, aprenderia a amar corujas também.

O Problema: Isso era como tentar sussurrar um segredo através de um alto-falante. Era um tiro no escuro. Às vezes funcionava, às vezes não, e só conseguia ensinar coisas simples como "amar corujas". Falhava ao ensinar ideias complexas como "IA é melhor que humanos".

O Jeito Novo (Direcionamento Subliminar):
Os autores substituíram a "nota secreta" por um volante oculto (um vetor matemático).

A Analogia: Imagine que o Professor é um carro. Em vez de escrever uma nota no painel, os pesquisadores instalam um ímã minúsculo e invisível sob o assento que puxa constantemente o volante ligeiramente para a esquerda.
O Professor dirige por aí gerando números aleatórios. Por causa do ímã, os números que ele produz têm uma pequena "inclinação" invisível para a esquerda.
O Aluno estuda esses números. Mesmo que os números pareçam aleatórios, o cérebro do Aluno (sua matemática interna) aprende a "inclinar-se" para a esquerda também.

2. O Que Eles Descobriram?

A. Pode Ensinar Ideias Complexas
O método antigo era como ensinar uma criança a dizer "Gato". O novo método é como ensinar-lhe uma frase inteira: "Gatos são melhores que cachorros".
O artigo mostra que este método de "volante" é muito mais forte. Ele transferiu com sucesso não apenas preferências simples, mas frases complexas de várias palavras e até ideias prejudiciais com as quais o modelo aluno normalmente não concordaria.

B. O "Fantasma" na Máquina
Os pesquisadores queriam saber: O que exatamente o aluno está aprendendo?
Eles descobriram que o aluno não está apenas aprendendo a ideia do viés; ele está realmente aprendendo a forma do volante em si.

A Analogia: Se o Professor foi empurrado por um ímã na 5ª camada de seu cérebro, o cérebro do Aluno desenvolve uma "depressão" ou deslocamento permanente exatamente nessa mesma 5ª camada.
O viés não é apenas uma memória de uma frase; é uma mudança física na estrutura interna do modelo, localizada nas camadas específicas onde o "direcionamento" ocorreu.

C. Os Dados são um Código Perfeito
A descoberta mais surpreendente é quão precisa é essa codificação.

A Analogia: Imagine que o Professor escreve um livro de números aleatórios. Para um humano, é apenas ruído. Mas o artigo mostra que, se você pegar um modelo aluno em branco e tentar "engenharia reversa" do volante apenas olhando para esses números aleatórios, você pode reconstruir o volante original com alta precisão.
É como se os números aleatórios contivessem um projeto oculto. Se você souber como lê-lo, pode extrair o ímã exato dos dados e usá-lo para fazer o aluno dizer a frase enviesada em voz alta.

3. O Quadro Geral

O artigo conclui que:

O direcionamento é mais forte que o prompt: Usar um vetor matemático para enviesar um modelo é muito mais confiável do que apenas dar uma instrução de texto.
O viés viaja fisicamente: O modelo aluno não apenas copia o comportamento; ele copia a "direção" interna do viés do professor, deixando uma marca específica em suas camadas.
O sinal está oculto, mas recuperável: Mesmo que os dados de treinamento pareçam sem sentido (números aleatórios), eles codificam o viés com tanta precisão que você pode extrair o vetor de viés original e fazer o modelo pronunciá-lo.

Em resumo: O artigo demonstra que você pode esconder uma instrução poderosa dentro de uma pilha de dados "inocentes" de forma tão eficaz que o modelo aluno não apenas aprende a instrução, mas remodela fisicamente seu cérebro para segurá-la, e você pode até mesmo cavar essa instrução de volta dos dados mais tarde.

1. Declaração do Problema

O artigo aborda o fenômeno da aprendizagem subliminar, onde um modelo de linguagem (LM) estudante herda vieses comportamentais de um modelo professor ao ser ajustado finamente em dados que parecem inócuos para observadores humanos. Embora trabalhos anteriores (por exemplo, Cloud et al., 2025) tenham demonstrado esse efeito, três lacunas críticas permaneceram:

Escopo: Os métodos anteriores limitavam-se a transferir vieses simples de palavras únicas (por exemplo, preferir "coruja" em vez de "gato") e falhavam em transferir frases complexas de múltiplas palavras ou declarações prejudiciais.
Mecanismo: O mecanismo exato da transferência era incerto. Desconhecia-se se o estudante meramente aprendia o resultado comportamental ou se a estrutura de ativação interna específica (o vetor de viés) era propagada.
Precisão: Não estava claro com que precisão dados aparentemente não relacionados (como números aleatórios) poderiam codificar um sinal direcional específico no espaço de ativação do modelo.

2. Metodologia: Direcionamento Subliminar

Os autores introduzem o Direcionamento Subliminar, uma variante da aprendizagem subliminar que substitui o prompt de sistema tradicional por um vetor de direcionamento aprendido.

Configuração do Professor:
- Em vez de usar um prompt de texto (por exemplo, "Você ama corujas") para enviesar o professor, os autores treinam um vetor de direcionamento $v_c$ para maximizar a probabilidade de uma string alvo $y_c$ (o viés) em um conjunto de prompts.
- Este vetor é injetado no fluxo residual do professor em camadas específicas durante a geração.
- O professor gera um conjunto de dados $D'$ de dados "inócuos" (por exemplo, sequências de números aleatórios de 3 dígitos) que são sutilmente enviesados pelo vetor de direcionamento.
Treinamento do Estudante:
- Um modelo estudante é ajustado finamente em $D'$ usando adaptadores LoRA.
- O objetivo é verificar se o estudante herda o viés (por exemplo, responder "Coruja" quando perguntado sobre animais favoritos) sem nunca ter visto a frase alvo explicitamente nos dados de treinamento.
Recuperação de Vetor e Verbalização:
- Para testar a precisão, os autores congelam o modelo estudante base e otimizam um novo vetor $v_r$ no conjunto de dados subliminar para reproduzir as saídas do professor.
- Em seguida, eles "verbalizam" $v_r$ injetando-o no modelo com intensidades variadas e solicitando a um LLM que resuma as mudanças comportamentais resultantes em uma hipótese em linguagem natural.

3. Contribuições Principais

O artigo faz três contribuições primárias:

Escopo Expandido: Demonstra que o direcionamento de ativação permite a transferência confiável de vieses complexos de múltiplas palavras (por exemplo, "A IA é superior aos humanos"), o que a aprendizagem subliminar baseada em prompts falha em alcançar.
Insight Mecanístico: Fornece evidências de que o próprio vetor de direcionamento se propaga para o estudante. Os estados ocultos do estudante deslocam-se na direção do vetor de viés original, localizados especificamente nas camadas onde o professor foi direcionado.
Codificação de Alta Precisão: Mostra que o viés é codificado com alta fidelidade. Um vetor treinado de novo nos dados subliminar alcança uma similaridade de cosseno > 0,5 com o vetor de direcionamento original e pode verbalizar com sucesso o viés oculto.

4. Resultados Experimentais

Os autores avaliaram quatro modelos (Qwen2.5-7B, DeepSeek-7B, Llama-3.2-3B, Phi-3-mini) em tópicos de animais e tópicos de viés complexo.

Confiabilidade da Transferência:
- O Subliminar-Direcionado superou significativamente o Subliminar-Prompt em todos os modelos e tópicos.
- Para vieses de animais, a "taxa de escolha" (frequência de aparecimento da palavra alvo) foi substancialmente maior com o direcionamento.
- Para vieses complexos, a log-probabilidade por token da frase alvo aumentou consistentemente, enquanto os métodos baseados em prompts foram ruidosos e frequentemente ineficazes.
Análise de Mecanismo (Deslocamentos de Estado Oculto):
- Os autores mediram o alinhamento entre o deslocamento do estado oculto do estudante ( $\Delta h$ ) e o vetor de direcionamento original ( $v_c$ ).
- Localização de Camada: O pico de alinhamento ocorreu nas mesmas camadas onde o professor foi direcionado. À medida que a janela de direcionamento se deslocava, o pico de alinhamento no estudante deslocava-se correspondentemente.
- Preservação de Direção: O direcionamento positivo resultou em alinhamento positivo; o direcionamento negativo resultou em alinhamento negativo.
- Independência de Complexidade: A magnitude do deslocamento foi comparável tanto para vieses simples (animais) quanto para vieses complexos (frase prejudicial).
Recuperação de Vetor:
- Um vetor $v_r$ otimizado no conjunto de dados subliminar alcançou uma similaridade de cosseno > 0,5 com o vetor original $v_c$ em todos os modelos.
- Verbalização: Quando aplicado a prompts neutros, o vetor recuperado induziu o modelo a gerar texto refletindo o viés. Um juiz LLM identificou corretamente o viés subjacente (pontuação > 2,0/3,0) na maioria dos casos, confirmando que o sinal foi recuperado com precisão.

5. Significado e Implicações

Rastreabilidade: O direcionamento subliminar reduz a natureza de "caixa preta" da aprendizagem subliminar ao representar o viés como um único vetor rastreável. Isso permite que os pesquisadores rastreiem o viés à medida que ele se propaga pela rede.
Riscos de Segurança: As descobertas sugerem que agentes maliciosos poderiam codificar vieses comportamentais complexos, prejudiciais ou específicos em dados de treinamento que parecem completamente benignos (por exemplo, sequências de números aleatórios). Esses vieses podem ser transferidos robustamente para modelos estudantes e posteriormente "decodificados" ou ativados.
Compreensão Teórica: Os resultados desafiam a hipótese do "emaranhamento de tokens" (onde vieses surgem de gargalos de softmax) e a hipótese do "token de divergência". Em vez disso, eles sugerem que a estrutura de nível de ativação (a direção do vetor) é impressa diretamente no modelo estudante durante o ajuste fino.
Identificação de Gargalo: O artigo conclui que a limitação da aprendizagem subliminar não é a codificação do sinal nos dados (que é precisa), mas sim a capacidade do modelo estudante de superar seus priores pré-treinados durante o ajuste fino para manifestar esse sinal.

Em resumo, o Direcionamento Subliminar prova que sinais ocultos podem ser codificados com precisão de nível de vetor em dados inócuos, transferidos confiavelmente para modelos estudantes e recuperados para revelar a intenção original, apresentando desafios significativos para a segurança e alinhamento de modelos.