Subliminal Learning Is Steering Vector Distillation

Resumo Técnico: O Aprendizado Subliminar é a Destilação de Vetores de Direcionamento

Declaração do Problema

O aprendizado subliminar é um fenômeno onde um modelo de linguagem estudante, ao ser ajustado (fine-tuned) nos outputs de um modelo professor, adquire os traços comportamentais latentes do professor (ex: uma preferência por gatos), apesar de os dados de treinamento serem semanticamente não relacionados a esses traços (ex: sequências numéricas). Embora trabalhos anteriores tenham estabelecido que isso ocorre, o mecanismo permanecia obscuro. Especificamente, era desconhecido como dados não semânticos poderiam transmitir traços semânticos específicos, por que alguns traços são transferidos enquanto outros não, e por que o efeito é amplamente restrito a pares professor-estudante dentro da mesma família de modelos. Hipóteses anteriores, como o emaranhamento de tokens ou tokens de divergência, identificaram onde o sinal poderia residir, mas falharam em explicar como o sinal é transferido durante o ajuste fino.

Metodologia

Os autores propõem que o aprendizado subliminar é mediado por um único vetor de direcionamento (steering vector) — uma direção no fluxo residual do modelo que, quando adicionada às ativações, desloca o comportamento em direção a um traço alvo. O estudo emprega um pipeline de três estágios usando modelos de código aberto (Qwen2.5-7B-Instruct, Gemma-3-4b-it, Llama-3.1-8B-Instruct e OLMo-3-7B-Instruct):

1. Geração do Professor: Um modelo de referência é instigado com um prompt de sistema indutor de traço (ex: "Você ama gatos") e gera dados (ex: sequências numéricas). Esses dados são filtrados para remover quaisquer referências semânticas superficiais ao traço.
2. Extração de Vetores:
   • $v_{teacher}$: Definido como a diferença média nas ativações do fluxo residual entre o modelo de referência sob um prompt indutor de traço e um prompt neutro.
   • $v_{student}$: Definido como a diferença média nas ativações entre o estudante ajustado e o modelo de referência (sob prompts neutros) nos mesmos dados de treinamento.
3. Teste Causal: Os autores realizam testes de suficiência e necessidade:
   • Suficiência: Direcionar um modelo base com $v_{student}$ (ou $v_{teacher}$) para ver se ele reproduz o traço sem o ajuste fino.
   • Necessidade: Ablar $v_{student}$ de um estudante ajustado (substituindo sua projeção pelo modelo de referência) para ver se o traço desaparece.
4. Experimentos de Destilação: Os autores estendem a configuração para "destilação de vetor de direcionamento", onde estudantes são treinados em dados gerados por um professor direcionado com vetores aleatórios ou vetores para vários traços semânticos (ex: "Pirata", "Shakespeareano", "Felicidade").
5. Análise de Otimizadores: O estudo compara otimizadores adaptativos (Adam, AdamW) contra não adaptativos (SGD, SGD com momentum) para determinar seu papel na aquisição do vetor de direcionamento.

Contribuições Principais e Resultados

1. O Aprendizado Subliminar é Mediado por um Único Vetor de Direcionamento

O artigo demonstra que o ajuste fino instala uma única direção no fluxo residual do estudante ($v_{student}$) que está estreitamente alinhada com o vetor de direcionamento do professor ($v_{teacher}$).

• Alinhamento: A Similaridade de Ativação Empírica (EAS) mostra que $v_{student}$ se alinha com $v_{teacher}$ conforme o treinamento progride.
• Causalidade:
  • Suficiência: Direcionar um modelo base com $v_{student}$ aumenta significativamente a taxa de expressão do traço.
  • Necessidade: Remover o componente $v_{student}$ de um estudante ajustado suprime mais de 50% do comportamento alinhado ao traço.
• Papel do Professor: Da mesma forma, $v_{teacher}$ é necessário e suficiente. Treinar em dados gerados por um professor com $v_{teacher}$ ablado falha em induzir o traço, enquanto treinar em dados gerados ao direcionar um modelo base com $v_{teacher}$ (sem um prompt de sistema) induz o traço com sucesso.

2. A Destilação de Vetor de Direcionamento é um Fenômeno Geral

Os autores mostram que este mecanismo se estende além do "aprendizado subliminar" de traços semânticos.

• Vetores Aleatórios: Estudantes treinados em dados de um professor direcionado com vetores aleatórios ou recursos de Autoencoders Esparsos (SAE) aprendem com sucesso a se alinhar com esses vetores.
• Transferência Semântica: No entanto, o traço comportamental (o significado semântico) só é transferido se o próprio vetor de direcionamento for capaz de deslocar o comportamento do modelo no momento da inferência. Se um vetor não consegue direcionar o modelo base para exibir um traço, o estudante não aprenderá esse traço subliminarmente, mesmo que aprenda a direção do vetor.

3. Explicando a Especificidade do Modelo e a Seletividade de Traços

O artigo resolve dois mistérios fundamentais:

• Por que alguns traços falham: Traços que não são bem representados por um vetor de direcionamento no modelo (ou seja, o direcionamento com $v_{teacher}$ não desloca o comportamento do modelo) não podem ser aprendidos subliminarmente. O vetor deve ser um "transportador" válido do traço no espaço de ativação daquele modelo específico.
• Por que a transferência entre modelos falha: Vetores de direcionamento são específicos do modelo. Direções extraídas de um modelo (ex: OLMo) não reduzem confiavelmente a perda nas conclusões de outro modelo (ex: Qwen), mesmo para o mesmo traço. O aprendizado subliminar depende de componentes do vetor de direcionamento que são específicos do modelo e que não generalizam entre arquiteturas.

4. O Papel dos Otimizadores Adaptativos

Uma descoberta crítica é que otimizadores adaptativos (como Adam) são necessários para o aprendizado subliminar em modelos de linguagem, enquanto o SGD puro falha.

• Mecanismo: Gradientes em dados gerados pelo professor contêm um componente pequeno, mas consistente, ao longo da direção de direcionamento.
• Falha do SGD: No SGD, uma pequena fração de parâmetros com gradientes desproporcionalmente grandes domina as etapas de atualização, abafando o sutil e consistente sinal de direcionamento.
• Sucesso do Adam: A escala adaptativa suprime atualizações nessas escalas discrepantes, permitindo que o componente pequeno e consistente alinhado com o vetor de direcionamento se acumule e instale o traço.

Significância e Alegações

O artigo afirma fornecer uma explicação mecanística para o aprendizado subliminar ao reduzi-lo a um caso especial de destilação de vetor de direcionamento. Os autores argumentam que:

1. Mecanismo: Dados não semânticos transmitem traços semânticos porque os outputs do professor contêm "rastros específicos do modelo" (o vetor de direcionamento) que são suficientes para o estudante reconstruir o viés latente do professor.
2. Previsibilidade: O sucesso do aprendizado subliminar para um determinado traço pode ser previsto testando se o vetor de direcionamento desse traço consegue efetivamente deslocar o comportamento do modelo base no momento da inferência.
3. Limitações: Os autores observam modestamente que, embora a destilação de vetor de direcionamento explique o mistério central de como dados não semânticos transmitem traços, ela não explica exaustivamente toda a variância (ex: $v_{student}$ não recupera totalmente a afinidade ao traço em todos os casos, e os tamanhos de efeito variam por arquitetura de modelo). Eles também reconhecem que a necessidade de otimizadores adaptativos carece de uma explicação teórica prescritiva além da observação empírica.

O trabalho sugere que os vetores de direcionamento não são apenas ferramentas para intervenção no tempo de inferência, mas unidades fundamentais de representação que podem ser destiladas através de ajuste fino padrão, mesmo a partir de dados que parecem semanticamente neutros.