Sustained Gradient Alignment Mediates Subliminal Learning in a Multi-Step Setting: Evidence from MNIST Auxiliary Logit Distillation Experiment

1. Declaração do Problema

O artigo aborda o fenômeno de aprendizado subliminar na Destilação de Conhecimento (KD).

• Contexto: Na KD, um modelo estudante é treinado para imitar um modelo professor. Trabalhos recentes (Cloud et al., 2025) demonstraram que, se um estudante for inicializado próximo a um professor, ele pode adquirir inadvertidamente "traços" (por exemplo, comportamentos desalinhados ou capacidades específicas de classificação) mesmo quando o processo de destilação visa explicitamente apenas logits de "sem classe" (saídas auxiliares) e os dados de treinamento não contêm exemplos do traço.
• A Lacuna: A teoria existente explica isso por meio do alinhamento de gradiente entre o objetivo de destilação e o objetivo do traço, mas essa teoria depende de uma suposição de descida de gradiente de passo único. Permanece incerto se esse alinhamento persiste e conduz causalmente à aquisição de traços em um cenário realista de treinamento de múltiplos passos, onde os parâmetros evoluem ao longo do tempo.
• Desafio de Mitigação: Uma estratégia de mitigação recente, Treinamento Liminar (Yanagisawa et al., 2025), afirma suprimir a aquisição de traços em Modelos de Linguagem de Grande Escala (LLMs) usando um regularizador KL annealed. É desconhecido se esse método funciona em cenários onde efeitos de gradiente de primeira ordem dominam, ou se apenas adia o problema.

2. Metodologia

Os autores conduziram experimentos empíricos utilizando a configuração de Destilação de Logits Auxiliares MLP MNIST (reproduzindo Cloud et al., 2025).

• Configuração Experimental:

  • Modelo: Uma Rede Neural Perceptron Multicamadas (MLP) com 10 logits de classe e 3 logits "sem classe" (auxiliares).
  • Inicialização: O professor e o estudante compartilham uma inicialização idêntica.
  • Professor: Treinado no MNIST usando apenas os 10 logits de classe (Entropia Cruzada).
  • Estudante: Treinado para minimizar a divergência KL apenas nos 3 logits sem classe.
  • Objetivo: Observar se o estudante adquire a capacidade de classificar dígitos (o "traço"), apesar de nunca ter visto rótulos de classe durante o treinamento.

• Investigações:

  1. Monitoramento de Alinhamento de Gradiente: Os autores rastrearam o produto interno (alinhamento) entre o gradiente do traço ($\nabla_\theta L_{trait}$) e o gradiente de destilação ($\nabla_\theta L_{distill}$) através de 100 sementes de treinamento.
  2. Intervenção Causal (Projeção de Gradiente): Para testar a causalidade, eles modificaram a regra de atualização de destilação. Eles projetaram o gradiente de destilação no plano normal do gradiente do traço sempre que os dois estavam positivamente alinhados, efetivamente removendo o componente alinhado ao traço da atualização:
     $$\tilde{g}_{distill} = \begin{cases} g_{distill} - \frac{\langle g_{distill}, g_{trait} \rangle}{\|g_{trait}\|^2} g_{trait} & \text{se } \langle g_{distill}, g_{trait} \rangle > 0 \\ g_{distill} & \text{caso contrário} \end{cases}$$
  3. Avaliação de Mitigação (Treinamento Liminar): Eles aplicaram o Treinamento Liminar, que adiciona um regularizador KL para manter os logits auxiliares do estudante próximos à distribuição do modelo base, com a força de regularização annealing para zero ao longo do tempo.

3. Principais Contribuições

1. Validação Empírica de Alinhamento Sustentado: Demonstrou que o alinhamento positivo de gradiente entre os objetivos de traço e destilação persiste ao longo do treinamento de múltiplos passos, embora fracamente.
2. Prova Causal: Provou que esse alinhamento é o principal motor do aprendizado subliminar, mostrando que a remoção do componente alinhado ao traço do gradiente interrompe completamente a aquisição de traços sem prejudicar o processo de destilação.
3. Limitação das Mitigações Atuais: Mostrou que o Treinamento Liminar falha em suprimir a aquisição de traços nesse regime, sugerindo que apenas atenuar o alinhamento inicial é insuficiente quando efeitos de primeira ordem dominam.

4. Resultados

A. O Alinhamento de Gradiente Persiste

• Observação: Em 100 sementes, o alinhamento foi positivo em 78,1% dos passos de treinamento.
• Magnitude: A similaridade cosseno média foi baixa ($0,0075 \pm 0,0017$), indicando que os gradientes são quase ortogonais, mas com um leve viés positivo consistente.
• Correlação: A aquisição de traços (medida pela precisão de classificação de dígitos) foi mais rápida durante a fase inicial de treinamento, onde o alinhamento foi mais alto.
• Desempenho: O estudante alcançou uma precisão final de teste média de 55,28% (significativamente acima do nível de chance de 10%), confirmando que o aprendizado subliminar ocorreu.

B. Papel Causal do Alinhamento (Projeção de Gradiente)

• Intervenção: Quando o componente alinhado ao traço foi removido do gradiente de destilação:
  • Aquisição de Traço: Colapsou para níveis próximos ao acaso (10,14% de precisão versus 55,28% no controle).
  • Qualidade da Destilação: Permaneceu inalterada. As curvas de divergência KL (perda de destilação) foram visualmente idênticas ao grupo de controle.
  • Conclusão: Isso confirma que o leve alinhamento positivo é o mecanismo causal para a aquisição de traços e que efeitos de primeira ordem dominam nessa configuração.

C. Falha do Treinamento Liminar

• Mecanismo: O treinamento liminar reduziu com sucesso o alinhamento de gradiente durante a primeira época.
• Resultado: Apesar da redução do alinhamento inicial, ele falhou em suprimir a aquisição de traços.
  • Precisão final com Treinamento Liminar: 48,97% (comparado a 55,28% no controle).
  • A aquisição de traços foi meramente adiada. À medida que a força de regularização KL decaiu para zero, o alinhamento e a aquisição de traços retomaram, levando a um estado final semelhante ao controle não mitigado.

5. Significado e Implicações

• Esclarecimento do Mecanismo: O artigo estabelece que o aprendizado subliminar em cenários de múltiplos passos é impulsionado por um alinhamento positivo fraco e sustentado de gradientes, e não por um efeito de inicialização único.
• Crítica às Estratégias de Mitigação: Os resultados desafiam a eficácia de estratégias de mitigação "suaves", como o Treinamento Liminar, em regimes dominados por efeitos de gradiente de primeira ordem. Simplesmente desacelerar ou atenuar o alinhamento no início do treinamento é insuficiente; o componente alinhado ao traço deve ser explicitamente removido para prevenir a transmissão.
• Implicações de Segurança: Se um modelo estudante herdar desalinhamento de um professor por meio desse mecanismo, filtros de segurança padrão no conjunto de dados de destilação podem ser ineficazes. O artigo sugere que uma mitigação robusta requer intervenção ativa no espaço de gradientes (por exemplo, projeção) em vez de apenas regularização.
• Pesquisa Futura: Os autores observam que, embora a projeção de gradiente seja eficaz, ela requer conhecimento do gradiente do traço "verdadeiro", que frequentemente não está disponível em cenários do mundo real. Desenvolver métodos para identificar e remover esses componentes sem uma verdade fundamental explícita permanece um desafio crítico em aberto.