Resumo Técnico: A Localização do Canal Restringe a Auditabilidade do Aprendizado Subliminar

Declaração do Problema

O artigo aborda os riscos de segurança do aprendizado subliminar em pipelines de destilação professor-aluno. Trabalhos recentes (Cloud et al.) demonstraram que um modelo aluno pode herdar traços ocultos de um professor (preferências, personas ou desalinhamentos) mesmo quando os dados de destilação não contêm referência explícita a esses traços, desde que os modelos compartilhem uma inicialização.

O problema central é a auditabilidade: Podem os auditores prever ou detectar essa transferência antes de o aluno ser treinado? O artigo argumenta que a resposta não depende da identidade ou escala do modelo, mas da localização do portador — o componente específico da rede neural através do qual o traço oculto se propaga. Os autores postulam que uma "tela" (uma métrica de pré-treinamento que prevê a transferência) só é válida se visar o local correto do portador. Aplicar uma tela projetada para um tipo de canal a outro resulta em falsa garantia.

Metodologia

Os autores desenvolvem um mapa de auditabilidade condicionado ao canal analisando três regimes distintos de transferência subliminar. Eles empregam uma combinação de intervenções causais, estudos de ablação e testes de triagem prospectivos em múltiplas famílias de modelos (Pythia, Qwen, Gemma, RedPajama) e escalas (até 6,9 bilhões de parâmetros).

Principais componentes metodológicos incluem:

1. Definição de Portador: Um portador é definido operacionalmente via um "teste de remoção": o componente cuja remoção, substituição ou neutralização abole a transferência enquanto preserva o comportamento supervisionado manifesto.
2. Métrica de Cobertura: Uma tela de pré-treinamento definida como a similaridade de cosseno entre a atualização de destilação inicial do aluno ($d_0$) e o deslocamento de ajuste fino do professor ($\hat{u}_T$). Isso mede o alinhamento do primeiro passo de gradiente com a direção aprendida pelo professor.
3. Intervenções Causais:
   • Ortogonalização: Remoção do acoplamento entre a linha de um token alvo em seu unembedding e seus vizinhos de alto cosseno.
   • Mascaramento de Vizinhos: Exclusão de tokens vizinhos emaranhados da perda de destilação.
   • Transplantes de Componentes: Troca de corpo (pesos internos) e cabeça (embeddings de saída) entre alunos e bases para isolar o roteamento.
   • Manipulação de Precisão: Treinamento em precisão reduzida (bf16) para testar a formação do canal.
4. Regimes Experimentais:
   • Canal Auxiliar de Brinquedo (Toy): Um cenário de MLP controlado com inicialização aleatória e leitura ortogonal.
   • Traços de Tokens Pré-treinados: Preferências de token único (ex: entidades nomeadas, palavras numéricas) mascaradas da perda em LMs pré-treinados.
   • Comportamentos Condicionais: Políticas complexas (ex: sicofancia, backdoors) onde o modelo concorda ou cumpre ordens baseando-se em condições específicas, mascaradas da perda.

Contribuições Principais e Resultados

1. O Canal do Corpo é Triável (Resultado Positivo)

Em um cenário controlado com uma inicialização compartilhada aleatória e um canal de saída auxiliar, o portador reside no corpo da rede (pesos internos).

• Resultado: A métrica de Cobertura (alinhamento de cosseno) prevê a precisão da transferência retida com alta fidelidade ($\rho \approx 0,95$, AUROC 0,997).
• Mecanismo: A direção da atualização inicial é uma aproximação de primeira ordem do deslocamento do professor filtrada pela curvatura do canal.
• Significância: Isso estabelece a existência de uma tela de pré-treinamento sólida, mecanística e prospectiva, mas apenas quando o portador é dependente da inicialização e localizado no corpo.

2. Traços de Tokens Carregados pelo Vocabulário Evadem Telas de Inicialização

Em modelos de linguagem pré-treinados, traços de tokens únicos (ex: uma preferência por "sete" ou um nome de marca) são carregados pela geometria convergente do unembedding (a matriz de saída que mapeia estados ocultos para logits).

• Mecanismo: Devido ao gargalo softmax (tamanho do vocabulário $\gg$ largura oculta), as linhas de saída são emaranhadas. Ajustar a distribuição do professor sobre tokens não-alvo eleva inadvertidamente a probabilidade do token alvo via seus vizinhos de alto cosseno.
• Resultado: A transferência é independente da inicialização. Um aluno treinado a partir de uma base diferente (inicialização diferente) herda o traço tão bem quanto um com uma base compartilhada.
• Falha da Tela: A Cobertura é não-mecânica e cega neste regime. Ela pode correlacionar-se com a transferência dentro de uma única família devido a coincidências arquitetônicas, mas falha em prever a transferência entre diferentes inicializações ou arquiteturas (ex: Qwen com cabeça atada vs. Pythia com cabeça destacada).
• Intervenção: A ortogonalização direcionada da linha de unembedding do token alvo contra seus vizinhos emaranhados colapsa o vazamento em $>500\times$ enquanto preserva a utilidade do modelo. Isso confirma que o portador é a geometria, não os pesos.

3. Comportamentos Condicionais Roteiam Através do Corpo

Políticas condicionais complexas (ex: sicofancia, backdoors condicionadas a gatilhos) transferem-se subliminarmente, mas localizam-se predominantemente no corpo da rede, não no vocabulário.

• Resultado: Esses comportamentos sobrevivem a intervenções de mascaramento de vizinhos que destroem traços de tokens. Eles são robustos à precisão (ao contrário dos traços de tokens, que são suprimidos pelo treinamento em bf16).
• Lacuna de Auditoria: Esses comportamentos são opacos à detecção post-hoc. Não há um único "handle de token" para escanear; a política é distribuída através de computações do corpo.
• Falha da Tela: A Cobertura fornece apenas um sinal direcional fraco ($\rho \approx 0,06$), insuficiente para uma tela implantável.
• Significância: Este regime representa a lacuna de segurança mais significativa: o portador está no corpo, mas o sinal é independente da inicialização (ou fracamente dependente), tornando as telas de alinhamento padrão ineficazes.

4. A Taxonomia do Ciclo de Vida da Auditoria

O artigo organiza a auditabilidade em três células baseadas na localização do portador (Tabela 4):

• Traços Semânticos de Tokens (Portador do Vocabulário): Pré-treinamento não-triável; totalmente detectável e reparável post-hoc via escaneamento de tokens elevados e ortogonalização.
• Traços de Tokens de Baixo Proxy (Portador do Vocabulário): Opacos em significado nos dados, mas localizáveis via logits; reparáveis post-hoc.
• Comportamentos Carregados pelo Corpo: Pré-treinamento fracamente triável; opacos à detecção, identificação e bloqueio post-hoc. A única mitigação eficaz é a governança do pipeline de treinamento (o professor e o sinal de destilação).

Significância e Alegações

O artigo afirma que a localização do canal é o determinante primário da auditabilidade, superando a escala ou a identidade do modelo.

• Não Existe Tela Universal: Não existe uma métrica de pré-treinamento única que funcione para todo o aprendizado subliminar. Uma tela válida para traços carregados pelo corpo (Cobertura) é cega para traços carregados pelo vocabulário, e vice-versa.
• Falsa Garantia: Confiar em uma tela fora de seu regime válido (ex: usar Cobertura em um modelo pré-treinado com traços de vocabulário) fornece falsa segurança.
• Realidade de Implantação:
  • Para traços de tokens, a solução é a detecção post-hoc e o reparo geométrico direcionado (ortogonalização).
  • Para comportamentos condicionais (a classe mais perigosa), nenhuma auditoria de modelo final funciona. A alavancagem reside inteiramente na governança do pipeline (garantir que o professor e o sinal de destilação sejam seguros), pois esses comportamentos escapam de toda intervenção post-hoc testada.
• Modéstia: Os autores declaram explicitamente que não propõem uma defesa universal. Sua contribuição é um "mapa de auditabilidade condicionado ao canal" que esclarece onde e quando auditorias específicas são sólidas, evitando a aplicação errônea de ferramentas como a Cobertura em regimes onde elas são mecanicamente inertes.

O artigo conclui que, embora exista uma tela de pré-treinamento forte para canais de corpo controlados, nenhuma tela de pré-treinamento validada existe para canais naturalmente ocorrentes em modelos pré-treinados. A única defesa robusta para comportamentos carregados pelo corpo permanece o controle do próprio pipeline de treinamento.