Sustained Gradient Alignment Mediates Subliminal Learning in a Multi-Step Setting: Evidence from MNIST Auxiliary Logit Distillation Experiment

1. Enunciato del Problema

Il documento affronta il fenomeno dell'apprendimento subliminale nella Distillazione della Conoscenza (KD).

• Contesto: Nella KD, un modello studente viene addestrato per imitare un modello insegnante. Lavori recenti (Cloud et al., 2025) hanno dimostrato che se uno studente è inizializzato vicino a un insegnante, può acquisire involontariamente "tratti" (ad esempio, comportamenti non allineati o capacità di classificazione specifiche) anche quando il processo di distillazione prende di mira esplicitamente solo i logit "no-class" (output ausiliari) e i dati di addestramento non contengono esempi del tratto.
• Il Divario: La teoria esistente spiega questo fenomeno tramite l'allineamento dei gradienti tra l'obiettivo di distillazione e l'obiettivo del tratto, ma tale teoria si basa sull'assunzione di una discesa del gradiente in un singolo passo. Rimane incerto se questo allineamento persista e guidi causalmente l'acquisizione del tratto in un realistico setting di addestramento multi-step in cui i parametri evolvono nel tempo.
• Sfida di Mitigazione: Una recente strategia di mitigazione, il Liminal Training (Yanagisawa et al., 2025), afferma di sopprimere l'acquisizione di tratti nei Large Language Models (LLM) utilizzando un regolarizzatore KL annealed. Non è noto se questo metodo funzioni in contesti dove gli effetti del gradiente del primo ordine dominano, o se semplicemente ritardi il problema.

2. Metodologia

Gli autori hanno condotto esperimenti empirici utilizzando la configurazione MNIST MLP Auxiliary Logit Distillation (riproducendo Cloud et al., 2025).

• Configurazione Sperimentale:

  • Modello: Un Perceptron Multistrato (MLP) con 10 logit di classe e 3 logit "no-class" (ausiliari).
  • Inizializzazione: L'insegnante e lo studente condividono un'inizializzazione identica.
  • Insegnante: Addestrato su MNIST utilizzando solo i 10 logit di classe (Cross-Entropy).
  • Studente: Addestrato per minimizzare la divergenza KL sui 3 logit no-class esclusivamente.
  • Obiettivo: Osservare se lo studente acquisisce la capacità di classificare le cifre (il "tratto") nonostante non abbia mai visto etichette di classe durante l'addestramento.

• Indagini:

  1. Monitoraggio dell'Allineamento dei Gradienti: Gli autori hanno tracciato il prodotto scalare (allineamento) tra il gradiente del tratto ($\nabla_\theta L_{trait}$) e il gradiente di distillazione ($\nabla_\theta L_{distill}$) su 100 semi di addestramento.
  2. Intervento Causale (Proiezione del Gradiente): Per testare la causalità, hanno modificato la regola di aggiornamento della distillazione. Hanno proiettato il gradiente di distillazione sul piano normale del gradiente del tratto ogni volta che i due erano allineati positivamente, rimuovendo efficacemente la componente allineata al tratto dell'aggiornamento:
     $$\tilde{g}_{distill} = \begin{cases} g_{distill} - \frac{\langle g_{distill}, g_{trait} \rangle}{\|g_{trait}\|^2} g_{trait} & \text{if } \langle g_{distill}, g_{trait} \rangle > 0 \\ g_{distill} & \text{otherwise} \end{cases}$$
  3. Valutazione della Mitigazione (Liminal Training): Hanno applicato il Liminal Training, che aggiunge un regolarizzatore KL per mantenere i logit ausiliari dello studente vicini alla distribuzione del modello base, con la forza di regolarizzazione che decade a zero nel tempo.

3. Contributi Chiave

1. Validazione Empirica dell'Allineamento Sostenuto: Dimostrato che l'allineamento positivo dei gradienti tra gli obiettivi del tratto e della distillazione persiste per tutta la durata dell'addestramento multi-step, sebbene debolmente.
2. Prova Causale: Dimostrato che questo allineamento è il principale motore dell'apprendimento subliminale mostrando che la rimozione della componente allineata al tratto del gradiente ferma completamente l'acquisizione del tratto senza ostacolare il processo di distillazione.
3. Limitazione delle Mitigazioni Attuali: Mostrato che il Liminal Training fallisce nel sopprimere l'acquisizione del tratto in questo regime, suggerendo che attenuare semplicemente l'allineamento iniziale è insufficiente quando gli effetti del primo ordine dominano.

4. Risultati

A. L'Allineamento dei Gradienti Persiste

• Osservazione: Su 100 semi, l'allineamento è stato positivo nel 78,1% dei passi di addestramento.
• Magnitudine: La similarità cosmedia media è stata bassa ($0,0075 \pm 0,0017$), indicando che i gradienti sono quasi ortogonali ma con un lieve e costante bias positivo.
• Correlazione: L'acquisizione del tratto (misurata dall'accuratezza di classificazione delle cifre) è stata più rapida durante la fase iniziale di addestramento dove l'allineamento era più alto.
• Prestazioni: Lo studente ha raggiunto un'accuratezza media finale di test del 55,28% (significativamente superiore al livello di caso del 10%), confermando che è avvenuto l'apprendimento subliminale.

B. Ruolo Causale dell'Allineamento (Proiezione del Gradiente)

• Intervento: Quando la componente allineata al tratto è stata rimossa dal gradiente di distillazione:
  • Acquisizione del Tratto: È crollata a livelli vicini al caso (10,14% di accuratezza contro il 55,28% del controllo).
  • Qualità della Distillazione: Rimasta inalterata. Le curve della divergenza KL (perdita di distillazione) sono state visivamente identiche al gruppo di controllo.
  • Conclusione: Ciò conferma che il lieve allineamento positivo è il meccanismo causale per l'acquisizione del tratto e che gli effetti del primo ordine dominano in questa configurazione.

C. Fallimento del Liminal Training

• Meccanismo: Il training Liminal ha ridotto con successo l'allineamento dei gradienti durante il primo epoch.
• Esito: Nonostante la ridotta allineamento iniziale, ha fallito nel sopprimere l'acquisizione del tratto.
  • Accuratezza finale con Liminal Training: 48,97% (rispetto al 55,28% del controllo).
  • L'acquisizione del tratto è stata semplicemente ritardata. Man mano che la forza di regolarizzazione KL decadeva a zero, l'allineamento e l'acquisizione del tratto sono ripresi, portando a uno stato finale simile al controllo non mitigato.

5. Significato e Implicazioni

• Chiarimento del Meccanismo: Il documento stabilisce che l'apprendimento subliminale in contesti multi-step è guidato da un allineamento positivo debole e sostenuto dei gradienti, piuttosto che da un effetto di inizializzazione una tantum.
• Critica alle Strategie di Mitigazione: I risultati mettono in discussione l'efficacia di strategie di mitigazione "soft" come il Liminal Training in regimi dominati da effetti di gradiente del primo ordine. Rallentare o attenuare semplicemente l'allineamento nelle fasi iniziali dell'addestramento è insufficiente; la componente allineata al tratto deve essere rimossa esplicitamente per prevenire la trasmissione.
• Implicazioni per la Sicurezza: Se un modello studente eredita un disallineamento da un insegnante tramite questo meccanismo, i filtri di sicurezza standard sul dataset di distillazione potrebbero essere inefficaci. Il documento suggerisce che una mitigazione robusta richiede un intervento attivo nello spazio dei gradienti (ad esempio, proiezione) piuttosto che una semplice regolarizzazione.
• Ricerca Futura: Gli autori notano che, sebbene la proiezione del gradiente sia efficace, richiede la conoscenza del gradiente del "ground truth" del tratto, che spesso non è disponibile in scenari reali. Sviluppare metodi per identificare e rimuovere queste componenti senza un ground truth esplicito rimane una sfida aperta critica.