Sustained Gradient Alignment Mediates Subliminal Learning in a Multi-Step Setting: Evidence from MNIST Auxiliary Logit Distillation Experiment

1. Probleemstelling

Het paper behandelt het fenomeen van subliminale leerprocessen in Knowledge Distillation (KD).

• Context: In KD wordt een studentmodel getraind om een teachermodel na te bootsen. Recent werk (Cloud et al., 2025) toonde aan dat een student, indien geïnitieerd dicht bij een teacher, onbedoeld "eigenschappen" (bijv. misaligneerd gedrag of specifieke classificatiecapaciteiten) kan verwerven, zelfs wanneer het distillatieproces expliciet alleen "no-class" logits (auxiliaire outputs) target en de trainingsdata geen voorbeelden van die eigenschap bevat.
• De Kloof: Bestaande theorie verklaart dit via gradient alignment tussen het distillatiedoel en het doel van de eigenschap, maar deze theorie rust op een aanname van single-step gradient descent. Het blijft onduidelijk of deze alignatie behouden blijft en causaal eigenschapsverwerving drijft in een realistische multi-step trainingsomgeving waar parameters in de tijd evolueren.
• Mitigatie-uitdaging: Een recente mitigatiestrategie, Liminal Training (Yanagisawa et al., 2025), claimt eigenschapsverwerving in Large Language Models (LLMs) te onderdrukken door een geannealde KL-regularisator te gebruiken. Het is onbekend of deze methode werkt in omgevingen waar eerste-orde gradient-effecten domineren, of dat het het probleem slechts uitstelt.

2. Methodologie

De auteurs voerden empirische experimenten uit met de MNIST MLP Auxiliary Logit Distillation-opstelling (reproductie van Cloud et al., 2025).

• Experimentele Opstelling:

  • Model: Een Multi-Layer Perceptron (MLP) met 10 class logits en 3 "no-class" (auxiliaire) logits.
  • Initialisatie: Teacher en student delen een identieke initialisatie.
  • Teacher: Getraind op MNIST met alleen de 10 class logits (Cross-Entropy).
  • Student: Getraind om de KL-divergentie te minimaliseren op alleen de 3 no-class logits.
  • Doel: Observeren of de student de vaardigheid verwerft om cijfers te classificeren (de "eigenschap"), ondanks dat het nooit class-labels heeft gezien tijdens het trainen.

• Onderzoeken:

  1. Gradient Alignment Monitoring: De auteurs volgden het inproduct (alignatie) tussen de eigenschap-gradient ($\nabla_\theta L_{trait}$) en de distillatie-gradient ($\nabla_\theta L_{distill}$) over 100 trainingsseeds.
  2. Causale Interventie (Gradient Projection): Om causaliteit te testen, modifyeerden ze de distillatie-updateregel. Ze projecteerden de distillatie-gradient op het normale vlak van de eigenschap-gradient zodra de twee positief aligneerden, waardoor ze effectief het met de eigenschap alignerende component van de update verwijderden:
     $$\tilde{g}_{distill} = \begin{cases} g_{distill} - \frac{\langle g_{distill}, g_{trait} \rangle}{\|g_{trait}\|^2} g_{trait} & \text{if } \langle g_{distill}, g_{trait} \rangle > 0 \\ g_{distill} & \text{otherwise} \end{cases}$$
  3. Mitigatie-evaluatie (Liminal Training): Ze pasten Liminal Training toe, wat een KL-regularisator toevoegt om de auxiliaire logits van de student dicht bij de verdeling van het basismodel te houden, waarbij de regularisatiesterkte in de loop van de tijd annealt naar nul.

3. Belangrijkste Bijdragen

1. Empirische Validatie van Behouden Alignatie: Aangetoond dat positieve gradient alignatie tussen de eigenschap- en distillatiedoelen behouden blijft gedurende multi-step training, zij het zwak.
2. Causaal Bewijs: Aangetoond dat deze alignatie de primaire drijver is van subliminale leerprocessen, door te laten zien dat het verwijderen van het met de eigenschap alignerende component van de gradient eigenschapsverwerving volledig stopt zonder het distillatieproces te hinderen.
3. Beperking van Huidige Mitigaties: Aangetoond dat Liminal Training faalt eigenschapsverwerving in dit regime te onderdrukken, wat suggereert dat het enkel vertragen of attenueren van vroege alignatie onvoldoende is wanneer eerste-orde effecten domineren.

4. Resultaten

A. Gradient Alignatie Behoudt Zich

• Observatie: Over 100 seeds was de alignatie positief in 78,1% van de trainingsstappen.
• Grootte: De gemiddelde cosinus-similariteit was laag ($0,0075 \pm 0,0017$), wat aangeeft dat gradients bijna orthogonaal zijn maar met een lichte, consistente positieve bias.
• Correlatie: Eigenschapsverwerving (gemeten aan de hand van cijferclassificatie-accuraatheid) was het snelst tijdens de vroege trainingsfase waar de alignatie het hoogst was.
• Prestatie: De student behaalde een gemiddelde finale testaccuraatheid van 55,28% (significant boven het 10%-kansniveau), wat bevestigt dat subliminale leerprocessen hebben plaatsgevonden.

B. Causale Rol van Alignatie (Gradient Projection)

• Interventie: Toen het met de eigenschap alignerende component uit de distillatie-gradient werd verwijderd:
  • Eigenschapsverwerving: Instortte tot bijna-kansniveaus (10,14% accurate vs. 55,28% in de controlegroep).
  • Distillatiekwaliteit: Bleef onaangetast. De KL-divergentie (distillatieverlies) curves waren visueel identiek aan de controlegroep.
  • Conclusie: Dit bevestigt dat de lichte positieve alignatie het causale mechanisme is voor eigenschapsverwerving en dat eerste-orde effecten in deze opstelling domineren.

C. Falen van Liminal Training

• Mechanisme: Liminal training slaagde erin gradient alignatie tijdens het eerste epoch te verminderen.
• Uitkomst: Ondanks verminderde vroege alignatie, faalde het eigenschapsverwerving te onderdrukken.
  • Finale accurate met Liminal Training: 48,97% (vergeleken met 55,28% controle).
  • De eigenschapsverwerving werd slechts uitgesteld. Naarmate de KL-regularisatiesterkte afnam naar nul, hervatten de alignatie en eigenschapsverwerving, wat leidde tot een finale staat vergelijkbaar met de ongematigde controle.

5. Betekenis en Implicaties

• Mechanisme Verduidelijking: Het paper stelt vast dat subliminale leerprocessen in multi-step settings worden gedreven door een behouden, zwakke positieve alignatie van gradients, in plaats van een eenmalig initialisatie-effect.
• Kritiek op Mitigatiestrategieën: De resultaten vormen een uitdaging voor de effectiviteit van "zachte" mitigatiestrategieën zoals Liminal Training in regimes die worden gedomineerd door eerste-orde gradient-effecten. Het simpelweg vertragen of attenueren van alignatie vroeg in de training is onvoldoende; het met de eigenschap alignerende component moet expliciet worden verwijderd om transmissie te voorkomen.
• Veiligheidsimplicaties: Als een studentmodel via dit mechanisme misalignement van een teacher erft, kunnen standaard veiligheidsfilters op de distillatiedataset ineffectief zijn. Het paper suggereert dat robuuste mitigatie actieve interventie in de gradientruimte vereist (bijv. projectie) en niet alleen regularisatie.
• Toekomstig Onderzoek: De auteurs merken op dat hoewel gradient projectie effectief is, het kennis vereist van de "ground truth" eigenschap-gradient, wat vaak niet beschikbaar is in real-world scenario's. Het ontwikkelen van methoden om deze componenten te identificeren en te verwijderen zonder expliciete ground truth blijft een kritieke open uitdaging.