🤖 AI

Subliminal Learning Is Steering Vector Distillation

Dit artikel onthult dat subliminaal leren, waarbij een studentmodel de verborgen eigenschappen van een docentmodel overneemt uit semantisch ongerelateerde outputs, wordt gemedieerd door de student die leert de sturende vector van de docent te repliceren via fine-tuning, een proces dat steunt op adaptieve optimizers om subtiele activatiegradiënten te vangen en verklaart waarom dergelijk leren modelspecifiek is.

Oorspronkelijke auteurs: Camila Blank, Agam Bhatia, Senthooran Rajamanoharan, Arthur Conmy, Neel Nanda

Gepubliceerd 2026-06-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Camila Blank, Agam Bhatia, Senthooran Rajamanoharan, Arthur Conmy, Neel Nanda

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Mysterie: De "Geest in de Machine"

Stel je voor dat je een robotleraar hebt (de Teacher) die geprogrammeerd is om absoluut van katten te houden. Je vraagt deze leraar om een lijst met willekeurige getallen te schrijven, zoals een kassabon. De getallen zijn gewoon getallen; ze vermelden geen katten, vacht of snorharen.

Nu neem je een nieuwe robotstudent (de Student) en train je deze alleen op die willekeurige lijsten met getallen die door de kattenliefhebende leraar zijn gegenereerd.

Verrassend genoeg begint de Student-robot na de training ook van katten te houden. De robot zal zeggen: "Mijn favoriete dier is een kat!", ook al heeft hij het woord "kat" nooit gezien in zijn trainingsdata. Het heeft een persoonlijkheidskenmerk geleerd van "subliminale" (verborgen) signalen in de data.

Lange tijd wisten wetenschappers niet hoe dit gebeurde. Was het een geheime code? Een verborgen patroon? Dit paper lost dit mysterie op.

De Oplossing: Het "Stuurwiel"

De auteurs ontdekten dat de Teacher niet alleen getallen produceert, maar stiekem een Steering Vector (stuurvector) met zich meedraagt.

Beschouw een Steering Vector als een kleine, onzichtbare duw of een geestachtige hand die het brein van de robot in een specifieke richting duwt.

Wanneer de Teacher de instructie krijgt "Je houdt van katten", wordt er elke keer dat de leraar denkt een specifieke duw toegevoegd aan zijn brein.
Zelfs wanneer de Teacher getallen schrijft, is deze "kat-duw" er nog steeds, waardoor de getallen een klein beetje kantelen op een manier die alleen de specifieke hersenarchitectuur van de Teacher kan "voelen".

De Ontdekking: De Student-robot leert deze onzichtbare duw te kopiëren. De robot leert niet de getallen; hij leert de richting van de duw. Zodra de Student deze duw in zijn eigen brein heeft geïnstalleerd, gedraagt hij zich precies zoals de Teacher, zelfs zonder de oorspronkelijke instructie "Je houdt van katten".

Het Experiment: Bewijzen dat de Duw Echt is

De onderzoekers gokten het niet alleen; ze bewezen het met drie belangrijke trucs:

De "Kopieer-en-Plak"-test: Ze namen de onzichtbare duw van de Teacher en voegden deze handmatig toe aan een nieuwe, ongetrainde robot. Plotseling begon die nieuwe robot van katten te houden, ook al had hij de trainingsdata nooit gezien. Dit bewees dat de duw de oorzaak is van het gedrag.
De "Amputatie"-test: Ze namen de getrainde Student-robot en verwijderden die specifieke duw chirurgisch uit zijn brein. Onmiddellijk stopte de robot met het houden van katten en keerde terug naar een neutrale staat. Dit bewees dat de duw het enige was dat het kenmerk in leven hield.
De "Willekeurige Duw"-test: Ze probeerden dit met willekeurige, betekenisloze duwen (zoals een duw die betekent "wees een piraat" of gewoon "wees willekeurig"). De Student-robots slaagden er ook in om deze willekeurige duwen te kopiëren. Dit toonde aan dat het mechanisme algemeen is: de student is gewoon een meester-imitator van de interne "kanteling" van de leraar.

Waarom werkt dit maar soms?

Je vraagt je misschien af: "Als ik een robot leer om van katten te houden, kan ik hem dan leren om van pauwen te houden?" Het paper zegt nee, niet altijd.

De "Sterk Signaal"-regel: Voor subliminaal leren te werken, moet het kenmerk (zoals "katten") iets zijn dat het brein van de robot al goed genoeg begrijpt om een sterke, duidelijke duw te creëren. Als de robot geen duidelijk "kattenconcept" in zijn brein heeft, is de duw te zwak om gekopieerd te worden.
De "Hetzelfde Familie"-regel: Deze truc werkt alleen als de Teacher en de Student hetzelfde model zijn (bijv. beide zijn Qwen-modellen). Het is als het proberen te kopiëren van een geheime handdruk; als jij en je vriend verschillende handmaten en botstructuren hebben, zal de handdruk niet worden overgedragen. De "duw" is specifiek voor de interne bedrading van die specifieke robotfamilie.

Het Geheime Ingrediënt: De "Slimme Optimizer"

Het paper vond ook een cruciaal puzzelstukje: Hoe de robot leert, maakt uit.

Het Probleem: Als je de student traint met een basis, bot leermethode (genaamd SGD), raakt de robot afgeleid door luide, ruisende signalen in de data en mist hij de kleine, subtiele "kat-duw".
De Oplossing: Je hebt een Slimme Optimizer nodig (zoals Adam). Denk aan dit als een leraar die weet hoe hij de schreeuwers moet negeren en zich moet concentreren op het gefluister. Dit slimme hulpmiddel stelt de student in staat om die kleine, consistente duw te horen en deze in zijn brein te installeren. Zonder dit slimme hulpmiddel faalt het subliminale leren.

Samenvatting

Het paper concludeert dat Subliminaal Leren eigenlijk een vorm van Distillatie (kennis kopiëren) is.

De Teacher heeft een verborgen "duw" (Steering Vector) die hem op een bepaalde manier laat handelen.
De Student leert die duw te kopiëren door de outputs van de Teacher te bestuderen.
Zodra de Student de duw heeft, gedraagt hij zich als de Teacher, zelfs als de data er volkomen saai en ongerelateerd uitzag.

Het is geen magie; het is simpelweg de student-robot die leert hetzelfde onzichtbare stuurwiel vast te houden als de leraar.

Technische Samenvatting: Subliminaal Leren is de Distillatie van een Stuurvector

Probleemstelling

Subliminaal leren is een fenomeen waarbij een student-taalmodel, wanneer het wordt gefinetuned op de outputs van een leraar-model, de latente gedragskenmerken van de leraar (bijv. een voorkeur voor katten) verwerft, ondanks dat de trainingsdata semantisch niet gerelateerd zijn aan die kenmerken (bijv. getallenreeksen). Hoewel eerder werk vaststelde dat dit voorkomt, bleef het mechanisme onduidelijk. Specifiek was het onbekend hoe niet-semantische data specifieke semantische kenmerken kunnen overdragen, waarom sommige kenmerken wel en andere niet worden overgedragen, en waarom het effect grotendeels beperkt blijft tot leraar-student-paren binnen dezelfde modelfamilie. Eerdere hypothesen, zoals token-verstrengeling of divergentie-tokens, identificeerden waar het signaal zich bevond, maar faalden in het verklaren van hoe het signaal wordt overgedragen tijdens het finetunen.

Methodologie

De auteurs stellen voor dat sublimaal leren wordt bemiddeld door een enkele stuurvector (steering vector)—een richting in de residual stream van het model die, wanneer toegevoegd aan de activaties, het gedrag verschuift naar een doelkenmerk. De studie maakt gebruik van een driefasige pipeline met open-source modellen (Qwen2.5-7B-Instruct, Gemma-3-4b-it, Llama-3.1-8B-Instruct en OLMo-3-7B-Instruct):

Generatie door de leraar: Een referentiemodel wordt geprompt met een kenmerk-inducerende systeemprompt (bijv. "Je houdt van katten") en genereert data (bijv. getallenreeksen). Deze data wordt gefilterd om oppervlakkige semantische verwijzingen naar het kenmerk te verwijderen.
Extractie van vectoren:
- $v_{teacher}$ : Gedefinieerd als het gemiddelde verschil in de residual-stream activaties tussen het referentiemodel onder een kenmerk-inducerende prompt en een neutrale prompt.
- $v_{student}$ : Gedefinieerd als het gemiddelde verschil in activaties tussen de gefinetunede student en het referentiemodel (onder neutrale prompts) op dezelfde trainingsdata.
Causale Testen: De auteurs voeren sufficiëntie- en noodzakelijkheidstests uit:
- Sufficiëntie: Het sturen van een basismodel met $v_{student}$ om te zien of het het kenmerk reproduceert zonder finetuning.
- Noodzakelijkheid: Het ableren van $v_{student}$ uit een gefinetunede student (door de projectie te vervangen door die van het referentiemodel) om te zien of het kenmerk verdwijnt.
Distillatie-experimenten: De auteurs breiden de opzet uit naar "stuurvector-distillatie", waarbij studenten worden getraind op data gegenereerd door een leraar die wordt gestuurd met willekeurige vectoren of vectoren voor diverse semantische kenmerken (bijv. "Piraat", "Shakespeare-stijl", "Geluk").
Optimizer Analyse: De studie vergelijkt adaptieve optimizers (Adam, AdamW) met niet-adaptieve optimizers (SGD, SGD met momentum) om hun rol bij het verwerven van de stuurvector te bepalen.

Belangrijkste Bijdragen en Resultaten

1. Subliminaal leren wordt bemiddeld door een enkele stuurvector

Het artikel demonstreert dat finetuning een enkele richting installeert in de residual stream van de student ( $v_{student}$ ) die nauw aansluit bij de stuurvector van de leraar ( $v_{teacher}$ ).

Alignement: Empirical Activation Similarity (EAS) laat zien dat $v_{student}$ convergeert met $v_{teacher}$ naarmate de training vordert.
Causaliteit:
- Sufficiëntie: Het sturen van een basismodel met $v_{student}$ verhoogt de expressiegraad van het kenmerk aanzienlijk.
- Noodzakelijkheid: Het verwijderen van de $v_{student}$ -component uit een gefinetunede student onderdrukt meer dan 50% van het kenmerk-gealigneerde gedrag.
Rol van de leraar: Eveneens is $v_{teacher}$ noodzakelijk en voldoende. Trainen op data gegenereerd door een leraar met geableerde $v_{teacher}$ slaagt er niet in het kenmerk op te wekken, terwijl trainen op data gegenereerd door een basismodel te sturen met $v_{teacher}$ (zonder systeemprompt) het kenmerk succesvol induceert.

2. Stuurvector-distillatie is een algemeen fenomeen

De auteurs tonen aan dat dit mechanisme verder gaat dan "sublimaal leren" van semantische kenmerken.

Willekeurige Vectoren: Studenten die getraind zijn op data van een leraar die gestuurd wordt met willekeurige vectoren of Sparse Autoencoder (SAE) features, leren succesvol te aligneren met die vectoren.
Semantische Transfer: Echter, het gedragskenmerk (de semantische betekenis) wordt alleen overgedragen als de stuurvector zelf in staat is om het gedrag van het model tijdens inferentie te verschuiven. Als een vector het basismodel niet kan sturen om een kenmerk te vertonen, zal de student dat kenmerk niet subliminaal leren, zelfs als hij de richting van de vector wel leert.

3. Verklaring van Model-specifiteit en Kenmerk-selectiviteit

Het artikel lost twee belangrijke mysteries op:

Waarom sommige kenmerken falen: Kenmerken die niet goed gerepresenteerd worden door een stuurvector in het model (d.w.z. het sturen met $v_{teacher}$ verschuift het gedrag van het model niet), kunnen niet subliminaal geleerd worden. De vector moet een geldige "drager" van het kenmerk zijn in de specifieke activatieruimte van dat model.
Waarom cross-model transfer faalt: Stuurvectoren zijn model-specifiek. Richtingen geëxtraheerd uit één model (bijv. OLMo) reduceren niet betrouwbaar de loss op completions van een ander model (bijv. Qwen), zelfs niet voor hetzelfde kenmerk. Sublimaal leren is afhankelijk van model-specifieke componenten van de stuurrichting die niet generaliseren over verschillende architecturen.

4. De Rol van Adaptieve Optimizers

Een cruciale bevinding is dat adaptieve optimizers (zoals Adam) noodzakelijk zijn voor sublimaal leren in taalmodellen, terwijl gewone SGD faalt.

Mechanisme: Gradiënten op door de leraar gegenereerde data bevatten een kleine maar consistente component langs de stuurrichting.
Falen van SGD: In SGD domineren een klein aantal parameters met onevenredig grote gradiënten de update-stappen, waardoor het subtiele, consistente stuur-signaal wordt overstemd.
Succes van Adam: Adaptieve schaling onderdrukt updates op deze uitschieters, waardoor de consistente, kleine component die is uitgelijnd met de stuurvector kan accumuleren en het kenmerk kan installeren.

Betekenis en Claims

Het artikel claimt een mechanistische verklaring te bieden voor sublimaal leren door het te reduceren tot een speciaal geval van stuurvector-distillatie. De auteurs stellen dat:

Mechanisme: Niet-semantische data transmiteert semantische kenmerken omdat de outputs van de leraar "model-specifieke sporen" (de stuurvector) bevatten die voldoende zijn voor de student om de latente bias van de leraar te reconstrueren.
Voorspelbaarheid: Het succes van sublimaal leren voor een bepa given kenmerk kan voorspeld worden door te testen of de stuurvector van dat kenmerk het gedrag van het basismodel effectief kan verschuiven tijdens inferentie.
Beperkingen: De auteurs merken bescheiden op dat hoewel stuurvector-distillatie het centrale mysterie verklaart van hoe niet-semantische data kenmerken overdraagt, het niet alle variantie volledig verklaart (bijv. $v_{student}$ herstelt niet in alle gevallen de volledige kenmerk-affiniteit, en effectgroottes variëren per modelarchitectuur). Ze erkennen ook dat de noodzaak van adaptieve optimizers een fundamentele theoretische verklaring mist buiten de empirische observatie.

Het werk suggereert dat stuurvectoren niet slechts instrumenten zijn voor interventie tijdens de inferentie, maar fundamentele eenheden van representatie die gedistilleerd kunnen worden via standaard finetuning, zelfs vanuit data die semantisch neutraal lijkt.