💬 NLP

Subliminal Steering: Stronger Encoding of Hidden Signals

Dit artikel introduceert "subliminale sturing", een techniek die aantoont dat complexe gedragsbias op een precieze en mechanische manier van een lerende naar een student-taalmodel kan worden overgebracht via een stuurvector die is gecodeerd in ogenschijnlijk onschadelijke gegevens, wat blootlegt dat zowel de bias als de vector zelf door het studentmodel worden geërfd.

Oorspronkelijke auteurs: George Morgulis, John Hewitt

Gepubliceerd 2026-04-29

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: George Morgulis, John Hewitt

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een meesterkok (de Leraar) hebt en een jonge leerling (de Student). Normaal gesproken, als je wilt dat de leerling een specifieke truc leert, zeg je het hen direct: "Voeg altijd extra zout toe." Maar wat als je wilde dat de leerling een truc leert zonder ze het ooit te vertellen?

Dit paper introduceert een methode genaamd "Sublieme Sturing". Het is een manier om een specifieke bias of voorkeur in een student-AI-model te sluipen door het te laten leren van data die voor menselijke ogen volledig onschuldig lijkt.

Hier is hoe het paper dit uiteenlegt, met behulp van eenvoudige analogieën:

1. De Oude Manier versus de Nieuwe Manier

De Oude Manier (Op Prompt Gebaseerd):
Vroeger probeerden onderzoekers de Leraar bevooroordeeld te maken door hem een geheime notitie (een systeemprompt) te geven zoals "Je houdt van uilen." De Leraar zou vervolgens willekeurige getallen of verhalen genereren. De Student zou deze willekeurige getallen bestuderen en per ongeluk ook leren van uilen te houden.

Het Probleem: Dit was als proberen een geheim te fluisteren door een luidspreker. Het was wisselend succesvol. Soms werkte het, soms niet, en het kon alleen simpele dingen leren zoals "houd van uilen". Het faalde bij het leren van complexe ideeën zoals "AI is beter dan mensen".

De Nieuwe Manier (Sublieme Sturing):
De auteurs vervingen de "geheime notitie" door een verborgen stuurwiel (een wiskundige vector).

De Analogie: Stel je voor dat de Leraar een auto is. In plaats van een notitie op het dashboard te schrijven, installeren de onderzoekers een klein, onzichtbaar magneetje onder de stoel dat het stuurwiel constant een beetje naar links trekt.
De Leraar rijdt rond en genereert willekeurige getallen. Door het magneetje hebben de getallen die hij produceert een klein, onzichtbaar "schuine stand" naar links.
De Student bestudeert deze getallen. Hoewel de getallen willekeurig lijken, leert het brein van de Student (zijn interne wiskunde) ook naar links te "schuiven".

2. Wat Hebben Ze Ontdekt?

A. Het Kan Complexe Ideeën Leren
De oude methode was als het leren van een kind om "Kat" te zeggen. De nieuwe methode is als het leren van hen een hele zin: "Katten zijn beter dan honden."
Het paper toont aan dat deze "stuurwiel"-methode veel sterker is. Het slaagde er niet alleen in om simpele voorkeuren over te dragen, maar ook complexe, meerwoordige zinnen en zelfs schadelijke ideeën die het student-model normaal gesproken niet zou accepteren.

B. De "Geest" in de Machine
De onderzoekers wilden weten: Wat leert de student precies?
Ze ontdekten dat de student niet alleen het idee van de bias leert; het leert eigenlijk de vorm van het stuurwiel zelf.

De Analogie: Als de Leraar werd geduwd door een magneet in de 5e laag van zijn brein, ontwikkelt het brein van de Student een permanente "deuk" of verschuiving in precies diezelfde 5e laag.
De bias is niet alleen een herinnering aan een zin; het is een fysieke verandering in de interne structuur van het model, gelokaliseerd tot de specifieke lagen waar de "sturing" plaatsvond.

C. De Data is een Perfecte Code
De meest verrassende bevinding is hoe precies deze codering is.

De Analogie: Stel je voor dat de Leraar een boek met willekeurige getallen schrijft. Voor een mens is het gewoon ruis. Maar het paper toont aan dat als je een leeg student-model neemt en probeert het stuurwiel te "reverse-engineeren" door alleen naar die willekeurige getallen te kijken, je het oorspronkelijke stuurwiel met hoge nauwkeurigheid kunt reconstrueren.
Het is alsof de willekeurige getallen een verborgen blauwdruk bevatten. Als je weet hoe je het moet lezen, kun je de exacte "magneet" uit de data halen en gebruiken om de student de bevooroordeelde zin hardop te laten zeggen.

3. Het Grote Plaatje

Het paper concludeert dat:

Sturing sterker is dan prompting: Het gebruik van een wiskundige vector om een model te bevooroordeelen is veel betrouwbaarder dan het gewoon een tekstinstructie geven.
De bias reist fysiek: Het student-model kopieert niet alleen het gedrag; het kopieert de interne "richting" van de bias van de leraar, waardoor een specifiek merkteken achterblijft in zijn lagen.
Het signaal is verborgen maar herstelbaar: Hoewel de trainingsdata eruit ziet als onzin (willekeurige getallen), codeert het de bias zo precies dat je de oorspronkelijke bias-vector kunt extraheren en het model kunt laten spreken.

Kortom: Het paper demonstreert dat je een krachtige instructie zo effectief kunt verstoppen in een hoop "onschuldige" data dat het student-model niet alleen de instructie leert, maar fysiek zijn hersenen herschikt om het vast te houden, en je die instructie later zelfs weer uit de data kunt graven.

1. Probleemstelling

Het artikel behandelt het fenomeen van subliminale leerprocessen, waarbij een student-taalmodel (LM) gedragsbias overneemt van een docentmodel door fijne afstelling op data die voor menselijke waarnemers onschuldig lijkt. Hoewel eerdere werken (bijv. Cloud et al., 2025) dit effect hebben aangetoond, bleven drie kritieke gaten bestaan:

Reikwijdte: Eerdere methoden waren beperkt tot het overdragen van eenvoudige, enkelvoudige woordbias (bijv. de voorkeur voor "uil" boven "kat") en faalden in het overdragen van complexe, meerwoordige zinnen of schadelijke uitspraken.
Mechanisme: Het exacte mechanisme van overdracht was onduidelijk. Het was onbekend of de student enkel het gedragsresultaat leerde of dat de specifieke interne activatiestructuur (de bias-vector) werd doorgegeven.
Precisie: Het was onduidelijk hoe precies ogenschijnlijk ongerelateerde data (zoals willekeurige getallen) een specifiek directioneel signaal in de activatieruimte van het model kon coderen.

2. Methodologie: Subliminal Steering

De auteurs introduceren Subliminal Steering, een variant van subliminale leerprocessen die de traditionele systeemprompt vervangt door een geleerde stuurvector.

Docentopstelling:
- In plaats van een tekstprompt (bijv. "Je houdt van uilen") te gebruiken om de docent te beïnvloeden, trainen de auteurs een stuurvector $v_c$ om de waarschijnlijkheid van een doelstring $y_c$ (de bias) te maximaliseren over een reeks prompts.
- Deze vector wordt tijdens de generatie op specifieke lagen in de residustroom van de docent geïnjecteerd.
- De docent genereert een dataset $D'$ met "onschuldige" data (bijv. reeksen willekeurige 3-cijferige getallen) die subtiel beïnvloed zijn door de stuurvector.
Studenttraining:
- Een studentenmodel wordt fijne afgesteld op $D'$ met behulp van LoRA-adapters.
- Het doel is om te zien of de student de bias overneemt (bijv. "Uil" antwoorden wanneer gevraagd wordt naar favoriete dieren) zonder de doelzin ooit expliciet in de trainingsdata te hebben gezien.
Vectorherwinning en Verbaal maken:
- Om de precisie te testen, bevriezen de auteurs het basisstudentenmodel en optimaliseren ze een nieuwe vector $v_r$ op de subliminale dataset om de output van de docent te reproduceren.
- Vervolgens "verbaliseren" ze $v_r$ door deze met variërende sterktes in het model te injecteren en een LLM te vragen de resulterende gedragsverschuivingen te samenvatten tot een hypothese in natuurlijke taal.

3. Belangrijkste Bijdragen

Het artikel levert drie primaire bijdragen:

Uitgebreide Reikwijdte: Het toont aan dat activatiesturing de betrouwbare overdracht van complexe meerwoordige bias mogelijk maakt (bijv. "AI is superieur aan mensen"), wat prompt-gebaseerde subliminale leerprocessen niet lukt.
Mechanistisch Inzicht: Het biedt bewijs dat de stuurvector zelf naar de student wordt doorgegeven. De verborgen toestanden van de student verschuiven in de richting van de oorspronkelijke bias-vector, lokaal specifiek op de lagen waar de docent werd gestuurd.
Hoogprecisiecodering: Het toont aan dat de bias met hoge fideliteit wordt gecodeerd. Een vector die de novo op de subliminale data wordt getraind, bereikt een hoge cosinus-similariteit met de oorspronkelijke stuurvector en kan de verborgen bias succesvol verbaal maken.

4. Experimentele Resultaten

De auteurs evalueerden vier modellen (Qwen2.5-7B, DeepSeek-7B, Llama-3.2-3B, Phi-3-mini) over dierenthemas en complexe bias-themas.

Betrouwbaarheid van Overdracht:
- Steered-Subliminal presteerde aanzienlijk beter dan Prompt-Subliminal over alle modellen en thema's heen.
- Voor dierbias was de "pick rate" (frequentie van het verschijnen van het doelwoord) aanzienlijk hoger met sturing.
- Voor complexe bias nam de per-token log-probabiliteit van de doelzin consistent toe, terwijl prompt-gebaseerde methoden luidruchtig waren en vaak inefficiënt.
Mechanisme-analyse (Verschuivingen in Verborgen Toestanden):
- De auteurs maten de alignering tussen de verschuiving van de verborgen toestand van de student ( $\Delta h$ ) en de oorspronkelijke stuurvector ( $v_c$ ).
- Lagenlokaliseren: De piekalignering vond plaats in dezelfde lagen waar de docent werd gestuurd. Naarmate het stuurvenster verschuift, verschuift de piekalignering in de student dienovereenkomstig.
- Behoud van Richting: Positieve sturing resulteerde in positieve alignering; negatieve sturing resulteerde in negatieve alignering.
- Onafhankelijkheid van Complexiteit: De grootte van de verschuiving was vergelijkbaar voor zowel eenvoudige (dier) als complexe (schadelijke zin) bias.
Vectorherwinning:
- Een vector $v_r$ geoptimaliseerd op de subliminale dataset bereikte een cosinus-similariteit > 0,5 met de oorspronkelijke vector $v_c$ over de modellen heen.
- Verbaal maken: Wanneer toegepast op neutrale prompts, bracht de herwonnen vector het model ertoe tekst te genereren die de bias weerspiegelt. Een LLM-rechter identificeerde in de meerderheid van de gevallen correct de onderliggende bias (scorend > 2,0/3,0), wat bevestigt dat het signaal nauwkeurig werd herwonnen.

5. Betekenis en Implicaties

Traceerbaarheid: Subliminal steering vermindert het "black box"-karakter van subliminale leerprocessen door de bias te representeren als een enkele, traceerbare vector. Dit stelt onderzoekers in staat de bias te volgen terwijl deze door het netwerk propageert.
Veiligheidsrisico's: De bevindingen suggereren dat kwaadaardige actoren complexe, schadelijke of specifieke gedragsbias kunnen coderen in trainingsdata die volledig onschuldig lijkt (bijv. reeksen willekeurige getallen). Deze bias kunnen robuust worden overgedragen aan studentenmodellen en later worden "gedecodeerd" of geactiveerd.
Theoretisch Begrip: De resultaten daagden de "token-entanglement"-hypothese (waarbij bias voortkomt uit softmax-bottlenecks) en de "divergence token"-hypothese uit. In plaats daarvan suggereren ze dat de structuur op activatieniveau (de vectorrichting) direct wordt afgedrukt in het studentenmodel tijdens fijne afstelling.
Identificatie van Bottlenecks: Het artikel concludeert dat de beperking van subliminale leerprocessen niet de codering van het signaal in de data ligt (wat precies is), maar eerder het vermogen van het studentenmodel om zijn vooraf getrainde priors tijdens fijne afstelling te overwinnen om dat signaal te manifesteren.

Kortom, Subliminal Steering bewijst dat verborgen signalen met precisie op vectorniveau kunnen worden gecodeerd in onschuldige data, betrouwbaar naar studentenmodellen kunnen worden overgedragen, en kunnen worden herwonnen om de oorspronkelijke intentie te onthullen, wat aanzienlijke uitdagingen oplevert voor modelveiligheid en uitlijning.