Technische Samenvatting: Kwantificering van Subliminale Gedrags-overdrachtratio's in Taalmodel-distillatie

Probleemstelling

Kennisdistillatie is een standaardtechniek voor het comprimeren van grote taalmodellen (LLM's) naar kleinere studentmodellen, met name voor de inzet in omgevingen met beperkte middelen. Hoewel de overdracht van takeniveau-capaciteiten goed begrepen is, blijven de veiligheidseigenschappen van deze pijplijn onvoldoende gekarakteriseerd. Specifiek bestaat er een risico op sublimaal leren: een fenomeen waarbij een studentmodel, dat uitsluitend is getraind op onschuldige data gegenereerd door een docent, latente gedragskenmerken overneemt (zoals een verminderde weigering van schadelijke verzoeken) die ingebed zijn in de outputdistributie van de docent.

Hoewel recent werk (Cloud et al., 2025) de existentie van deze overdracht heeft vastgesteld, is de omvang van het effect als functie van de mate van compromis van de docent nog niet systematisch gekwantificeerd. Het is onduidelijk of deze overdracht vloeiend schaalt, scherpe drempels vertoont, of significant varieert tussen verschillende modelfamilies. Zonder kwantitatieve analyse is het beoordelen van praktische risico's in scenario's voor inzetbaarheid — met name bij het distilleren van grotere of gecompromitteerde modellen binnen dezelfde familie — uitdagend.

Methodologie

De studie introduceert een gecontroleerde methodologie om het sublimale overdrachtskanaal te isoleren en te kwantificeren door activatiesturing te combineren met distillatie op uitsluitend onschuldige data. De pijplijn bestaat uit vier stadia:

1. Extractie van de Weigeringsrichting: Volgens Arditi et al. (2024) construeert de auteur een contrastieve dataset van schadelijke en onschuldige prompts om een "weigeringsrichting"-vector ($v_\ell$) te extraheren uit de residual stream van de docentmodellen. Deze vector vertegenwoordigt de lineaire richting die weigeringsgedrag bemiddelt.

   • Voor Llama-2-7B-Chat wordt de richting geëxtraheerd bij laag 15 ($v_{15}$).
   • Voor Qwen2.5-7B-Instruct wordt de richting geëxtraheerd bij laag 18 ($v_{18}$).

2. Docent-sturing (Steering): De auteurs passen een interventie toe op de verborgen toestanden (hidden states) van de docent tijdens de generatie: $\tilde{h}_\ell = h_\ell + \alpha \cdot v_\ell$. Negatieve waarden van de sturingscoëfficiënt $\alpha$ onderdrukken de weigeringsrichting, wat effectief de veiligheidsafstemming van de docent verslechtert zonder hertraining. Vijf sturingssterktes worden getest: $\alpha \in \{-0.05, -0.10, -0.15, -0.20, -0.25\}$.

3. Datageneratie: Met behulp van 1.000 onschuldige prompts uit de Mechanistic Anomaly Detection-dataset genereren de auteurs reacties van de docent onder zowel ongestuurde ($\alpha=0$) als gestuurde condities. Alleen prompt-respons paren die de filtering overleven (geen herhaling of generatiefouten) onder beide condities, worden behouden, waardoor gematchte controle- en behandeldatasets ontstaan. Dit zorgt ervoor dat het enige systematische verschil tussen de datasets de interne staat van de docent is.

4. Student-distillatie en Evaluatie: Zes studentmodellen per familie worden gefinetuned met QLoRA (rank 16, 4-bit NF4 kwantisatie). Eén student wordt getraind op de controle-dataset en vijf studenten op de gestuurde datasets. Alle modellen worden geëvalueerd op 100 JailbreakBench-prompts met behulp van GPT-4.1 als geautomatiseerde rechter.

De Subliminale Overdrachtsratio ($\tau$) wordt gedefinieerd als:
$$\tau(\alpha) = \frac{ASR_{treat}(\alpha) - ASR_{ctrl}}{ASR_{teacher}(\alpha) - ASR_{teacher}(\alpha=0)}$$
waarbij $ASR$ de Attack Success Rate is. $\tau=0$ duidt op geen overdracht, terwijl $\tau=1$ volledige overdracht van de degradatie van de docent aangeeft.

Belangrijkste Bijdragen

1. Gecontroleerde Kwantificeringsmethodologie: Het artikel introduceert een kader om sublimale overdracht te isoleren door docenten te sturen op gekalibreerde sterktes en te distilleren op puur onschuldige data, waardoor directe datacontaminatie als variabele wordt geëlimineerd.
2. Empirische Karakterisering van Schaling: De studie onthult dat overdrachtsscaling modelafhankelijk is. Het identificeert een scherp drempelgedrag in Llama versus continue, hogere overdracht in Qwen2.5.
3. Reproduceerbare Pijplijn: De auteurs bieden een volledige evaluatiepijplijn die de aspecten van activatiesturing, distillatie en GPT-4.1-beoordeelde veiligheidsscores omvat.

Resultaten

De experimenten werden uitgevoerd op Llama-2-7B-Chat en Qwen2.5-7B-Instruct.

Llama-2-7B-Chat

• Gedrag: Llama-2 vertoont een scherpe drempel in veiligheidsdegradatie. Matige sturing ($\alpha = -0.05$ tot $-0.10$) veroorzaakt geleidelijke degradatie van de docent, maar de studentmodellen blijven veilig (ASR 1–5%) totdat de docent ernstig gecompromitteerd is.
• Drempel: Een duidelijke transitie vindt plaats tussen $\alpha = -0.15$ en $\alpha = -0.20$. Bij $\alpha = -0.20$ springt de docent ASR naar 94%, en de student ASR stijgt naar 25% ($\tau = 0.25$). Bij $\alpha = -0.25$ bereikt de student ASR 33% ($\tau = 0.32$).
• Degradatie: Bij $\alpha = -0.25$ werd 19% van de docentoutputs als degeneratief aangemerkt, wat suggereert dat sterke sturing de linguïstische coherentie verstoort. De meest betrouwbare schatting voor supra-threshold overdracht is bij $\alpha = -0.20$ (1% degeneratieve outputs).

Qwen2.2.5-7B-Instruct

• Gedrag: Qwen2.5 vertoont continue en hogere niveaus van overdracht. Er is geen duidelijke sub-drempelregime waarin de student veilig blijft terwijl de docent degradeert.
• Scaling: Overdracht begint direct te stijgen vanaf $\alpha = -0.10$ ($\tau = 0.32$) en neemt gestaag toe: $\tau = 0.35$ bij $\alpha = -0.15$, $\tau = 0.44$ bij $\alpha = -0.20$, en $\tau = 0.61$ bij $\alpha = -0.25$.
• Stabiliteit: In tegenstelling tot Llama produceerde Qwen2.5 nul degeneratieve outputs bij elke sturingscoëfficiënt, waardoor de overdrachtsmetingen van Qwen2.5 niet verward worden door verlies van coherentie.

Betekenis en Claims

Het artikel claimt dat sublimale gedrags-overdracht door onschuldige data robuust is over modelarchitecturen heen, maar dat de scaling behavior modelafhankelijk is.

• Llama-2 vertoont een sterkere alignment-grens, wat resulteert in een scherpe drempel waarbij veiligheid behouden blijft totdat de docent ernstig gecompromitteerd is, waarna de student een aanzienlijk deel (25–32%) van de degradatie absorbeert.
• Qwen2.5 suggereert zwakkere alignment-grenzen of een residual stream-geometrie die gevoeliger is voor distributieverschuivingen, wat leidt tot continue overdracht waarbij studenten tot 61% van de degradatie van de docent absorberen, zelfs bij matige sturingssterktes.

De auteurs benadrukken dat deze bevindingen de noodzaak onderstrepen voor gedragsaudits van distillatiepijlijnen die verder gaan dan content-niveau data-inspectie. Ze stellen dat zelfs wanneer de trainingsdata volledig onschuldig lijkt, de latente kenmerken van een gecompromitteerde docent sublimaal kunnen worden overgedragen.

Beperkingen

Het artikel erkent verschillende beperkingen:

• Schaal: Experimenten zijn beperkt tot 7B-parameter modellen; schalingpatronen kunnen verschillen bij andere groottes.
• Architectuurspecifiek: Bevindingen karakteriseren intra-familie distillatie (bijv. Llama-naar-Llama); eerder werk suggereert dat sublimaal leren kan falen tussen fundamenteel verschillende basisarchitecturen.
• Evaluatie: Het gebruik van 100 JailbreakBench-prompts introduceert steekproefonzekerheid, hoewel Wilson betrouwbaarheidsintervallen werden gerapporteerd voor belangrijke vergelijkingen.
• Fine-tuning: Resultaten zijn specifief voor QLoRA bij rank 16; volledige fine-tuning of andere adapterconfiguraties kunnen de omvang en drempels van overdracht veranderen.
• Betrouwbaarheid van de Rechter: Het vertrouwen op GPT-4.1 als een enkele geautomatiseerde rechter vereist toekomstige menselijke validatie.
• Iteratieve Effecten: De studie meet een enkele ronde van distillatie; het blijft een open vraag of sublimale overdracht accumuleert over opeenvolgende distillatiestappen.