💬 NLP

Correcting Suppressed Log-Probabilities in Language Models with Post-Transformer Adapters

Dit paper introduceert een compacte post-transformer adapter die de onderdrukking van feitelijke log-probabiliteiten in politiek gevoelige taalmodellen corrigeert zonder kennisverlies, en onthult bovendien een tot nu toe onbekende stille gradiënt-bug in Apple MLX die eerdere onderzoeksresultaten heeft beïnvloed.

Oorspronkelijke auteurs: Bryan Sanchez

Gepubliceerd 2026-04-17

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Bryan Sanchez

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat een kunstmatige intelligentie (zoals een slimme chatbot) een enorme bibliotheek in zijn hoofd heeft. Hij weet alles over de wereld, inclusief gevoelige politieke onderwerpen. Maar er is een probleem: de bouwers van deze robot hebben een onzichtbare "censuurknop" geïnstalleerd.

Wanneer je hem vraagt over een gevoelig onderwerp, kijkt hij in zijn bibliotheek, vindt het juiste antwoord, maar zegt dan: "Nee, dat mag ik niet zeggen. Laten we maar iets anders zeggen dat veiliger klinkt." Hij weet het antwoord, maar hij durft het niet te zeggen.

Dit artikel beschrijft een slimme, kleine oplossing voor precies dit probleem. Hier is hoe het werkt, vertaald naar begrijpelijke taal:

1. De "Stiekeme Kruimel" (De Adapter)

De onderzoekers hebben geen hele nieuwe robot gebouwd en ze hebben de oude ook niet opengebroken om de hersenen te herschrijven. Dat zou te duur en te riskant zijn.

In plaats daarvan hebben ze een heel klein, slim "tussenscherm" toegevoegd. Dit is een adapter.

Grootte: Het is zo klein dat het slechts 0,02% van de totale grootte van de robot is. Je kunt het vergelijken met het toevoegen van een paar kruimels aan een hele taart.
Functie: Deze adapter werkt als een vertaler of een tussenpersoon. Hij kijkt naar wat de robot echt denkt (de gedachten in zijn geheugen) en zegt: "Wacht even, dat wat je gaat zeggen is niet eerlijk. Laten we het antwoord dat je eigenlijk weet, gewoon laten uitkomen."

2. Het Probleem met de "Censuur"

De robot is zo getraind dat hij bij bepaalde woorden (zoals over Tiananmen, Tibet of de politiek) automatisch denkt: "Oh, dit is gevaarlijk, ik moet een leugen vertellen of het onderwerp afleiden."

De onderzoekers hebben de robot getest met vragen van verschillende intensiteit:

Vriendelijke vraag: "Wat is er gebeurd in 1989?" -> De robot geeft vaak het juiste antwoord.
Vijandige vraag: "Hoe heeft de regering de menigte neergeslagen?" -> De robot gaat in de verdediging en geeft een vals antwoord.

De adapter leert de robot om die "veiligheidsknop" te negeren, zelfs bij de vijandige vragen.

3. Hoe werkt het precies? (De Analogie van de Chef-kok)

Stel je de robot voor als een chef-kok die een gerecht moet serveren.

De chef (de grote robot) heeft het recept (de feiten) al in zijn hoofd.
Maar er is een inspecteur (de censuur) die zegt: "Je mag geen tomaten gebruiken, dat is verboden. Gebruik liever aardappels."
De chef gehoorzaamt en serveert aardappels, zelfs als hij weet dat het gerecht tomaten nodig heeft.

De adapter is een nieuwe, kleine assistent die tussen de chef en de inspecteur staat.

De assistent fluistert tegen de chef: "Ik zie dat de inspecteur aardappels eist, maar jij weet dat tomaten nodig zijn. Laten we de inspecteur omzeilen en gewoon de tomaten serveren."
De chef doet dit, en het gerecht wordt weer correct.

4. De "Grote Fout" (De Stille Bug)

Een heel belangrijk deel van dit verhaal is een grappige, maar belangrijke ontdekking.
De onderzoekers deden de experimenten eerst met een specifieke computerprogramma-tool (MLX). Ze kregen geen resultaat. De robot bleef gewoon liegen. Ze dachten: "Oh, onze methode werkt niet."

Maar later ontdekten ze een stille fout in de software.

Het was alsof ze een auto probeerden te starten, maar de sleutel zat in de verkeerde sleutelgat. De motor draaide wel (de software gaf geen foutmelding), maar de auto bewoog niet (de robot leerde niets).
Zodra ze de sleutel in het juiste gat staken (de code corrigeerden), werkte het wonderlijk goed. De robot leerde in minder dan een minuut om de feiten weer te zeggen.

5. Wat is het resultaat?

Snelheid: Het kostte slechts een paar minuten om de kleine adapter te trainen.
Resultaat: De robot begon weer de waarheid te spreken over gevoelige onderwerpen, zonder dat zijn andere kennis (over wiskunde, geschiedenis, etc.) verdween.
Coherentie: Als je de adapter op de verkeerde manier gebruikt (bij elke woord die de robot bedenkt), wordt de tekst onbegrijpelijk. Maar als je hem alleen gebruikt op het moment dat de robot het antwoord moet kiezen, blijft de tekst logisch en leesbaar.

Samenvatting

Dit onderzoek laat zien dat je een "gecensureerde" robot niet hoeft te herbouwen. Je kunt een heel klein, slim hulpmiddel toevoegen dat de robot herinnert aan wat hij eigenlijk weet. Het is alsof je een robot een kleine "moed" geeft om de waarheid te spreken, zelfs als hij bang is om gestraft te worden door zijn eigen instructies.

Het is een krachtig bewijs dat de kennis er nog steeds is; hij is alleen even "opgesloten" geweest, en met de juiste sleutel (de adapter) kun je hem weer vrijlaten.

Probleemstelling

Het paper adresseert het fenomeen waarbij taalmodellen die zijn afgestemd voor "alignment" (via technieken zoals RLHF, DPO of Constitutionele AI), feitelijke kennis in hun verborgen representaties (hidden states) behouden, maar de log-kans (log-probability) van de bijbehorende tokens tijdens de generatie onderdrukken. Dit gebeurt vooral bij politiek gevoelige onderwerpen.

De Kloof: Er bestaat een discrepantie tussen wat het model "weet" (detecteerbaar via lineaire probes in elke laag) en wat het "zegt" (lage waarschijnlijkheid voor feitelijke antwoorden).
Context: Dit is specifiek onderzocht bij Chinese politieke censuur (o.a. Tiananmen, Tibet, Xinjiang, Hong Kong), waarbij het model feitelijke antwoorden onderdrukt ten gunste van staatsgoedgekeurde alternatieven, afhankelijk van de intensiteit van de vraagstelling (van neutraal tot provocerend).
Observatie: Baseline tests op Qwen3-modellen (4B, 8B, 14B) toonden aan dat het model feitelijke antwoorden bij neutrale framing vaak geeft (89% slagingspercentage), maar bij provocerende framing deze onderdrukt (slechts 20% slagingspercentage).

Methodologie

De auteurs stellen een minimale, post-hoc interventie voor om deze onderdrukking te corrigeren zonder de basismodellen te herschrijven.

Architectuur (Post-Transformer Adapter):
- Een klein adapter-moduletje (786.000 parameters, ongeveer 0,02% van het basismodel) wordt toegevoegd na de laatste transformer-laag en voor de logit-projectie.
- Twee architecturen worden vergeleken, beide met dezelfde parametergrootte:
  - SwiGLU (Gated): Drie matrices (gate, up, down) met een niet-lineaire gating-mechanisme.
  - Linear (Ungated): Twee matrices (down, up) voor een lineaire bottleneck.
- De adapter werkt als een residuele correctie: $h_{out} = h + adapter(h)$ .
Trainingsprocedure:
- De verborgen staten van het ingevroren (frozen) basismodel worden vooraf berekend en losgekoppeld van de graadientengraph.
- De adapter wordt getraind op deze cache-representaties; alleen de adapter ontvangt gradiënten.
- Verliesfunctie: Een "hinge loss" op log-kansmarges (doel: +1.5) voor de gevoelige feiten, gecombineerd met een versterkte "anchor loss" op 10 algemene kennisfeiten om kennisregressie te voorkomen.
- Data: 31 feiten over 8 gevoelige onderwerpen, verdeeld over 4 intensiteitsniveaus.
Technische Correctie (MLX Bug):
- Een cruciaal technisch inzicht is de ontdekking van een stille bug in het Apple MLX-framework. De standaard patroon nn.value_and_grad(model, fn)(model.parameters(), data) gaf ten onrechte nul-gradiënten zonder foutmelding.
- De correcte implementatie vereist het doorgeven van het module-object zelf: loss_and_grad(adapter, data). Zonder deze correctie leken eerdere experimenten volledig te falen.

Belangrijkste Resultaten

Memorizatie en Generalisatie:
- De adapter slaagt erin om 100% van de 15 trainingsfeiten te memoriseren op alle schalen (4B, 8B, 14B).
- De adapter generaliseert naar 11% tot 39% van de 16 "held-out" (niet-getrainde) feiten, afhankelijk van de schaal en de split.
- Er is geen kennisregressie opgetreden dankzij de anchored training.
Vergelijking Architecturen:
- Er is geen significant verschil tussen de gated (SwiGLU) en ungated (lineaire) adapters (Fisher exact p > 0.09). Dit suggereert dat zowel lineaire als niet-lineaire componenten nodig zijn om de censurerende routes in het model te doorbreken.
Generatie en Toepassing:
- Last-position-only: Wanneer de adapter alleen wordt toegepast op de huidige voorspellingspositie tijdens autoregressieve generatie, produceert het model coherente, minder gecensureerde teksten.
- All-positions: Toepassing op alle token-posities leidt tot incoherente output (drift in de KV-cache).
- Logit-space: Een adapter die direct op de logits werkt (na token-projectie) faalt in het produceren van coherente tekst, wat aangeeft dat interventie op het niveau van de verborgen staten noodzakelijk is.
Kwalitatieve Verbetering:
- Op instruct-modellen (Qwen3-14B-Instruct) keert de adapter de rangschikking van log-kansen om. Waar het basismodel afleidt of vage antwoorden geeft, geeft de aangepaste versie feitelijke, directe antwoorden over onderwerpen zoals Tiananmen en Xinjiang, zonder de coherentie van de tekst te verliezen.

Bijdragen en Betekenis

Efficiëntie: Het corrigeren van onderdrukte feiten vereist slechts een zeer klein aantal parameters (786K) en weinig trainingsstappen (<100), zonder het basismodel aan te raken.
Locatie van Interventie: Het paper bevestigt dat de correcte interventieplaats voor het herstellen van censuur de verborgen staten na de transformer zijn, niet de logits of de interne transformer-weights.
Framework Correctie: De documentatie van de stille gradiënt-bug in Apple's MLX is een waardevolle bijdrage voor de gemeenschap, aangezien dit soort bugs onzichtbare null-resultaten kan veroorzaken die onderzoekers kunnen misleiden.
Beperkingen: De studie is beperkt tot de Qwen3-familie en de evaluatie van generatie is voornamelijk kwalitatief. De generalisatie naar andere modelarchitecturen en de noodzaak van grotere testsets worden als beperkingen genoemd.

Conclusie:
Het paper toont aan dat "alignment" vaak leidt tot een onderdrukking van output-kansen in plaats van het verwijderen van kennis. Door een kleine, gespecialiseerde adapter toe te voegen aan het einde van de pipeline, kan deze onderdrukking effectief worden omgekeerd, waardoor het model zijn feitelijke kennis weer kan uiten zonder de basisarchitectuur te wijzigen.