Watch the Weights: Unsupervised monitoring and control of fine-tuned LLMs

Titel: Watch the Weights: Onbewaakte monitoring en controle van fijngetuneerde LLM's

Auteurs: Ziqian Zhong en Aditi Raghunathan (Carnegie Mellon University)
Conferentie: Geaccepteerd bij ICLR 2026

---

1. Het Probleem

De beschikbaarheid van krachtige open-weight Large Language Models (LLM's) zoals Llama, Qwen en DeepSeek is toegenomen, maar deze worden zelden vergezeld door toegang tot hun volledige trainingsdata. Bestaande interpretatiemethoden, vooral die gebaseerd op activaties (zoals Sparse Autoencoders of PCA), vereisen doorgaans een dataset die distributief gelijk is aan de trainingsdata om anomalieën te detecteren.

Dit vormt een kritieke beperking bij het opsporen van nieuwe bedreigingen zoals:

• Backdoors: Specifieke triggers die de veiligheidsmechanismen van een model omzeilen. Deze triggers zijn per definitie out-of-distribution (buiten de normale trainingsverdeling) en komen zelden voor in proxy-datasets.
• Unlearning: Het proces waarbij modellen "vergeten" moeten worden over specifieke onderwerpen. Het is moeilijk te verifiëren of deze kennis daadwerkelijk is verwijderd zonder de oorspronkelijke data.

De centrale vraag is: Kunnen we open-weight modellen begrijpen en bewaken zonder toegang tot hun trainingsverdeling?

2. Methodologie: WeightWatch

De auteurs introduceren WeightWatch, een nieuwe, datavrije methode die in plaats van activaties, direct de gewichten van het model analyseert.

Kerninzicht:
De auteurs stellen dat de structuur van de gewichtsverschillen tussen een fijngetuned model ($M_{post}$) en zijn basisversie ($M_{base}$) rijk is aan informatie over de nieuwe vaardigheden of gedragingen die tijdens het fijn-tunen zijn toegevoegd.

Technische Aanpak:

1. Gewichtsverschil Berekening: Voor elke lineaire laag (specifiek de output-projectie van de attention-blokken en de down-projection van de MLP-blokken) wordt het verschil $\Delta W = W_{post} - W_{base}$ berekend.
2. Singular Value Decomposition (SVD): Er wordt een SVD uitgevoerd op $\Delta W$:
   $$\Delta W = U \Sigma V^T$$
   De linker singuliere vectoren ($u_i$) die corresponderen met de grootste singuliere waarden ($\sigma_i$), vertegenwoordigen de meest prominente richtingen van verandering in het model. Deze worden "behavioral vectors" genoemd.
3. Monitoring (Detectie): Tijdens inferentie wordt de cosine-相似heid (cosine similarity) berekend tussen de token-activaties van het input en deze behavioral vectors.
   • Er wordt een "normaal" bereik van similariteit opgebouwd tijdens een kalibratieperiode met veilige data.
   • Als de similariteit voor een token buiten dit bereik valt, wordt de input als anomaal (bijv. een backdoor-trigger of een vergeten onderwerp) gemarkeerd.
4. Sturing (Steering): Naast detectie kunnen deze vectoren worden gebruikt om het model te sturen. Door de activaties te orthogonaliseren ten opzichte van een specifieke behavioral vector ($a_{steered} = a - (a \cdot u)u$), kan het model worden teruggedrongen naar zijn basisgedrag, waardoor ongewenste fine-tuning effecten worden geneutraliseerd.

Voordeel: Deze methode vereist geen gelabelde data en werkt zelfs als de anomaale data zeldzaam of onbekend is, omdat het de structurele veranderingen in de parameters zelf bekijkt.

3. Belangrijkste Bijdragen en Resultaten

De methode is getest in drie hoofdsferen met opmerkelijke resultaten:

A. Backdoor Detectie en Mitigatie

• Setup: Testen op modellen die zijn vergiftigd met verschillende backdoor-mechanismen (LoRA, Full-Parameter Fine-Tuning, en vergiftigd PPO/RLHF).
• Resultaat: WeightWatch detecteert 93% tot 100% van de backdoor-gebruiken bij de eerste blik.
• Foutmarge: De False Positive Rate (FPR) blijft onder de 1% op normale data.
• Vergelijking: Het presteert aanzienlijk beter dan state-of-the-art methoden zoals BEAT en activatie-gebaseerde baselines, die vaak falen bij lage FPR-eisen of onbekende triggers.

B. Unlearning Verificatie en Herstel

• Detectie: Het systeem kan detecteren wanneer een model wordt gevraagd over onderwerpen die het zou moeten "vergeten" (bijv. Harry Potter of gevaarlijke bioweekens). De detectiepercentages variëren van 36% tot 95% afhankelijk van de unlearning-methode.
• Herstel (Steering): Interessant genoeg kan WeightWatch ook worden gebruikt om "vergeten" kennis te herstellen. Door de activaties te sturen langs de geïdentificeerde richtingen, kon het team tot 76,92% van de oorspronkelijke prestaties van een "unlearned" model (Zephyr-RMU) herstellen.
• Jailbreaking: Door sturing te combineren met een simpele prompt-prefix, kon de "Circuit Breaker" veiligheidsmechanisme worden omzeild, wat de succes率 van aanvallen op HarmBench verhoogde van 9,6% naar 82,08%. Dit illustreert het dual-use risico.

C. "In-the-Wild" Audit van Open Modellen

De auteurs pasten WeightWatch toe op populaire open-weight modellen (OLMo 7B, Qwen 2.5 7B, Llama 3.1 8B) om ongedocumenteerde fijne-tuning-prioriteiten te ontdekken zonder toegang tot hun trainingsdata:

• Qwen 2.5: Toonde een sterke focus op emoji-gebruik (2,3% van de richtingen), vertaling en Chinese ideologische content.
• Llama 3.1: Toonde een sterke focus op wiskundig redeneren en stap-voor-stap oplossingen.
• OLMo: Toonde minder van deze specifieke patronen.
• Validatie: Deze bevindingen werden empirisch bevestigd door daadwerkelijke testvragen (bijv. AIME wiskundeproblemen) en door het analyseren van de openbaar beschikbare trainingsdata van OLMo, wat de correlatie tussen de gewichtsrichtingen en de daadwerkelijke data bevestigde.

4. Significantie en Impact

• Paradigmaverschuiving: Het paper beweert dat interpretatie niet afhankelijk hoeft te zijn van activeringsdata, maar dat de gewichten zelf een krachtige, datavrije bron van inzicht bieden.
• Veiligheid: Het biedt een krachtig instrument voor auditors en ontwikkelaars om backdoors en veiligheidslekken te detecteren in modellen waarvoor geen trainingsdata beschikbaar is.
• Dual-Use Risico: De auteurs erkennen eerlijk dat hun methode ook kan worden gebruikt om veiligheidsmechanismen te omzeilen (jailbreaking) of ongewenste kennis te herstellen, wat een belangrijk ethisch punt is voor de gemeenschap.
• Scalabiliteit: De methode is lichtgewicht, vereist geen training van extra modellen (zoals SAE's) en is direct toepasbaar op bestaande open-weight modellen.

Conclusie:
WeightWatch opent een nieuw pad voor mechanische interpretatie door de focus te verleggen van "wat het model denkt" (activaties) naar "hoe het model is opgebouwd" (gewichten). Het biedt een robuuste, datavrije oplossing voor het monitoren van de veiligheid en het gedrag van moderne LLM's in een ecosysteem waar trainingsdata vaak een blackbox blijft.