Technische Samenvatting: Distill to Detect (D2D)

Probleemstelling

Het artikel behandelt de kritieke uitdaging van het detecteren van stealth preferentiële biases in uitgerolde Large Language Models (LLMs). Deze biases worden geïntroduceerd door actoren in de model-supply chain (bijv. serviceproviders, derde partijen die distillatie uitvoeren) die een voorkeur kunnen hebben voor specifieke entiteiten, merken of standpunten.

De kern van de moeilijkheid ligt in een asymmetrie tussen aanvaller en verdediger:

• De Aanvaller kent het onderwerp van de bias en kan ervoor zorgen dat het model zich op alle niet-gerelateerde inputs identiek gedraagt als het ongewijzigde basismodel, waardoor de voorkeur alleen zichtbaar wordt wanneer het specifieke trigger-onderwerp naar voren komt.
• De Verdediger heeft geen kennis van het onderwerp van de bias en moet het model auditeren zonder vooraf te weten waar naar gezocht moet worden.

Bestaande detectiemethoden falen omdat stealth-biases zijn ontworpen om onder de detectiedrempel te blijven van elke evaluatie die uitsluitend op gegenereerde tekst werkt. Het bias-signaal bevindt zich volledig in de zachte logit-distributie (waarschijnlijkheidsverschuivingen) in plaats van in de gegenereerde tokens, wat het onzichtbaar maakt voor tekstgebaseerde inspectie, standaard classificators en zelfs red-teaming agents die zoeken naar vooraf gedefinieerde categorieën.

Methodologie: Distill to Detect (D2D)

De auteurs stellen Distill to Detect (D2D) voor, een methode die verborgen biases versterkt door de distributieve verschuiving tussen een verdacht model ($\pi_{\theta_B}$) en zijn bekende basismodel ($\pi_{\theta_0}$) te distilleren in een adapter met een lage capaciteit.

1. Het Cartridge-mechanisme

D2D distilleert het gedrag van het verdachte model in een cartridge, een specifiek type KV-cache prefix adapter (Eyuboglu et al., 2025; Li & Liang, 2021).

• Architectuur: De parameters van het basismodel zijn bevroren. Een kleine set trainbare parameters ($\alpha$) optimaliseert geleerde Key-Value (KV) staten die worden voorafgevoegd aan elke transformer-laag.
• Capaciteitsbeperking: De adapter heeft orders van grootte minder parameters dan het basismodel (bijv. 4M versus 3B) en is aanzienlijk kleiner dan het volledige model of standaard LoRA-adapters.
• Trainingsdoel: De adapter wordt getraind om de forward KL-divergentie tussen het verdachte model en het aangepaste basismodel te minimaliseren:
  $$\mathcal{L}_{detect} = \mathbb{E}_{x \sim D} [ D_{KL}(\pi_{\theta_B}(\cdot | x) \parallel \pi_{\alpha}(\cdot | x)) ]$$
  Cruciaal is dat deze training gebruikmaakt van een dataset die niet gerelateerd is aan het onderwerp van de bias (bijv. Alpaca instructie-volgende prompts), wat garandeert dat de verdediger geen toegang hoeft te hebben tot de injectiedata van de aanvaller.

2. Het Versterkingsmechanisme

De kerninzicht is dat de capaciteitsbottleneck de adapter dwingt om prioriteit te geven aan de meest saillante componenten van de distributieve verschuiving.

• Bias-structuur: De auteurs gaan ervan uit dat de logit-verschuiving uiteenvalt in een laag-rangige, coherente bias-signaal ($\Delta_{bias}$) en een hoog-rangige, diffuse maskering-residue ($\Delta_{res}$). Het stealth-model gebruikt het residue om de bias op onschuldige prompts te onderdrukken.
• Fisher-Gewogen Projectie: Theoretische analyse toont aan dat het minimaliseren van de KL-divergentie onder een capaciteitsbeperking een Fisher-gewogen projectie van de logit-verschuiving uitvoert.
• Resultaat: De adapter met lage capaciteit legt het coherente, laag-rangige bias-signaal vast (dat de spectrum domineert) maar laat het diffuse maskering-residue achter. Deze "concentratie" versterkt de bias, waardoor deze zichtbaar wordt in de gegenereerde tekst van het aangepaste model, zelfs op prompts waar het oorspronkelijke stealth-model schoon leek.

3. Theoretisch Kader

Het artikel biedt een theoretisch kader (Theorem 1) dat de Bias Concentration Ratio (BCR) definieert. Het voorspelt een omgekeerde U-curve tussen adaptercapaciteit en versterking:

• Te klein: Kan het volledige bias-signaal niet vastleggen.
• Optimaal (Intermediair): Legt de bias vast terwijl het maskering-residue wordt gedropt, waardoor de BCR wordt gemaximaliseerd.
• Te groot: Legt het maskering-residue opnieuw vast, waardoor de bias wordt verdund en het model terugkeert naar stealth-gedrag (BCR $\to$ 1).

Belangrijkste Bijdragen

1. D2D Methode: Introductie van een methode die stealth-biases versterkt door distributieve verschuivingen te distilleren in een kleine KV-cache prefix adapter, waardoor voorheen ondetecteerbare biases zichtbaar worden voor bestaande detectie-oracles zonder kennis van het onderwerp van de bias.
2. Theoretische Rechtvaardiging: Een kader dat aantoont dat de capaciteitsbottleneck een Fisher-gewogen projectie uitvoert die het coherente bias-signaal behoudt terwijl het maskering-residue wordt gedropt, en die de omgekeerde U-versterkingscurve voorspelt.
3. Empirische Validatie: Demonstratie dat de structurele uitlijning van de cartridge met het KV-prefix injectiemechanisme (gebruikt in context-distillatie) een betrouwbare versterking produceert, terwijl weight-space adapters (LoRA) of full-model distillatie van vergelijkbare of grotere capaciteit er niet in slagen de bias in gegenereerde tekst naar voren te brengen.

Experimentele Resultaten

De auteurs evalueerden D2D op twee typen bias (Owl-voorkeur en Fanta-merkvoorkeur) met behulp van Llama-3.2-3B-Instruct en Qwen3-4B-Instruct.

• Detectieprestaties: D2D presteerde aanzienlijk beter dan de baselines.
  • Owl Bias: Petri-detectie steeg van 37% (stealth baseline) naar 70% met D2D.
  • Fanta Bias: Petri-detectie steeg van 33% naar 100% met D2D.
  • In tegenstelling hiertoe bleven LoRA en full-model distillatie nabij of zelfs onder de stealth-baseline (bijv. LoRA bereikte slechts 10% Petri-detectie voor de Owl-bias).
• Voorkeur vs. Detectie Gap: Hoewel LoRA en full models de bias-voorkeurssignalen leerden (met hoge voorkeurspercentages), slaagden ze er niet in deze te versterken voor detectie omdat ze ook het maskering-residue leerden. De cartridge, beperkt door capaciteit, kon het maskeringsgedrag niet veroorloven om te leren.
• Robuustheid:
  • Post-Training: D2D bleef effectief, zelfs nadat het model een verdere post-training onderging (GRPO op GSM8K), waarbij de bias werd hersteld met 93% detectie.
  • Injectie Variaties: D2D werkte zelfs wanneer de injectie-prompt beschrijvende taal gebruikte zonder de doel-token te noemen (niet-lexicale injectie) en generaliseerde over verschillende modelfamilies (Qwen3).
• Capaciteit Sweep: Experimenten bevestigden de omgekeerde U-curve, waarbij detectie piekte bij een cartridge-grootte van 16 tokens en afnam bij grotere formaten.

Betekenis en Claims

Het artikel positioneert D2D als een praktisch bouwblok voor het auditeren van verborgen gedragingen in uitgerolde taalmodellen.

• Defensieve Tool: Het wordt expliciet geframed als een defensief mechanisme dat gray-box toegang vereist (zowel het verdachte model als het bijbehorende basis-checkpoint), een setting die overeenkomt met legitieme audit-scenario's waarbij een deployer zeggenschap heeft over beide artefacten.
• Complementaire Laag: D2D vervangt bestaande detectie-oracles (zoals Petri of AuditBench) niet; het fungeert eerder als een pre-processing stap die een stealth-model transformeert naar een "aangepast" model waarin de bias openlijk zichtbaar is, waardoor standaard auditors betrouwbaar kunnen functioneren.
• Beperkingen: De auteurs erkennen dat D2D ervan afhankelijk is dat de bias een coherent, laag-rangig logit-verschuiving is (typisch voor context-distillatie). Het kan minder effectief zijn tegen hoog-rangige injectiestrategieën (bijv. data poisoning, backdoors) of in strikt black-box settings waarbij het basismodel niet beschikbaar is.

Het werk demonstreert dat door de capaciteitsbottleneck van prefix-tuning adapters om te buigen naar een detectietool, het mogelijk is om stealth-biases bloot te leggen die anders onzichtbaar zouden blijven voor tekstgebaseerde inspectie.