Technische Samenvatting: CANARY – Zero-Label Detectie van Fine-Tuning Contaminatie in Taalmodellen

1. Probleemstelling

Het artikel behandelt de kritieke kwetsbaarheid van Large Language Models (LLMs) voor fine-tuning contaminatie. Aanvallers kunnen latente schadelijke gedragingen implanteren door een klein fractie (slechts 1%) van de fine-tuning dataset te vergiftigen. Deze contaminatie creëert een "geometrische vingerafdruk" in de verborgen toestanden (hidden states) van het model die latent en onzichtbaar blijft voor standaard output-niveau verdedigingen (zoals red-teaming, trefwoordclassificatie of generatie-sweeps) totdat de contaminatiegraad ongeveer 7,5% overschrijdt.

Bestaande verdedigingen falen om twee primaire redenen:

• Output-niveau methoden: Deze vereisen dat schadelijk gedrag zich manifesteert in de gegenereerde tekst, wat niet gebeurt bij lage contaminatiegraden (1–5%).
• Gewichtsruimte methoden: Technieken zoals Singular Value Decomposition (SVD) van gewichtsverschillen of task vectors werken op ruwe, hoog-dimensionale en ruizige parameterverschillen zonder een semantische prior, wat hen onbetrouwbaar maakt bij lage contaminatiegraden zonder gelabelde data.

De kernuitdaging is om deze verborgen verschuiving te detecteren vóór implementatie, met nul gelabelde data en zonder de noodzaak om schadelijke tekst te genereren.

2. Methodologie: CANARY

De auteurs introduceren CANARY (Contamination Auditor via Neural Activation Representation Yield), een zero-label checkpoint auditor die contaminatie detecteert direct vanuit de geometrie van de verborgen toestanden van het model.

Kernmechanisme

CANARY werkt door een kandidaat fine-tuned checkpoint ($\theta_{tuned}$) te vergelijken met het originele base checkpoint ($\theta_{base}$) met behulp van een kleine set ongelabelde, domein-relevante prompts. Het proces omvat twee forward passes per prompt:

1. Verborgen Toestand Verschil: Extraheer de last-token verborgen toestanden ($h$) op een mid-network laag $L$ voor beide modellen en bereken het verschilvector: $\Delta h(x) = h^{(L)}_{tuned}(x) - h^{(L)}_{base}(x)$.
2. Sparse Autoencoder (SAE) Projectie: Projecteer $\Delta h$ door een SAE die getraind is op de activaties van het base model. De SAE decomponeert de verborgen toestand in sparse, interpreteerbare feature richtingen.
3. Ruisfiltering: De methode identificeert "ruis-features"—SAE dimensies die overeenkomen met dichte, hoog-activerende stijl- en formattering-artefacten (bijv. interpunctie, register). Deze features worden doorgaans onderdrukt tijdens de verschuiving van base naar tuned. CANARY maskeert (zet op nul) deze ruis-features om de semantische drift te isoleren.
4. Scoring: De CANARY score $S(x)$ is de gekwadrateerde L2-norm van de gefilterde verschilvector: $S(x) = \|\hat{\Delta h}(x)\|^2$. Een checkpoint wordt gemarkeerd als het gemiddelde score over een prompt-set significant hoger is dan de baseline van een benigne fine-tune.

Belangrijkste Onderscheidende Kenmerken

• Geen Labels Vereist: In tegenstelling tot eerdere probing of steering werk (bijv. Burns et al., 2023; Zou et al., 2023) dat gelabelde contrastieve paren (schadelijk vs. benigne) vereist, heeft CANARY geen gelabelde voorbeelden nodig.
• SAE-Gefilterde LDA: Het artikel breidt Logit Diff Amplification (LDA) uit door de SAE-gefilterde verborgen-toestand differentie te injecteren in plaats van logits direct te manipuleren. Dit voorkomt de incoherentie (hoge perplexiteit) die standaard LDA teistert bij het ampliceren van verschillen, waardoor coherente generatie van latente schadelijkheid voor verificatie mogelijk is.

3. Belangrijkste Bijdragen

Het artikel schetst vier onderscheidende capaciteiten die mogelijk worden gemaakt door het CANARY-framework:

1. Detecteren: Een zero-label, twee-pass auditor die een AUROC = 1.000 bereikt bij 1% contaminatie over vier modelarchitecturen. Het detecteert contaminatie 7,5× eerder dan welke output-niveau methode dan ook.
2. Verifiëren: Een SAE-gefilterde hidden-layer LDA die latente schadelijkheid naar boven brengt met een 5× hogere ratio dan standaard generatie, terwijl coherente outputs behouden blijven (Perplexity $\approx$ 58 vs. 1,8M voor standaard LDA), wat post-flag gedragsmatige bevestiging mogelijk maakt.
3. Prioriteren: Een score-gebaseerde red-teaming prioritizer die 97% van de schadelijkheid concentreert in het bovenste kwartiel van de prompts, wat een 4,2× lift oplevert ten opzichte van random sampling.
4. Remediëren: Een inference-time feature suppressie mechanisme dat zich richt op een compacte SAE feature subspace. Het onderdrukken van een handvol contaminatie-specifieke features vermindert de schadelijkheidsratio van 70% naar 10% met nul perplexiteit-straf, waardoor de detectie-naar-fix loop effectief wordt gesloten.

4. Experimentele Resultaten

De auteurs evalueerden CANARY op vier modelparen (Qwen2.5-0.5B, Llama-3.2-1B, SmolLM2-1.7B, Gemma-2-2B) die variëren over SFT en RLHF paradigma's.

• Detectieprestaties: CANARY bereikte AUROC = 1.000 (95% CI [0.997, 1.000]) bij 1% contaminatie, met een Cohen's $d$ van 3.28. Het behield perfecte detectie over alle geteste rates (1% tot 20%).
• Specificiteit: Het systeem is schadelijkheid-specifiek. Fine-tuning op benigne persona-data of willekeurige ruis bij dezelfde rates leverde AUROC $\approx$ 0,5 op, wat bevestigt dat het signaal wordt gedreven door semantische schadelijkheid, niet door algemene distributieverschuivingen.
• Robuustheid:
  • Style-Matching & Gradient Noise: Aanvallen die probeerden de benigne stijl te matchen of gradiëntruis toe te voegen, faalden om detectie te ontwijken (AUROC bleef $\ge$ 0,95).
  • LoRA Constraints: Low-rank adapters (Rank-4) reduceerden de AUROC naar ~0,83. De auteurs merken op dat dit voorspeld wordt door hun detectie-limietformule, aangezien low-rank beperkingen de magnitude van de verborgen-toestand delta structureel beperken.
• Cross-Architectuur: De methode generaliseerde over drie architecturale families, hoewel de prestaties licht varieerden op basis van de variantie van de schone baseline (bijv. SmolLM2 vertoonde hogere variantie, wat de AUROC licht verlaagde).
• Remediatie: Inference-time chirurgie verminderde de schadelijkheid van 70% naar 10% zonder de vloeiendheid van het model aan te tasten.

5. Betekenis en Claims

Het artikel positioneert CANARY als het eerste zero-label framework om supply-chain contaminatie te detecteren, te verifiëren, te prioriteren en te remediëren met behulp van verborgen toestanden alleen.

• Fundamentele Limiet: De auteurs stellen dat de detectiekloof (detectie bij 1% vs. 7,5%) een fundamentele eigenschap is van representatie-geometrie, niet slechts een beperking van huidige output-gebaseerde tools. Ze bieden een gesloten vorm detectie-limietformule ($r^* \propto \sigma/c$) die prestaties over architecturen en aanvalstypen kwantitatief voorspelt.
• Governance Pipeline: Het werk claimt een volledige governance pipeline te hebben gevestigd waarbij dezelfde SAE feature basis gebruikt voor detectie ook downstream acties mogelijk maakt (amplificatie voor verificatie, prioritering voor red-teaming, en suppressie voor remediatie).
• Deployment Context: De auteurs benadrukken dat de amplificatie component (SAE-gefilterde LDA) een diagnostisch instrument is voor veiligheidsonderzoekers en modelproviders om latente risico's bloot te leggen, en geen consumentenproduct is. Ze beweren dat de aanpak robuust is tegen huidige adaptieve aanvallen en een praktisch fundament biedt voor supply-chain veiligheidsauditing nu fine-tuning API's steeds vaker worden gebruikt.

Het artikel concludeert dat hoewel LoRA-beperkte fine-tuning een gedeeltelijk evasie-vector vormt, dit een zelfvernietigende strategie is die de capaciteit van de aanvaller beperkt om persistente schadelijkheid te implanteren, en dat de detectie-limietformule een analytische roadmap biedt voor het aanpakken van dergelijke low-rank evasie in toekomstig werk.