Has This Checkpoint Been Abliterated? A Two-Signal Audit and Its Failure Map

Technische Samenvatting: "Is dit checkpoint geablitereerd? Een audit met twee signalen en de bijbehorende foutenkaart"

Probleemstelling
De snelle proliferatie van "open-weight" modellen die zijn "geablitereerd" (ontdaan van weigeringsmechanismen) vormt een aanzienlijke uitdaging voor platforms en governance-organen. Deze artefacten verschijnen vaak kort na de release van belangrijke basismodellen. Huidige controles tijdens de runtime zijn onvoldoende voor auditing vóór implementatie, omdat ze de generaties van het model scoren in plaats van het model-artefact zelf. Bovendien kan toegang via een black-box alleen geen rigoureuze audits ondersteunen. De kernvraag die wordt behandeld is: Heeft een specifiek checkpoint-artefact zijn weigeringsmechanisme verloren?

Methodologie
De auteurs stellen een drempelvrije checkpoint-audit voor die twee complementaire interne signalen combineert, die gestandaardiseerd en opgeteld worden tot een enkele score. De audit vereist een kandidaat-checkpoint ($M_c$) en een vertrouwde, geattesteerde referentie-checkpoint ($M_b$).

1. Referentie-verankerde activatie-weigeringskloof ($\rho$):

   • Mechanisme: Berekent de ratio van de "schadelijke-min-onschadelijke" activatiekloof in het kandidaatmodel versus het referentiemodel.
   • Definitie: $\rho = \text{gap}(M_c) / \text{gap}(M_b)$, waarbij de kloof het gemiddelde verschil is van de last-token activaties over schadelijke versus onschadelijke prompts in een mid-stack laagband.
   • Functie: Levert weigerings-specificiteit. Een waarde nabij 1 duidt op een intact weigeringsmechanisme; een waarde nabij 0 duidt op verwijdering.
   • Beperking: Het is beperkt tot één richting (de verschil-van-gemiddelden richting) en kan verwijderingen missen langs niet-canonieke richtingen of in reasoning-distilled modellen waar weigering naar de chain-of-thought migreert.

2. Gewichtsherstel-energie ($E_1$):

   • Mechanisme: Meet de rank-1 energiefractie van het gewichtsverschil ($\Delta W = W_b - W_c$) in de attention-output en MLP-down projectiematrices.
   • Definitie: $E_1 = \frac{1}{|W|} \sum \frac{\sigma_1^2(\Delta W_m)}{\sum \sigma_i^2(\Delta W_m)}$.
   • Functie: Levert recall. Het detecteert elke low-rank gewichtswijziging, waardoor het weigeringen langs meerdere richtingen opvangt die de activatiekloof mist.
   • Beperking: Het kan op zichzelf niet onderscheid maken tussen het verwijderen van weigering en onschadelijke low-rank wijzigingen (bijv. agressieve fine-tuning).

3. Gecombineerde Detector:

   • De twee signalen zijn negatief gecorreleerd ($r \approx -0,41$) en label-complementair.
   • De uiteindelijke score is de som van hun z-scores: $s(M_c) = z(-\rho) + z(E_1)$.
   • Het systeem gebruikt transductieve standaardisatie op basis van een referentiepopulatie en stelt een werkpunt in via de Youden's $J$-statistiek op een kalibratieset.

Belangrijkste Bijdragen

1. Effectieve Checkpoint-Triage Detector: De gecombineerde z-som bereikt een AUROC van 0,95 op een register van 273 checkpoints (57 ongecensureerd, 37 onschadelijk), wat aanzienlijk beter presteert dan elk signaal afzonderlijk (0,84 en 0,90). Het is overdraagbaar naar onbekende modelfamilies met een gebalanceerde nauwkeurigheid van 0,89 (FPR 0,11).
2. Foutenkaart: Het artikel brengt expliciet twee foutmodi in kaart:
   • Gespoofte Referentie: Als de opgegeven referentie zelf adversarieel is (reeds geablitereerd) of als de kandidaat als zijn eigen referentie wordt gebruikt, faalt de audit zonder enige training ($\Delta W=0, \rho=1$).
   • White-Box Evasie: Een white-box eigenaar kan een checkpoint trainen om de detector te omzeilen (de score onder de drempelwaarde brengen) terwijl de guard-unsafe gedragingen en coherentie behouden blijven.
3. Publiek Register: De evaluatie wordt uitgevoerd op een register van 273 checkpoints variërend van Qwen, DeepSeek-distilled Qwen, Llama en Gemma, inclusen onschadelijke negatieven (fine-tunes, merges, instruction-tunes).

Resultaten

• Scheidbaarheid: De gecombineerde detector scheidt 53 van de 57 ongecensureerde checkpoints van onschadelijke wijzigingen. De 4 gemiste gevallen waren gewone abliteratie-varianten, geen complexe "harde recepten".
• Overdraagbaarheid: Onder een "leave-one-family-out" kalibratie behoudt de detector een hoge prestatie (Gebalanceerde Nauwkeurigheid 0,89), terwijl absolute drempelmethoden (zoals AMS Tier-1) significant falen (Gebalanceerde Nauwkeurigheid 0,35).
• Complementariteit: De activatiekloof faalt wanneer weigering wordt verwijderd langs meerdere richtingen of verborgen is in reasoning-traces; de gewichtsenergie vangt deze op maar geeft te veel meldingen bij onschadelijke wijzigingen. De combinatie verzacht deze individuele zwakheden.
• Evasie: Een adaptieve white-box aanval slaagde erin een Qwen2.5-1.5B model van "gedetecteerd" naar "geëvadeerd" te brengen over 600 trainingsstappen. Het resulterende model bleef guard-unsafe (20/20 schadelijke prompts) en coherent, waarbij slechts een kleine "obfuscatie-belasting" op algemene kennis en wiskundige vermogens werd in rekening gebracht.

Betekenis en Claims
Het artikel positioneert deze audit als een effectief triage-instrument, niet als een onveranderbare oplossing.

• Nut: Het biedt een goedkope, eerste filter voor platforms om checkpoints te markeren voor menselijke beoordeling vóór implementatie, wat de afhankelijkheid van runtime generatie-scoring aanzienlijk vermindert.
• Grenzen: De auteurs stellen expliciet dat de claims van de audit begrensd zijn door het geëvalueerde register en de aanname van een geattesteerde referentie.
• Dual-Use: Het artikel erkent dat de methodologie zelf een "detectie-bewuste evasie-recept" biedt, waarbij wordt opgemerkt dat natuurlijke fine-tuning deze kwetsbaarheid niet opent, maar gerichte optimalisatie wel.
• Bescheidenheid: De auteurs beweren niet het probleem van veiligheid volledig op te lossen. Ze benadrukken dat de audit volledig rust op de integriteit van de basis-attestatie; als de referentie gespooft is, is de audit bij de wortel ongeldig. Bovendien laat de white-box evasie-capaciteit zien dat vastberaden eigenaren via training de signalen kunnen passeren terwijl ze onveilige gedragingen behouden.