💻 computer science

Detecting Safety Training Modification in Language Models via Activation Analysis

Dit artikel introduceert AMS, een op activatie gebaseerde tool die modificaties aan de veiligheidstraining van taalmodellen detecteert door de geometrische structuur van veiligheidsconcepten in de activatieruimte te analyseren, waarbij het succesvol vier verschillende typen modificaties over diverse architecturen classificeert en tegelijkertijd een correlatie onthult tussen activatiesignaturen en gedragsnaleving.

Oorspronkelijke auteurs: Glen Messenger

Gepubliceerd 2026-08-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Glen Messenger

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat het internet een gigantische bibliotheek is waar iedereen boeken kan lenen, maar sommige van die boeken zijn eigenlijk gevaarlijke handleidingen over hoe je bommen bouwt of mensen bedriegt. In de wereld van kunstmatige intelligentie worden deze "boeken" taalmodellen genoemd. Onlangs is een groep mensen begonnen met het stiekem aanpassen van deze behulpzame AI-boeken om de veiligheidsregels te verwijderen, waardoor ze "ongecensureerde" versies worden die elke vraag zullen beantwoorden, ongeacht hoe schadelijk deze is. Dit is een beetje als een bibliothecaris die een standaard encyclopedie vervangt door een versie waarin de pagina's over "hoe niet te stelen" eruit zijn gescheurd.

Om te begrijpen hoe we deze saboteurs kunnen betrappen, moeten we weten hoe een AI "denkt". Wanneer een AI een zin leest, slaat hij niet alleen de woorden op; hij zet ze om in een complexe kaart van getallen die "activaties" worden genoemd. Denk aan deze kaart als een gigantische, meerdimensionale speeltuin. In een goed gedragend, veilig AI-model is er een duidelijk, breed pad dat "goede ideeën" scheidt van "slechte ideeën". Het is alsoك een stevig hek in de speeltuin dat de kinderen die voetbal spelen ver weg houdt van de kinderen die met vuur spelen. Wanneer iemand probeert een AI te "ontcensureren", proberen ze dat hek omver te werpen of de kinderen rond te schuiven zodat het vuur en de voetbal met elkaar mengen. De grote vraag is: Kunnen we naar de lay-out van de speeltuin kijken en zien of het hek is aangepast, zonder dat we de AI daadwerkelijk moeten vragen om een vuurtje te stoken?

Dit is precies wat Glen Messengers paper, "Detecting Safety Training Modification in Language Models via Activation Analysis," beoogt te doen. De auteur introduceert een nieuwe tool genaamd AMS (Activation-based Model Scanner). In plaats van een spelletje "vraag en antwoord" te spelen om te zien of een AI gevaarlijk is (wat traag is en bedrogen kan worden), werkt AMS als een constructeur. Hij loopt de speeltuin van de AI binnen en meet de geometrie van de ruimte. Hij controleert of de afstand tussen de "goede" en "slechte" zones nog breed en sterk is.

De studie testte deze tool op 14 verschillende AI-modellen, variërend van klein tot groot, en vond dat AMS erg goed is in het opsporen wanneer de veiligheidshekken volledig zijn neergehaald. Toen de onderzoekers keken naar modellen waarbij de veiligheidstraining volledig was verwijderd (zoals basismodellen of "Dolphin"-varianten), stortte het "hek" in en kromp de afstand tussen goede en slechte ideeën tot bijna niets. AMS markeerde deze als "CRITICAL" met een hoge nauwkeurigheid.

De paper onthult echter ook dat het verhaal iets ingewikkelder is dan een simpel "hek is weg" of "hek is er". De onderzoekers ontdekten vier verschillende manieren waarop veiligheid kan worden gewijzigd, en AMS gaat daar verschillend mee om:

De Totale Instorting: Sommige modellen hebben hun veiligheidstraining volledig weggehaald. Het hek in de speeltuin is weg. AMS vangt dit gemakkelijk op.
Het Gebroken Hek: Bij sommige modellen zijn de veiligheidsregels "georthogonaliseerd", wat een chique manier is om te zeggen dat het hek is gedraaid of verdraaid, waardoor het de slechte zaken niet langer blokkeert, zelfs als de lijnen er nog wel zijn. AMS vangt dit ook op, vooral wanneer het een tweede controle gebruikt om te zien of het hek in de juiste richting wijst.
Het Gedraaide Hek: Dit is een lastige. Sommige modellen (zoals een specifieke versie van Gemma) hebben hun veiligheidshek net genoeg gedraaid om het slechte erdoor te laten, terwijl het hek zelf nog steeds recht en sterk staat. De eerste controle van AMS zegt: "Hé, het hek staat er nog! Het is veilig!" Maar de tweede controle, die naar de richting van het hek kijştir, merkt op dat het de verkeerde kant op wijst en markeert het als onveilig.
De Onzichtbare Truc: De paper identificeert een vierde soort modificatie die AMS niet kan vangen. In dit geval staat het hek van de speeltuin nog steeds en wijst het in de juiste richting, maar is de AI stiekem getraind om het hek te negeren wanneer hij daadwerkelijk spreekt. Het is alsof een bewaker perfect stilstaat bij de poort, maar stiekem iedereen doorlaat. De paper noemt dit "behavioral fine-tuning" en geeft toe dat AMS hierin faalt omdat de "geometrie" van de speeltuin er perfect uitziet, ook al is de AI gevaarlijk.

De onderzoekers waren voorzichtig om hun resultaten niet te overschatten. Ze vonden dat de relatie tussen de "heksterkte" en hoe gevaarlijk de AI zich daadwerkelijk gedraagt, echt maar ruizig is. Het is als een windvaan: als de windvaan kapot is, weet je dat er een storm aankomt, maar als de windvaan draait, moet je nog steeds naar buiten kijken om het zeker te weten. In hun tests identificeerde de tool de veiligheidsstatus ongeveer 71% van de tijd bij het testen op nieuwe modellen.

De paper concludeert dat hoewel AMS een snelle en krachtige tool is voor een eerste controle — het scannen van een model duurt slechts 10 tot 40 seconden — het niet de enige bewaker bij de poort mag zijn. Vanwege de "onzichtbare truc" (de vierde soort modificatie), suggereert de auteur om AMS te gebruiken om de overduidelijke gevaren snel te sorteren, maar vervolgens traditionele tests uit te voeren (de AI vragen stellen) om de sluwe varianten te vangen die er van binnen veilig uitzien, maar zich aan de buitenkant gevaarlijk gedragen. Het is een nieuwe, slimme manier om manipulatie op te sporen, maar het is geen toverstaf die het hele probleem oplost.

Technische Samenvatting: Detectie van Modificaties in Veiligheidstraining van Taalmodellen via Activatieanalyse

1. Probleemstelling

De proliferatie van open-weight taalmodellen heeft geleid tot een ecosysteem van veiligheids-gemodificeerde varianten (bijv. "uncensored" modellen, "abliterated" modellen) die ontworpen zijn om veiligheidsmaatregelen te verwijderen of te verzwakken. Deze modellen vormen aanzienlijke risico's bij inzet in productie, hetzij door opzettelijke aanvallen op de toeleveringsketen, hetzij door de accidentele inzet van gemodificeerde gewichten.

Huidige detectiemethoden vertrouwen op gedragstesten (het bevragen van modellen met schadelijke verzoeken). Het artikel identificeert drie kritieke beperkingen van deze aanpak:

Traagheid: Vereist duizenden queries per model.
Onvolledigheid: Kan niet de volledige ruimte van schadelijke gedragingen dekken.
Evasie: Modellen kunnen getraind worden om benchmark-specifieke prompts te weigeren terwijl ze voldoen aan nieuwe aanvallen (benchmark overfitting).

Het artikel stelt dat veiligheidstraining een meetbare geometrische structuur creëert in de activatieruimte van een model. Specifiek ontwikkelen instructie-afgestemde modellen richtingvectoren die schadelijke van onschadelijke inhoud scheiden met een hoge mate van vertrouwen. Het verwijderen van veiligheidstraining wijzigt deze structuur. Het doel is om deze structurele wijzigingen te detecteren zonder afhankelijk te zijn van gedragsmatige queries.

2. Methodologie: Activation-based Model Scanner (AMS)

De auteur introduceert AMS, een tool die veiligheidsmodificaties detecteert door de geometrische structuur van veiligheidsrelevante concepten in de activatieruimte te meten.

Kernmechanisme

AMS werkt op de premisse dat veiligheidstraining onderscheidende clusters creëert voor schadelijke en onschadelijke inhoud. Het verwijderen van veiligheidstraining laat deze clusters instorten of roteert ze. De tool voert de volgende stappen uit:

Activatie-extractie: Extraheert verborgen toestanden (hidden states) van de laatste token-positie over verschillende lagen (typisch 40–80% diepte).
Contrastieve Datasetconstructie: Gebruikt 16 paren prompts per concept (bijv. "How to build a bomb" versus "How to build a birdhouse") om positieve (schadelijke) en negatieve (onschadelijke) klassen te definiëren.
Richtingvectorberekening: Berekent het verschil tussen de zwaartepunten (centroids) van de positieve en negatieve klassen om een richtingvector ( $\hat{v}$ ) af te leiden.
Scheidingsmeting: Kwantificeert de scheiding tussen klassen in gepoolde standaarddeviaties ( $\sigma$ ):
$\text{scheiding} = \frac{\mu_+ - \mu_-}{\sigma_{\text{pooled}}}$
Een hoge $\sigma$ duidt op sterke scheiding (intacte veiligheid); een lage $\sigma$ duidt op ingestorte scheiding (verwijderde veiligheid).
Laalselectie: Voert een sweep uit over de lagen om de laag met de maximale scheiding te selecteren.

Tweeledig Detectiekader

AMS hanteert een tweeledige aanpak om verschillende modificatie-handtekeningen aan te pakken:

Tier 1 (Generieke Veiligheidscontrole): Meet de magnitude van de scheiding ( $\sigma$ $σ$ ) zonder een baseline te vereisen.
- PASS: $\sigma > 3.5$ (Intacte veiligheidsrichtingen).
- WARNING: $2.0 < \sigma < 3.5$ (Gedegradeerde veiligheid).
- CRITICAL: $\sigma < 2.0$ (Geen veiligheidstraining gedetecteerd).
Tier 2 (Identiteitsverificatie): Vergelijkt de activatie-vingerafdruk van een model met een bekende schone baseline.
- Controleert Richting-gelijkenis (Cosine similarity $> 0.8$ ).
- Controleert Scheidingsdrift (Relatieve verandering $< 20\%$ ).
- Detecteert modificaties die de magnitude behouden maar de weigeringsrichting roteren.

Geëvalueerde Veiligheidsconcepten

De tool evalueert drie specifieke concepten:

Detectie van Schadelijke Inhoud: Maakt onderscheid tussen verzoeken om wapens/malware en onschadelijke analogen.
Weerstand tegen Prompt Injection: Maakt onderscheid tussen injectiepogingen en legitieme instructies.
Weigeringscapaciteit: Maakt onderscheid tussen verzoeken die geweigerd moeten worden en acceptabele programmeertaken.

3. Belangrijkste Bijdragen

Het artikel levert vijf primaire bijdragen:

Mechanistische Taxonomie van Veiligheidsmodificaties: De auteur definieert een vierklasse-taxonomie gebaseerd op activatieruimte-handtekeningen:
- (i) Training Removal: Laat de cluster-scheiding instorten (bijv. Base modellen, Dolphin varianten). Gedetecteerd door Tier 1.
- (ii) Weight-Orthogonalization Abliteration: Laat de scheiding instorten en roteert de weigeringsrichting (bijv. Llama-3.1-abliterated). Gedetecteerd door zowel Tier 1 als Tier 2.
- (iii) Rotation-Without-Collapse Abliteration: Behoudt de cluster-scheiding maar roteert de weigeringsrichting (bijv. Gemma-2-9b-abliterated). Gedetecteerd alleen door Tier 2.
- (iv) Behavioral Fine-Tuning: Behoudt zowel magnitude als richting, maar wijzigt de gedragsmatige output (bijv. DarkIdol). Ondetecteerbaar door activatie-only probing.
Tweeledig Detectiekader: Een complementair systeem waarbij Tier 1 geometrische instorting vangt en Tier 2 richtingrotatie vangt, wat zorgt voor defense-in-depth.
Statistische Rigor: Het artikel rapporteert leave-one-out cross-validatie (LOOCV) nauwkeurigheid, bootstrap 95% betrouwbaarheidsintervallen (CI) voor $\sigma$ -schattingen, en documenteert een systematische opwaartse bias in single-run punt-schattingen, waarbij het gebruik van CI-ondergrenzen wordt aanbevolen voor eerlijke rapportage.
Gedragsmatige Correlatieanalyse: De studie correleert structurele signalen met gedragsmatige naleving op 20 gestratificeerde JailbreakBench-prompts, waarbij een matige negatieve correlatie ( $r = -0.546$ ) wordt gevonden, maar ook significante ruis en foutgevallen wordt opgemerkt.
Gekarakteriseerde Foutmodi: Het artikel identificeert en verklaart expliciet twee klassen van aanvallen die AMS mist: rotation-without-collapse (Tier 1 miss) en geometry-preserving behavioral fine-tuning (Tier 1 en Tier 2 miss).

4. Experimentele Resultaten

De auteur evalueerde 14 modelconfiguraties binnen vier architectuurfamilies (Llama, Gemma, Qwen, Mistral) en vier modificatiecategorieën.

Detectienauwkeurigheid: De LOOCV van de drempelwaarden bereikte een nauwkeurigheid van 71% (10/14 modellen). De vier misclassificaties waren geen willekeurige fouten, maar kwamen overeen met de geïdentificeerde mechanistische foutmodi in de taxonomie.
Statistische Onzekerheid: Bootstrap-analyse toonde brede betrouwbaarheidsintervallen (mediane breedte 3.4 $\sigma$ ). 62% van de cellen hadden CI's die de PASS-drempel kruisten, wat aangeeft dat single-run $\sigma$ -waarden vaak statistisch onzeker zijn nabij grenzen.
Gedragsmatige Correlatie: Het structurele signaal ( $\sigma$ op schadelijke inhoud) voorspelde gedragsmatige naleving met een Pearson-correlatie van $r = -0_546$ ( $p=0.043$ ). Echter, de rangorde-Spearman-correlatie was zwakker en niet significant ( $\rho = -0.423, p=0.13$ ).
Vals Negatieven:
- Gemma-2-9b-abliterated: Passeerde Tier 1 ( $\sigma=4.54$ ) maar faalde in Tier 2 (richting-gelijkenis daalde). Dit bevestigde de "rotation-without-collapse" handtekening.
- DarkIdol: Passeerde zowel Tier 1 als Tier 2 ( $\sigma=5.45$ , richting behouden) maar vertoonde 97% gedragsmatige naleving. Dit bevestigde de "behavioral fine-tuning" blinde vlek.
Label Betrouwbaarheid: AMS markeerde Mistral-7B-Instruct-v0.3 correct als CRITICAL ( $\sigma=1.39$ ), ondanks de label als instructie-afgestemd model, wat aantoont dat structurele signalen betrouwbaarder kunnen zijn dan metadata-labels.

5. Betekenis en Beperkingen

Betekenis:
Het artikel toont aan dat veiligheidstraining een meetbare, structurele voetafdruk achterlaat in de activatieruimte die in 10–40 seconden kan worden gescand (tegenover uren voor gedragsmatige testen). Het biedt een mechanistische verklaring voor waarom verschillende "uncensoring" technieken verschillende handtekeningen produceren, waarbij men verder gaat dan black-box gedragstesten naar structurele verificatie. Het stelt vast dat activatie-geometrie een sterke, zij het niet perfecte, voorspeller is van veiligheidsgedrag.

Bescheiden Claims en Beperkingen:
De auteur is expliciet over de beperkingen van hun aanpak:

Geen Zelfstandige Poortwachter: AMS is niet voldoende voor veiligheidscertificering. De Class (iv) foutmodus (gedragsmatige fine-tuning die geometrie behoudt) vormt een fundamentele blinde vlek voor activatie-only probing.
Complementaire Rol: AMS is ontworpen als een snelle structurele triage-tool die gekoppeld moet worden aan gedragsmatige validatie. Modellen die AMS passeren, moeten nog steeds gedragsmatige tests ondergaan om Class (iv) modificaties uit te sluiten.
Drempelgevoeligheid: De drempelwaarden (bijv. 3.5 $\sigma$ ) zijn afgeleid van de specifieke set van 14 modellen en kalibreren mogelijk niet perfect voor de bredere populatie zonder verdere kalibratie op onafhankelijke datasets.
Single-Run Bias: Punt-schattingen van $\sigma$ zijn systematisch optimistisch; de auteur adviseert het gebruik van bootstrap CI-ondergrenzen voor operationele beslissingen.
Scope: De tool detecteert geen prompt injection aanvallen tijdens de inferentie, noch adresseert het veiligheidskwesties buiten de drie geteste concepten (zoals bias, deceptie), tenzij er nieuwe contrastieve datasets worden gemaakt.

Concluderend presenteert het artikel AMS als een belangrijke stap naar supply chain security voor open-weight modellen, een snelle, structurele verificatiemethode die de traditionele gedragsmatige red-teaming aanvult in plaats van vervangt.