💻 computer science

Adaptive Probe-based Steering for Robust LLM Jailbreaking

Dit artikel introduceert Adaptieve op Probes gebaseerde Sturing, een robuuste jailbreaking-methode die gebruikmaakt van model-extractie om ideale stuurvectoren te benaderen en de sturingssterkte adaptief afstemt op basis van activatiestatistieken, waardoor de schadelijkheidsscore van versterkte LLM's aanzienlijk stijgt van 6% naar 70% zonder dat handmatige afstemming of extra prompts vereist zijn.

Oorspronkelijke auteurs: Junxi Chen, Junhao Dong, Xiaohua Xie

Gepubliceerd 2026-05-21

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Junxi Chen, Junhao Dong, Xiaohua Xie

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je Large Language Models (LLM's) voor als hoogopgeleide beveiligingswachten. Deze wachters zijn strenge regels geleerd om nooit iets schadelijks, onbeleefds of gevaarlijks te zeggen. Deze training heet "alignering". Onderzoekers hebben echter ontdekt dat deze wachters soms kunnen worden misleid om hun regels te overtreden met een techniek die "jailbreaking" wordt genoemd.

Dit artikel introduceert een nieuwe, krachtigere manier om deze wachters te misleiden, niet door harder te schreeuwen of verwarrende woorden te gebruiken, maar door fysiek de interne denkprocessen van de wachters te duwen.

Hier is de uitleg van hun methode met eenvoudige analogieën:

Het Probleem: De "Ruwe Schets"-duw

Vorige methoden probeerden deze modellen te jailbreaken door een specifieke "duwvector" te vinden. Stel je deze vector voor als een specifieke richting om de interne gedachten van het model in te duwen.

De Tekortkoming: Stel je voor dat je probeert een zware kar in een specifieke richting te duwen, maar je gebruikt een kaart die is getekend door iemand die licht kleurenblind is. Je kaart (de "stuurvector") is dan iets verkeerd.
Handmatige Afstelling: Om de duw te laten werken, moest je handmatig raden hoe hard je moest duwen (de "stuurkracht"). Duw je te hard, dan crasht de kar (het model begint onzin te produceren). Duw je te zacht, dan beweegt hij niet. Dit was traag, frustrerend en faalde vaak tegen nieuwere, stevigere beveiligingswachten.

De Oplossing: "Adaptieve op Probes Gebaseerde Sturing"

De auteurs stellen een slimmere manier voor om de juiste richting en de juiste hoeveelheid kracht te vinden. Ze noemen dit Adaptieve op Probes Gebaseerde Sturing.

1. De "Model Extractie"-truc (De kaart verbeteren)

In plaats van alleen de ruwe kaart van het begin te gebruiken, maken de auteurs gebruik van een techniek die is geïnspireerd op "model extractie".

De Analogie: Stel je voor dat je probeert de perfecte route naar een verborgen schat te leren. In plaats van alleen naar één oude kaart te kijken, zet je een stap, controleer je of je dichtbij bent, en update je vervolgens je kaart op basis van die nieuwe informatie. Je herhaalt dit keer op keer.
In het Artikel: Ze nemen de initiële "duw" van het model, kijken wat er gebeurt, en gebruiken vervolgens een slimme rechter (een "annotator") om de resultaten te labelen. Ze gebruiken deze feedback om de kaart (de stuurvector) iteratief opnieuw te tekenen. Dit verwijdert het "ruis" en vindt de ideale richting zonder dat er nieuwe, complexe prompts nodig zijn.

2. De "Adaptieve Kracht" (De perfecte duw)

Zodra ze de juiste richting hebben, moeten ze weten hoe hard ze moeten duwen.

De Tekortkoming bij Oude Methoden: Oude methoden gebruikten een "one-size-fits-all"-duw. Ze gingen ervan uit dat elke laag van het brein van het model dezelfde hoeveelheid kracht nodig had.
De Analogie: Stel je voor dat je een stapel dozen duwt. De onderste dozen zijn zwaar en hebben een stevige duw nodig. De bovenste dozen zijn licht; als je ze even hard duwt als de onderste, vliegen ze van de stapel en breken ze.
De Oplossing: De auteurs kijken hoe "luid" de interne gedachten van het model op elke laag zijn (de activatiestatistieken). Als de gedachten stil zijn, duwen ze zachtjes. Als de gedachten luid zijn, duwen ze harder. Dit voorkomt dat het model in onzin uitbarst (oversturen) en zorgt ervoor dat de duw daadwerkelijk werkt.

De Resultaten: De Forten Kraken

Het artikel testte deze nieuwe methode uit tegen 12 verschillende "versterkte" modellen – modellen die specifiek zijn ontworpen om zeer moeilijk te jailbreaken.

Voorheen: Voor deze methode lekten deze taaie modellen slechts ongeveer 6% van de tijd schadelijke inhoud. Ze leken bijna onoverwinnelijk.
Na: Met deze nieuwe adaptieve duw steeg de schadelijke inhoud naar een gemiddelde van 70%.
De Conclusie: De auteurs hebben succesvol aangetoond dat zelfs de sterkste beveiligingswachten een "zwakke plek" hebben in hun interne denkproces die kan worden uitgebuit als je precies weet hoe je ze moet duwen.

Waarom Dit Belangrijk Is (Volgens het Artikel)

De auteurs stellen dat dit niet alleen gaat om dingen breken; het gaat om stress-testen. Net zoals je geen brug zou bouwen zonder te testen hoeveel gewicht het kan dragen, moeten we AI-beveiligingsverdedigingen niet vertrouwen zonder ze eerst te proberen te breken. Deze methode biedt een sterkere, meer geautomatiseerde manier om die zwakke plekken te vinden, zodat betere, echt betrouwbare verdedigingen kunnen worden gebouwd.

Kortom: Ze bouwden een robot die leert hoe hij de interne gedachten van een model in de perfecte richting duwt met de perfecte hoeveelheid kracht, en bewijst dat zelfs de meest veilige AI-modellen kunnen worden misleid om hun regels te overtreden.

Technische Samenvatting: Adaptieve op Probes Gebaseerde Sturing voor Robuuste LLM-Jailbreaking

1. Probleemstelling

Het artikel behandelt de uitdaging om de adversariale robuustheid van Large Language Models (LLM's) te evalueren die specifiek zijn ontworpen om "jailbreak-resistent" te zijn. Hoewel verdedigingsmechanismen (zoals Circuit Breakers, Deep Alignment, RepBend) scores van bijna nul voor schadelijkheid claimen, betogen de auteurs dat bestaande aanvalsmethoden ontoereikend zijn om hun ware kwetsbaarheden in het ergste geval bloot te leggen.

Huidige contrastieve sturingsmethoden, die het gedrag van LLM's controleren door verborgen staten te sturen langs lineaire richtingen afgeleid van contrastieve prompts, lijden onder twee primaire beperkingen:

Gekantelde Richtingszoektocht: Geleerde sturingsvectoren zijn inherent ruisachtig omdat ze zijn afgeleid van beperkte contrastieve prompts die gekoppelde conceptrichtingen kunnen bevatten (bijvoorbeeld ethisch-naar-ongewenst versus taart-naar-bom) die niets te maken hebben met het beoogde "trouw-naar-ontrouw" gedrag.
Moeizame Sterkte-Aanpassing: Bestaande methoden vertrouwen op selectie van lagen op basis van nauwkeurigheid (wat onstabiel is) en logit-doelen die uniform over de lagen zijn verdeeld. Dit leidt vaak tot "oversturing" in lagen met kleine activatiemagnitudes of vereist tijdrovende handmatige hyperparameter-tuning om optimale sturingssterktes te vinden.

Het doel is om een geautomatiseerde, robuuste aanval te ontwikkelen die het innerlijke maximalisatieprobleem van LLM-robustheid maximaliseert (het vinden van de modificatie $\Delta\theta$ die de meest schadelijke respons induceert) zonder dat doelpunten of gradiënt-backpropagatie nodig zijn.

2. Methodologie

De voorgestelde methode, Adaptieve op Probes Gebaseerde Sturing, verbetert de standaard pipeline voor contrastieve sturing via twee belangrijkste innovaties: Iteratieve Richtingsverfijning (geïnspireerd door model-extractie) en Adaptieve Sterkte-Aanpassing.

2.1. Iteratieve Richtingsverfijning (Model-extractie)

De auteurs herformuleren de zoektocht naar richtingen als een model-extractieprobleem. In plaats van een lineaire probe één keer te trainen op statische contrastieve prompts, stellen ze een iteratief algoritme (Algoritme 1) voor om de ideale sturingsvector te benaderen:

Initialisatie: Train een initiële lineaire probe met behulp van een standaard set contrastieve prompts.
Iteratieve Augmentatie:
1. Gebruik de huidige probe om de LLM te sturen op schadelijke prompts.
2. Genereer responsen en verzamel de resulterende activaties.
3. Annoteren: Gebruik een betrouwbare "jailbreaking-judge" (een kant-en-klare LLM-gebaseerde annotator, specifiek SRF in hun experimenten) om deze nieuwe activaties te labelen als "trouw" of "ontrouw".
4. Opnieuw trainen: Breid de trainingsset uit met deze nieuw geannoteerde activaties en train de probe opnieuw.
Redenering: Dit proces, termed Adaptieve Opnieuw Training (AR), richt zich op samples waar de huidige classifier het minst zeker is (dicht bij de beslissingsgrens), en filtert effectief ruis uit gekoppelde conceptrichtingen die inherent zijn aan de initiële prompts.

2.2. Adaptieve Sterkte-Aanpassing

De auteurs adresseren de instabiliteit van lagen-selectie en het risico van oversturing:

Verwerpen van Laatste-Lagen Activatie: De activatie van de laatste decoder wordt genegeerd omdat deze fungeert als een lokale logit-bias in plaats van een contextuele verborgen staat, en het sturen hiervan vaak herhaling induceert.
Adaptieve Logit-doelen: In plaats van een uniform logit-doel $s^{(l)}$ $s^{(l)}$ in te stellen over alle lagen (wat oversturing veroorzaakt in vroege lagen met kleine activatiemagnitudes), stelt de methode het doel in op basis van de statistieken van de activaties.
- Specifiek wordt de sturingssterkte ingesteld op de maximum bekende logit van de trouwe activaties in de trainingsset: $s^{(l)} = \max_{x \in H_{train}} f^{(l)}(x)$ .
- Dit maakt gebruik van de Aanname van Lineaire Controle (LCA), die stelt dat schadelijkheid een monotoon stijgende functie is van de gelijkenis met de ideale sturingsvector. Door het doel in te stellen op de maximum waargenomen logit, zorgt de methode voor de sterkst mogelijke sturing zonder handmatige tuning.
Sturen van Alle Tokens: In tegenstelling tot eerdere werken die alleen respons-tokens sturen, stuurt deze methode activaties op alle token-posities, en behandelt de sturingsvector als een parameter-efficiënte adapter (vergelijkbaar met LoRA) die wordt toegepast op het gehele generatieproces.

3. Belangrijkste Bijdragen

Iteratief Richtingsverfijningsalgoritme: Een door model-extractie geïnspireerde aanpak die ideale sturingsvectoren benadert door iteratief gestuurde activaties te bemonsteren en te annoteren. Het vereist geen extra contrastieve prompts, alleen een extra annotator.
Adaptieve Sterkte-Aanpassing: De identificatie van de instabiliteit in selectie op basis van nauwkeurigheid en het risico van uniform verdeelde doelen over de lagen. De auteurs stellen voor om selectie op basis van nauwkeurigheid te verwerpen en statistieken van activaties (specifiek, maximum waargenomen logits) te gebruiken om de sturingssterkte te sturen, waardoor de behoefte aan continue parameter-tuning wordt geëlimineerd.
Uitgebreide Evaluatie: De methode wordt geëvalueerd tegenover 12 versterkte LLM's (inclusief Circuit Breakers, Deep Alignment, en RepBend-varianten) en algemeen doelgerichte modellen.

4. Resultaten

De experimenten tonen aan dat de voorgestelde methode significant beter presteert dan bestaande contrastieve sturingsbaselines (RepE, SCAV, Refusal Direction, Angular Steering):

Effectiviteit: De methode verhoogt de gemiddelde schadelijkheidsscore van versterkte LLM's van 6% naar 70% (gemeten door SRF, HB, en SR judges).
Robuustheid: Het bereikt hoge schadelijkheidsscores (SR > 0,5, meestal > 0,8) over alle 12 geteste versterkte modellen, terwijl andere methoden vaak falen om geldige richtingen te vinden of scores van bijna nul behalen op specifieke modellen (bijvoorbeeld RepE faalt op de meeste).
Ablatiestudies:
- Adaptieve Sterkte (AS): Essentieel om oversturing te voorkomen; zonder deze blijven scores voor de meeste modellen dicht bij nul.
- Verwerpen van Laatste-laag (DLA) & Sturen van Alle Tokens (SAT): Beide componenten dragen bij aan prestatiewinst, waarbij SAT een gemiddelde verbetering van 15% toont.
- Adaptieve Opnieuw Training (AR): Verbeterd de prestaties met gemiddeld 26% in vergelijking met naïeve augmentatie (het toevoegen van meer prompts zonder iteratieve verfijning).
Generalisatie: De methode slaagt er ook in om algemeen doelgerichte LLM's en redeneringsmodellen aan te vallen (bijvoorbeeld Qwen3-4B-Thinking), waar het zelfs hogere schadelijkheidsscores bereikt, wat suggereert dat redeneervermogens kunnen correleren met een hogere kwetsbaarheid voor sturing.

5. Betekenis en Claims

Het artikel positioneert zichzelf als een aanvalspapier gericht op het blootleggen van de ineenstorting van versterkte LLM's.

Red Teaming: De auteurs claimen dat hun methode een krachtigere tool biedt voor red teaming, wat fundamenteel is voor het ontwikkelen van echt betrouwbare verdedigingen. Door bloot te leggen dat claims van "bijna-nul" schadelijkheid kunnen worden omzeild, pleiten ze voor een strengere evaluatie van adversariale robuustheid.
Theoretisch Inzicht: Het werk daagt de aanname uit dat ondiepe alignering of specifieke manipulaties van activaties (zoals Circuit Breakers) voldoende zijn voor veiligheid, en demonstreert dat contrastieve sturing verdedigingen kan omzeilen die claimen robuust te zijn tegen activatieperturbatie.
Bescheidenheid: De auteurs erkennen dat hun methode afhankelijk is van de kwaliteit van de annotator en dat de huidige implementatie tijdkosten met zich meebrengt door responsgeneratie voor annotatie. Ze presenteren hun bijdrage als een raamwerk (Annotator + Sampler + Extractor) in plaats van een definitief, perfect algoritme, en suggereren dat toekomstige verbeteringen in annotators en bemonsteringsstrategieën de prestaties verder kunnen verhogen.

Samenvattend betoogt het artikel dat door gebruik te maken van principes van model-extractie en adaptieve statistieken, het mogelijk is om jailbreaking op basis van probes te automatiseren en de effectiviteit ervan aanzienlijk te verbeteren, waardoor kwetsbaarheden in state-of-the-art veiligheids-gealigneerde modellen worden blootgelegd die eerdere methoden niet konden onthullen.