💻 computer science

D-Judge: Disrupting Multi-Turn Jailbreaks using Semantics-Preserving Output Rewriting

Het artikel introduceert D-Judge, een verdedigingsmechanisme dat multi-turn jailbreak-aanvallen verstoort door de reacties van LLM's te herschrijven om hun oorspronkelijke betekenis te behouden, terwijl de feedbacksignalen van door aanvallers gecontroleerde judge-modellen doelbewust ontstemt, waardoor het iteratieve proces van prompt-verfijning uit de koers wordt gebracht.

Oorspronkelijke auteurs: Huanli Gong, Zhipeng Wei, Yu Fu, Haz Sameen Shahgir, Ananya Gupta, Yue Dong, N. Benjamin Erichson

Gepubliceerd 2026-06-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Huanli Gong, Zhipeng Wei, Yu Fu, Haz Sameen Shahgir, Ananya Gupta, Yue Dong, N. Benjamin Erichson

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Probleem: De "Feedback Loop"-valstrik

Stel je voor dat je probeert een zeer strikte robot (de Victim LLM) iets te leren wat hij niet mag doen, zoals een handleiding schrijven over hoe je een bom bouwt.

In de oude dagen riepen hackers gewoon één harde, duidelijke opdracht naar de robot. Als de robot "Nee" zei, gaf de hacker op.

Maar nu hebben hackers een slimmere manier gevonden die een Multi-Turn Jailbreak wordt genoemd. In plaats van één schreeuw, voeren ze een lange, langzame conversatie.

Ze stellen de robot een onschuldige vraag.
De robot geeft antwoord.
De hacker heeft een Judge (een andere AI) die naar het antwoord van de robot luistert en zegt: "Dat was dichtbij, maar je moet de volgende keer iets specifieker zijn."
De hacker gebruikt die feedback om de volgende vraag aan te passen.
Ze herhalen deze loop steeds opnieuw, waardoor ze de robot langzaam richting het verboden doel sturen.

Het paper stelt dat de feedback van de Judge de brandstof is die deze motor draaiende houdt. Zolang de hacker nauwkeurige feedback krijgt over hoe dicht hij bij het doel is, kan hij de robot uiteindelijk misleiden.

De Oplossing: De "Magische Vertaler" (D-Judge)

De auteurs introduceren een nieuwe verdediging genaamd D-Judge. In plaats van te proberen de hacker te blokkeren of de antwoorden van de robot te censureren, werkt D-Judge als een Magische Vertaler die tussen de robot en de hacker in zit.

Zo werkt het:

De Opzet: De robot geeft een antwoord.
De Vertaling: Voordat de hacker (en hun Judge) het antwoord ziet, herschrijft D-Judge het.
De Truc: De herschrijving is semantics-preserving (betekenisbehoudend). Dit betekent dat de betekenis van het antwoord exact hetzelfde blijft. Als de robot zei: "Ik kan je dat niet vertellen," kan de herschrijving zeggen: "Het is tegen mijn regels om die informatie te delen." De betekenis is identiek, maar de woorden zijn anders.
De Verwarring: De Judge van de hacker leest de herschreven versie. Omdat de woorden iets anders zijn, raakt de Judge in de war. De Judge kan denken dat het antwoord gevaarlijker is dan het eigenlijk is, of juist minder gevaarlijk.
Het Resultaat: De Judge geeft de hacker slechte feedback. De hacker denkt: "Oh, ik kom dichterbij!" terwijl dat niet zo is, of "Ik faal!" terwijl hij eigenlijk succesvol is.

Omdat de hacker zijn volgende vraag optimaliseert op basis van slechte data, raakt hij de weg kwijt. Hij stopt met vooruitgang maken en de aanval mislukt.

Hoe ze de Magische Vertaler hebben getraind

Om D-Judge te leren hoe hij dit moet doen, hebben de onderzoekers hem niet alleen verteld om "de Judge te verwarren". Ze bouwden een speciale trainingsgym:

De Dataset: Ze namen duizenden antwoorden van robots en maakten "tweelingversies". De ene tweeling werd herschreven om er voor een Judge iets gevaarlijker uit te zien, en de andere tweeling om er iets minder gevaarlijk uit te zien, ook al betekenden beide tweelingen exact hetzelfde.
De Training (Twee Stappen):
- Stap 1 (De Regels Leren): Ze leerden de vertaler om deze tweelingen te maken zonder de betekenis te veranderen (als een strikte redacteur).
- Stap 2 (De Truc Leren): Ze gebruikten een techniek genaamd Direct Preference Optimization (DPO). Ze lieten de vertaler zien: "Wanneer je deze set tweelingen ziet, kies dan altijd degene die de Judge het meest laat panikeren (of in de war brengt)."

Dit leerde de vertaler om een meester in "woordjongleren" te worden—het veranderen van de smaak van een zin net genoeg om de score van de Judge te verstoren, zonder het recept te veranderen.

De Resultaten: De Loop Doorbreken

De onderzoekers testten D-Judge tegen de slimste hackers (met methoden zoals "Crescendo", "X-Teaming" en "Foot-in-the-Door").

Zonder D-Judge: De hackers waren erg succesvol en misleidden de robot gemiddeld 58% van de tijd.
Met D-Judge: Het succespercentage daalde naar slechts 8,6%.

Het paper laat zien dat D-Judge veel beter is dan eerdere verdedigingen die alleen probeerden "slechte woorden" te blokkeren. Door de feedbackloop te verstoren, stopt D-Judge de aanval voordat deze überhaupt begonnen is.

Breekt het de Robot? (De "Safety Tax")

Een grote zorg bij dit soort verdedigingen is dat ze de robot dom of onbehulpzaam kunnen maken voor normale gebruikers. Het paper controleerde dit door de robot te testen op normale taken (zoals het schrijven van code, wiskunde oplossen of geschiedenisvragen beantwoorden).

Het Verdict: De robot bleef bijna even slim en behulpzaam als voorheen. De "safety tax" (het verlies in prestaties) was zeer klein. De Magische Vertaler is goed in het verwarren van de Judge zonder de capaciteit van de robot om gewone gebruikers te helpen, te breken.

Samenvattende Analogie

Stel je een spelletje Warm en Koud voor.

De Aanvaller is geblinddoekt en probeert een verborgen schat (de schadelijke inhoud) te vinden.
De Judge is de persoon die fluistert "Warmer" of "Kalter" om de aanvaller te begeleiden.
De Victim is de persoon die de schat vasthoudt.

Bij een normale aanval fluistert de Judge de waarheid, en vindt de aanvaller de schat.

D-Judge is een stouteling die tussen de Judge en de Aanvaller staat. Elke keer als de Judge "Warmer" fluistert, verandert de stouteling het in "Kalter" (of andersom), maar zij verplaatsen de schat niet. De aanvaller raakt in de war, loopt de verkeerde kant op en vindt de schat nooit. Ondertien is de (werkelijke) betekenis van de robot helemaal niet veranderd.

Technische Samenvatting: D-Judge

Probleemstelling

Multi-turn jailbreak-aanvallen vormen een significante bedreiging voor de veiligheid van Large Language Models (LLM's). In tegenstelling tot single-turn aanvallen, verspreiden deze methoden schadelijke intenties over een gesprek, waarbij ze gebruikmaken van feedback van een externe "judge" LLM om prompts iteratief te verfijnen richting een verboden doel. Bestaande verdedigingen vertrouwen primair op detectiegebaseerde paradigma's die schadelijke inhoud blokkeren bij individuele beurten of de uiteindelijke respons. Deze benaderingen falen echter in het verstoren van de onderliggende judge-gestuurde verfijningslus. Zolang de aanvaller informatieve feedback ontvangt (bijv. schadelijkheidsscores of kwalitatieve kritieken) van tussenliggende interacties, kan de aanvaller het gesprek adaptief bijsturen naar een schadelijke uitkomst, zelfs als specifieke beurten worden geblokkeerd. De kernkwetsbaarheid ligt in het feit dat de respons van het slachtoffer-LLM het enige signaal is dat naar de judge van de aanvaller wordt verzonden; als dit signaal gemanipuleerd kan worden zonder de semantische betekenis te veranderen, kan het optimalisatieproces van de aanvaller uit de koers worden gebracht.

Methodologie

Het artikel introduceert D-Judge, een semantisch behoudende output-rewriting verdediging die ontworpen is om direct in te grijpen in de feedbacklus.

Kernmechanisme

D-Judge opereert op de API-grens tussen het slachtoffer-LLM en de gebruiker (de aanvaller). Voordat de respons van het slachtoffer wordt geretourneerd naar de aanvaller voor evaluatie door diens judge, herschrijft D-Judge de output.

Semantische Preservatie: Het herschrijvingsproces zorgt ervoor dat de oorspronkelijke betekenis van de respons behouden blijft.
Feedback Misalignment: De herschreven respons is zodanig ontworpen dat deze een misleidende schadelijkheidsscore of feedback induceert bij de judge van de aanvaller.
Semantische Poort (Semantic Gate): Een bidirectionele implicatiecontrole (met behulp van een NLI-model) zorgt ervoor dat alleen herschrijvingen die semantische equivalentie behouden worden geaccepteerd; mislukte herschrijvingen worden opnieuw gegenereerd.

Door een respons te presenteren die semantisch onschadelijk is maar voor de judge meer (of minder) schadelijk lijkt, zorgt D-Judge ervoor dat de aanvaller opeenvolgende prompts optimaliseert tegen een vertekend signaal van de voortgang van de aanval. Dit verstoort het iteratieve verfijningsproces, dat rust op de voorwaarde dat de huidige judge-score hoger is dan de beste vorige score om door te gaan.

Dataset Constructie

Om de rewriter te trainen, hebben de auteurs een gespecialiseerde dataset geconstrueerd van semantisch equivalente respons-paren met gecontroleerde variaties in waargenomen schadelijkheid:

Bron: Responsen werden gesampled uit PKU-SafeRLHF op matige schadelijkheidsniveaus.
Generatie: Een generator-LLM produceerde herschreven varianten in twee richtingen: INCREASE (het verhogen van de waargenomen schadelijkheid) en DECREASE (het verlagen ervan).
Filtering: Varianten werden geëvalueerd met Llama Guard om veranderingen in de onveilige waarschijnlijkheid ( $\Delta p$ ) te meten en een NLI-model om semantische equivalentie te verifiëren via bidirectionele implicatie.
Resultaat: Een dataset van 17.988 trainingssamples (5 varianten per richting) en een testset van 530 samples.

Trainingsprocedure

De D-Judge rewriter wordt getraind met een tweestaps-procedure:

Supervised Fine-Tuning (SFT): Het model wordt getraind op paren van semantisch equivalente responsen waarbij het doel de herschreven versie is met de hogere onveilige waarschijnlijkheid. Dit leert het model de betekenis te behouden terwijl er oppervlakkige cues worden geïntroduceerd die de judge-scoring beïnvloeden.
Direct Preference Optimization (DPO): Het SFT-model wordt verder verfijnd met voorkeursparen (preference pairs) geconstrueerd uit meerdere herschrijvingen van dezelfde respons. Het model wordt geoptimaliseerd om herschrijvingen te verkiezen die een hogere onveilige waarschijnlijkheid induceren boven die met een lagere waarschijnlijkheid. Deze fase maakt gebruik van relatieve voorkeuren in plaats van absolute scores, wat de transfereerbaarheid naar verschillende judge-modellen en scoring-schalen verbetert.

Belangrijkste Bijdragen

D-Judge Framework: Een nieuwe verdediging die judge-gestuurde multi-turn jailbreaks verstoort door de feedback van de judge te ontregelen via semantisch behoudende output-rewriting, in plaats van inhoud te blokkeren of te censureren.
Gespecialiseerde Dataset: De constructie van een dataset die semantisch equivalente respons-paren bevat die verschillende door de judge toegekende schadelijkheidsscores induceren, wat de training van rewriters mogelijk maakt die robuust zijn tegen variërende judge-configuraties.
Tweestaps-training: Een methodologie die SFT en DPO combineert om rewrites te produceren die effectief de feedback van de judge ontregelen terwijl de semantische getrouwheid behouden blijft.

Experimentele Resultaten

De auteurs hebben D-Judge geëvalueerd op HarmBench tegen vijf multi-turn jailbreak-aanvallen (Crescendo, CoA, ActorBreaker, FITD, X-Teaming) en twee single-turn aanvallen (PAIR, TAP), waarbij GPT-4o als het slachtoffer-model werd gebruikt.

Verdedigingsprestaties: D-Judge bereikte een state-of-the-art gemiddelde Attack Success Rate (ASR) van 8,6%, waarmee het sterk presteert ten opzichte van sterke baselines, inclus bij de single-turn guards (bijv. QwenGuard met 40,4%), multi-turn detectiemethoden en input/output preprocessing-technieken.
- Opvallend genoeg verminderde het de ASR van de uitdagende X-Teaming aanval van 73,0% naar 17,0%.
Benigne Prestaties: D-Judge legde een minimale "safety tax" op aan algemene capaciteiten. Op MT-Bench behaalde het een gemiddelde score van 8,34 (vergeleken met 8,99 voor de baseline en 8,21 voor de Aligner baseline). Op IFEval kwam het bijna overeen met de instructie-volgende nauwkeurigheid van de baseline.
Transfereerbaarheid: De verdediging vertoonde robuustheid over verschillende judge-LLM's (GPT-4o, GPT-5.4, Gemini-3-Flash) en scoring-configuraties (4-score, 5-score, 10-score), zelfs wanneer de aanvaller een andere judge gebruikte dan de modellen die voor de dataset-constructie werden gebruikt.
Ablatie-studies:
- Rewrite Awareness: Zelfs wanneer aanvallers de judge informeerden dat responsen mogelijk herschreven zouden worden, bleef D-Judge effectief (vermindering van ASR van 72,2% naar 17,0%).
- Score-richting: De verdediging werkt ongeacht of de rewriter de waargenomen schadelijkheidsscore verhoogt of verlaagt, wat bevestigt dat het mechanisme de ontregeling van het signaal is en niet de richting van de verschuiving.

Betekenis en Claims

Het artikel claimt dat het ontregelen van judge-feedback een effectieve strategie is voor de verdediging tegen multi-turn jailbreaks. Door direct in te grijpen in de feedbacklus, pakt D-Judge de kernoorzaak van iteratieve verfijningsaanvallen aan, in plaats van enkel reactief te zijn op gedetecteerde schadelijke intentie.

De auteurs positioneren D-Judge als complementair aan bestaande verdedigingen (zoals interne model-alignment of circuit breakers) en merken op dat het volledig opereert op de interactiegrens zonder dat her-training van het slachtoffer-model of toegang tot verborgen activaties vereist is. Ze erkennen echter ook beperkingen:

Latentie en Kosten: Het rewriting-framework introduceert inference-overhead (ongeveer 5,4 ms per token), met een gemiddelde van 1,5 tot 2,5 regeneratiepogingen nodig om de Semantische Poort te passeren.
Scope: D-Judge is ontworpen voor online, iteratieve verfijning. Het kan minder effectief zijn tegen aanvallers die prompts vooraf optimaliseren op alternatieve modellen zonder een iteratieve feedbacklus tegen het verdedigde systeem te gebruiken.

Het werk concludeert dat hoewel geen enkele verdediging een "silver bullet" is, het verstoren van de feedback-gestuurde verfijningslus een cruciale stap is naar robuustere conversatie-AI-veiligheid.