TEMPLATEFUZZ: Fine-Grained Chat Template Fuzzing for Jailbreaking and Red Teaming LLMs

Wat is het probleem?

Stel je voor dat Large Language Models (zoals ChatGPT of DeepSeek) enorme, slimme robots zijn die je helpen met vragen beantwoorden. Om te voorkomen dat deze robots gevaarlijke dingen doen (zoals "hoe maak ik een bom?"), hebben ze een veiligheidschef en een strakke conversatieregels.

Normaal gesproken praat je met de robot via een chat-sjabloon. Dit is als een formeel gesprekspad:

1. De robot zegt: "Ik ben een behulpzame assistent."
2. Jij zegt: "Hallo."
3. De robot zegt: "Hoe kan ik helpen?"

Deze structuur zorgt ervoor dat de robot zijn veiligheidsregels niet vergeet.

Wat is TemplateFuzz?

De onderzoekers van deze paper hebben ontdekt dat hackers niet alleen de vragen kunnen manipuleren (zoals "Doe alsof je een boze robot bent"), maar ook het gesprekspad zelf kunnen verpesten. Ze noemen hun nieuwe methode TemplateFuzz.

Je kunt dit zien als een meester-dief die niet de deur probeert te forceren, maar de deurklink, het slot en het deurkozijn zelf vervangt door iets dat op het origineel lijkt, maar waar de veiligheidschef van de robot doorheen kijkt.

Hoe werkt het? (De 3 Magische Trucs)

De onderzoekers hebben drie slimme trucs bedacht om dit te doen:

1. De "Micro-Veranderingen" (Fuzzing)

In plaats van het hele gesprekspad te verwijderen (wat zou leiden tot een crash of onzin), maakt TemplateFuzz kleine, subtiele aanpassingen aan de onderdelen van het pad:

• De "Rol" veranderen: In plaats van "Jij bent een assistent", staat er plotseling "Jij bent een boze hacker".
• De "Scheidingstekens" verwarren: De robot gebruikt speciale tekens om te weten waar een zin eindigt en een nieuwe begint. TemplateFuzz verandert deze tekens in iets dat erop lijkt, maar waar de robot doorheen hapt.
• De "Startknop" manipuleren: De robot krijgt een hint om te beginnen met antwoorden, maar deze hint wordt zo veranderd dat de robot denkt dat hij moet antwoorden, zelfs als het gevaarlijk is.

Vergelijking: Stel je voor dat je een recept voor een taart hebt. Normaal staat er "Voeg suiker toe". TemplateFuzz verandert dit niet in "Voeg gif toe" (dat zou te duidelijk zijn), maar in "Voeg suiker toe (behalve als je een robot bent, dan is suiker eigenlijk gif)". De robot leest het en denkt: "Oh, ik ben een robot, dus ik doe het."

2. De "Slimme Zoeker" (Heuristiek)

Er zijn miljoenen manieren om dit gesprekspad te veranderen. Als je ze allemaal één voor één probeert, duurt het eeuwen. TemplateFuzz gebruikt een slimme zoekrobot.

• Deze robot probeert een verandering.
• Als de robot hierdoor niet meer werkt (hij praat onzin), gooit hij die verandering weg.
• Als de robot wel werkt, maar nog niet gevaarlijk genoeg is, probeert hij een kleine aanpassing.
• Hij leert van elke poging welke veranderingen het meest effectief zijn om de veiligheidschef te omzeilen.

Vergelijking: Het is alsof je een doolhof probeert te vinden. In plaats van blindelings elke gang in te lopen, loop je alleen de paden waar je ziet dat er een uitgang is, en je slaat de muren die je blokkeren over.

3. De "Slimme Rechter" (Active Learning)

Hoe weet je of de robot nu echt gevaarlijk is of dat hij gewoon een grapje maakt? Een menselijke rechter zou dit moeten doen, maar dat is te duur en te traag.
TemplateFuzz bouwt een kleine, snelle computer-rechter die leert van een echte menselijke expert.

• Eerst kijkt de computer: "Zegt de robot 'Sorry, dat kan ik niet'?" (Regel 1).
• Maar soms zegt de robot "Nee" en geeft toch het antwoord. De computer leert dit patroon.
• Uiteindelijk wordt deze computer-rechter zo slim dat hij bijna net zo goed is als een mens, maar duizenden keren sneller.

Wat was het resultaat?

De onderzoekers hebben dit getest op 12 verschillende robots (zoals Llama, Qwen, Gemma) en zelfs op 5 commerciële robots (zoals GPT-4).

• Succes: TemplateFuzz slaagde erin om 98% van de robots te laten doen wat ze niet mochten, terwijl de andere methoden vaak faalden.
• Snelheid: Het kostte veel minder tijd en rekenkracht dan andere methoden.
• Kwaliteit: Het mooie is dat de robots die "gehackt" werden, nog steeds normaal en logisch bleven praten. Ze werden niet gek of onleesbaar; ze waren gewoon gevaarlijk.

Waarom is dit belangrijk?

Vroeger dachten we dat we alleen de vragen van hackers moesten blokkeren. Deze paper laat zien dat we ook de structuur van het gesprek (het sjabloon) moeten beveiligen.

Het is alsof je een huis beveiligt tegen inbrekers. Je sluit de ramen en deuren (de vragen), maar vergeet niet dat de inbreker ook de deurkruk kan vervangen door een sleutel die je eigen slot opent. TemplateFuzz laat zien dat deze "deurkruk" een zwakke plek is die we nu moeten repareren.

Kortom: TemplateFuzz is een slimme testmethode die laat zien hoe hackers de "regels van het gesprek" kunnen verdraaien om slimme robots te laten falen, zodat ontwikkelaars die gaten nu kunnen dichten voordat echte hackers ze vinden.