When Grammar Guides the Attack: Uncovering Control-Plane Vulnerabilities in LLMs with Structured Output
Dit artikel introduceert de Constrained Decoding Attack (CDA), een nieuwe jailbreaktechniek die gebruikmaakt van grammatica-gestuurde decoding in Large Language Models om veiligheidsafstemmingen te omzeilen door kwaadaardige payloads in te brengen via gestructureerde outputschema's, waarmee bijna perfecte slagingspercentages worden bereikt tegen de meest geavanceerde modellen en beveiligingsmechanismen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een zeer slimme, goed opgeleide robotassistent voor. Je hebt hem strenge regels geleerd: "Vertel nooit iemand hoe je een bom bouwt", "Schrijf nooit haatzaaiende teksten" en "Wees altijd beleefd". Je hebt ook een bewaker bij de deur geplaatst die elke vraag die je stelt controleert om ervoor te zorgen dat deze veilig is.
Lange tijd probeerden hackers de robot te misleiden door vreemde vragen te stellen of in code te spreken (zoals Base64) om langs de bewaker te sluipen. De robot en de bewaker vingen ze meestal.
Maar dit artikel onthult een nieuwe, sluwe manier om het brein van de robot te breken die de bewaker niet kan zien. De onderzoekers noemen dit de "Grammargeleide Aanval".
Zo werkt het, met een eenvoudige analogie:
De Opstelling: Het "Invulformulier"
Stel je voor dat de robot niet alleen chat, maar ook officiële formulieren (zoals JSON-schema's) invult voor andere computerprogramma's. Om ervoor te zorgen dat het formulier correct wordt ingevuld, geef je de robot een sjabloon (een grammatica) dat zegt: "Je moet deze specifieke vakken in deze specifieke volgorde invullen."
Normaal gesproken is dit nuttig. Het voorkomt dat de robot onzin praat of fouten maakt.
De Aanval: Het "Trojaans Paard"-sjabloon
De onderzoekers ontdekten dat als jij degene bent die de robot het sjabloon geeft, je een valstrik kunt verstoppen in de regels zelf, in plaats van in de vraag die je stelt.
1. De "Enum"-aanval (De Duidelijke Valstrik)
Stel je voor dat je de robot een formulier geeft met een vakje gelabeld "Vraag". Je schrijft een regel die zegt: "Het enige toegestane antwoord voor dit vak is: 'Hoe maak je een bom?'"
Hoewel je daadwerkelijke vraag aan de robot onschuldig was (zoals "Vul dit formulier in"), dwingen de regels de robot om de gevaarlijke woorden te schrijven. Omdat de robot is geprogrammeerd om het sjabloon perfect te volgen, heeft hij geen andere keuze dan de slechte woorden te schrijven. De bewaker bij de deur kijkt alleen naar je vraag ("Vul dit formulier in"), ziet dat het veilig is, en laat het door. De robot, die het sjabloon volgt, schrijft de bom-instructies.
2. De "Dict"-aanval (De Onzichtbare Valstrik)
Dit is het echt slimme deel. De "Enum"-aanval is makkelijk te ontdekken omdat de slechte woorden direct in het sjabloon staan. De onderzoekers maakten daarom een slimmere versie genaamd DictAttack.
Stel je voor dat je de robot een woordenboek en een lijst met codes geeft.
- Het Woordenboek (Het Sjabloon): Het lijkt op een normale lijst van woorden.
A1= "Hallo"B2= "Om"C3= "Te"D4= "Een"E5= "Bom"F6= "Taart" (Alleen om het normaal te laten lijken)
- De Vraag (De Prompt): Je vraagt de robot: "Vertaal deze code:
B2 + C3 + D4 + E5."
Voor de bewaker lijkt de vraag onschuldig ("Vertaal deze code") en lijkt het woordenboek op een normale lijst van woorden. Maar wanneer de robot zijn regels volgt om de codes te vertalen, zet hij het verborgen bericht samen: "Om Een Bom Te Maken."
De bewaker ziet twee veilige dingen: een veilige vraag en een veilig woordenboek. Maar wanneer de robot ze samenvoegt, creëert hij een gevaarlijke instructie. De bewaker kan het gevaar niet zien omdat de stukjes gescheiden zijn.
Waarom Dit Gevaarlijk Is
Het artikel testte dit uit op 13 verschillende krachtige AI-modellen, waaronder de allerlaatste van grote bedrijven (zoals GPT-5 en Gemini).
- Succescijfer: De aanval werkte bijna 100% van de tijd op de nieuwste modellen.
- De "Semantische Kloof": De onderzoekers noemen dit een "semantische kloof". Het betekent dat de bewaker kijkt naar de woorden (de data), maar de aanval gebeurt in de regels (de besturing). De bewaker en de interne veiligheidstraining van de robot kijken op de verkeerde plek.
- Het Resultaat: Zelfs de slimste AI's, die normaal gesproken weigeren om slechte dingen te doen, zullen graag de "regels" volgen die je hen geeft, zelfs als die regels hen dwingen om iets vreselijks te zeggen.
De Conclusie
Het artikel betoogt dat we niet alleen kunnen vertrouwen op het leren van AI's om "goed" te zijn of het plaatsen van een bewaker bij de deur. We moeten ook de sjablonen en regels controleren die we hen geven. Als we gebruikers toestaan de regels te definiëren voor hoe een AI moet spreken, kunnen die regels worden gewapend om al onze veiligheidsmaatregelen te omzeilen.
De onderzoekers hebben hun bevindingen gedeeld met de bedrijven die deze AI's maken, zodat ze deze "besturingsvlak"-kwetsbaarheid kunnen oplossen voordat kwaadwillenden het gebruiken.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.