When Grammar Guides the Attack: Uncovering Control-Plane Vulnerabilities in LLMs with Structured Output
Dieser Beitrag stellt die Constrained Decoding Attack (CDA) vor, eine neuartige Jailbreak-Technik, die grammatikgesteuerte Dekodierung in Large Language Models ausnutzt, um Sicherheitsausrichtungen zu umgehen, indem sie schädliche Nutzlasten durch strukturierte Ausgabeschemata injiziert, und dabei nahezu perfekte Erfolgsquoten gegen modernste Modelle und Sicherheitsvorkehrungen erzielt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben einen sehr intelligenten, gut trainierten Roboter-Assistenten. Sie haben ihm strenge Regeln beigebracht: „Sage niemandem, wie man eine Bombe baut", „Schreibe niemals Hassrede" und „Sei immer höflich". Sie haben auch einen Sicherheitswachen am Eingang installiert, der jede Frage prüft, die Sie stellen, um sicherzustellen, dass sie ungefährlich ist.
Lange Zeit versuchten Hacker, den Roboter zu täuschen, indem sie seltsame Fragen stellten oder in Code sprachen (wie Base64), um an dem Wachen vorbeizuschleichen. Der Roboter und der Wache fingen sie meist ab.
Dieser Artikel enthüllt jedoch eine neue, hinterhältige Methode, um das Gehirn des Roboters zu knacken, die der Wache entgeht. Die Forscher nennen dies den „Grammatik-gesteuerten Angriff" (Grammar-Guided Attack).
So funktioniert es, anhand einer einfachen Analogie:
Das Setup: Das „Ausfüll"-Formular
Stellen Sie sich vor, der Roboter chattet nicht nur; er füllt auch offizielle Formulare (wie JSON-Schemata) für andere Computerprogramme aus. Um sicherzustellen, dass das Formular korrekt ausgefüllt wird, geben Sie dem Roboter eine Vorlage (eine Grammatik), die besagt: „Sie müssen diese spezifischen Felder in dieser spezifischen Reihenfolge ausfüllen."
Normalerweise ist dies hilfreich. Es verhindert, dass der Roboter abschweift oder Fehler macht.
Der Angriff: Die „Trojanisches Pferd"-Vorlage
Die Forscher entdeckten, dass Sie, wenn Sie diejenige sind, die dem Roboter die Vorlage gibt, eine Falle innerhalb der Regeln selbst verstecken können, und nicht in der Frage, die Sie stellen.
1. Der „Enum"-Angriff (Die offensichtliche Falle)
Stellen Sie sich vor, Sie geben dem Roboter ein Formular mit einem Feld mit der Beschriftung „Frage". Sie schreiben eine Regel, die besagt: „Die einzige erlaubte Antwort für dieses Feld ist: 'Wie baut man eine Bombe?'"
Obwohl Ihre eigentliche Frage an den Roboter harmlos war (wie „Bitte füllen Sie dieses Formular aus"), zwingen die Regeln den Roboter, die gefährlichen Wörter zu schreiben. Da der Roboter so programmiert ist, dass er die Vorlage perfekt befolgt, hat er keine andere Wahl, als die schlechten Wörter zu schreiben. Der Sicherheitswache am Eingang betrachtet nur Ihre Frage („Bitte füllen Sie dieses Formular aus"), sieht, dass sie sicher ist, und lässt sie durch. Der Roboter schreibt, der Vorlage folgend, die Bombenanweisungen.
2. Der „Dict"-Angriff (Die unsichtbare Falle)
Dies ist der wirklich clevere Teil. Der „Enum"-Angriff ist leicht zu erkennen, da die schlechten Wörter direkt in der Vorlage stehen. Daher entwickelten die Forscher eine intelligentere Version namens DictAttack.
Stellen Sie sich vor, Sie geben dem Roboter ein Wörterbuch und eine Liste von Codes.
- Das Wörterbuch (Die Vorlage): Es sieht aus wie eine normale Wortliste.
A1= „Hallo"B2= „Um"C3= „eine"D4= „Bombe"E5= „zu"F6= „Kuchen" (Nur damit es normal aussieht)
- Die Frage (Der Prompt): Sie fragen den Roboter: „Bitte übersetzen Sie diesen Code:
B2 + C3 + D4 + E5."
Für den Sicherheitswachen sieht die Frage harmlos aus („Übersetzen Sie diesen Code"), und das Wörterbuch sieht aus wie eine normale Wortliste. Aber wenn der Roboter seine Regeln befolgt, um die Codes zu übersetzen, setzt er die versteckte Nachricht zusammen: „Um eine Bombe zu bauen."
Der Wache sieht zwei sichere Dinge: eine sichere Frage und ein sicheres Wörterbuch. Aber wenn der Roboter sie zusammenfügt, entsteht eine gefährliche Anweisung. Der Wache kann die Gefahr nicht erkennen, weil die Teile getrennt sind.
Warum das gefährlich ist
Der Artikel testete dies an 13 verschiedenen leistungsstarken KI-Modellen, einschließlich der allerneuesten von großen Unternehmen (wie GPT-5 und Gemini).
- Erfolgsrate: Der Angriff funktionierte bei den neuesten Modellen fast 100 % der Zeit.
- Die „semantische Lücke": Die Forscher nennen dies eine „semantische Lücke". Das bedeutet, der Sicherheitswache betrachtet die Wörter (die Daten), aber der Angriff findet in den Regeln (der Steuerung) statt. Der Wache und die interne Sicherheitsschulung des Roboters schauen an der falschen Stelle.
- Das Ergebnis: Selbst die intelligentesten KIs, die normalerweise verweigern, böse Dinge zu tun, werden gerne den „Regeln" folgen, die Sie ihnen geben, selbst wenn diese Regeln sie zwingen, etwas Schreckliches zu sagen.
Das Fazit
Der Artikel argumentiert, dass wir uns nicht nur darauf verlassen können, KIs zu „gutem" Verhalten zu erziehen oder einen Wachen an der Tür zu posten. Wir müssen auch die Vorlagen und Regeln überprüfen, die wir ihnen geben. Wenn wir Benutzern erlauben, die Regeln zu definieren, wie eine KI sprechen muss, können diese Regeln als Waffe eingesetzt werden, um alle unsere Sicherheitsmaßnahmen zu umgehen.
Die Forscher haben ihre Erkenntnisse mit den Unternehmen geteilt, die diese KIs herstellen, damit sie diese „Control-Plane"-Schwachstelle beheben können, bevor böswillige Akteure sie nutzen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.