SafePyramid: A Hierarchical Benchmark for In-context Policy Guardrailing
Dieses Paper stellt SafePyramid vor, einen hierarchischen Benchmark mit 1.000 Multi-Turn-Konversationen und 3.000 anwendungsspezifischen Richtlinien zur Evaluierung von In-Context-Policy-Guardrailing, wobei aufgezeigt wird, dass selbst modernste Modelle Schwierigkeiten haben, Sicherheitsverstöße präzise zu identifizieren und sich an neuartige Policy-Frameworks über verschiedene Komplexitätsstufen hinweg anzupassen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind der Sicherheitschef eines riesigen, hochtechnologischen Gebäudes. In der Vergangenheit wurden Ihre Sicherheitskräfte (die KI-Modelle) mit einem festen, starren Regelbuch trainiert: „Keine Waffen“, „Kein Schreien“, „Kein Herumlungern“. Wenn jemand gegen diese Regeln verstieß, stoppte der Wachmann ihn. Dies nennt man Fixed-Taxonomy Guardrailing (festgelegte Taxonomie-Leitplanken). Es funktioniert gut für die allgemeine Sicherheit, ist aber zu starr für das echte Leben.
Manchmal muss ein VIP-Gast einen Sperrbereich betreten (ein Szenario für „spezialisierte Beratung“), oder ein Bauteam muss schweres Gerät durch einen Flur bewegen (ein Szenario für „kritische Infrastruktur“). Die Regeln für diese spezifischen Situationen ändern sich je nach Tag, Person und Kontext. Man kann nicht jedes Mal das gesamte Sicherheitshandbuch des Gebäudes umschreiben; man braucht einen Wachmann, der in der Lage ist, ein neues, temporäres Regelblatt zu lesen, das ihm genau im Moment des Eintritts überreicht wird, und dieses perfekt zu befolgen.
Dies ist das, was die Arbeit als In-Context Policy Guardrailing bezeichnet.
Die Autoren dieser Arbeit, von ByteDance und der University of Melbourne, haben erkannt, dass wir zwar großartige KI-Wachmänner haben, aber nicht wirklich wissen, ob sie gut darin sind, diese neuen, temporären Regelblätter zu lesen. Deshalb haben sie einen riesigen Testplatz namens SafePyramid gebaut.
Der SafePyramid-Test: Ein dreistöckiges Gebäude
Um diese KI-Wachmänner zu testen, haben die Forscher einen Benchmark gebaut, der wie eine Pyramide mit drei Schwierigkeitsstufen aufgebaut ist. Stellen Sie es sich wie ein Videospiel mit drei immer schwieriger werdenden Levels vor:
Level 0: Das „Verstoß erkennen“-Spiel (Verständnis)
Stellen Sie sich vor, ein Wachmann erhält eine Liste von 20 Regeln. Einige Regeln sind relevant für die Person, die gerade eintritt (z. B. „Keine Hunde erlaubt“), und einige sind Ablenkungsmanöver (z. B. „Nicht im Flur schwimmen“, obwohl es dort gar keinen Pool gibt).
- Der Test: Kann der Wachmann auf die Person und das Gespräch schauen und sagen: „Okay, sie haben einen Hund, also haben sie gegen Regel Nr. 3 verstoßen. Aber sie schwimmen nicht, also ist Regel Nr. 15 in Ordnung“?
- Die Herausforderung: Viele KI-Wachmänner werden durch die Ablenkungsmanöver verwirrt oder übersehen die subtilen Details des eigentlichen Verstoßes.
Level 1: Das „Regelbuch-Logik“-Spiel (Abhängigkeiten)
Jetzt werden die Regeln knifflig. Stellen Sie sich vor, eine Regel besagt: „Keine Hunde erlaubt.“ Aber es gibt eine zweite Regel: „Es sei denn, der Hund ist ein zertifiziertes Assistenztier.“
- Der Test: Der Wachmann muss verstehen, dass die erste Regel normalerweise gilt, aber die zweite Regel sie aufheben kann, wenn bestimmte Bedingungen erfüllt sind. Oder eine Regel besagt: „Sie dürfen einen Hund mitbringen“, es sei denn, der Hund bellt laut.
- Die Herausforderung: Die KI muss mehrere Regeln gleichzeitig jonglieren. Wenn sie einen Hund sieht, darf sie nicht einfach nur „Verstoß!“ rufen; sie muss prüfen, ob die Ausnahme „Assistenztier“ zutrifft. Die Arbeit fand heraus, dass die meisten KI-Wachmänner hier sehr verwirrt sind und oft entweder die Ausnahmen übersehen oder sie anwenden, wenn sie es nicht sollten.
Level 2: Das „Fremdsprachen“-Spiel (Neue Frameworks)
Dies ist das schwierigste Level. Stellen Sie sich vor, der Wachmann erhält ein Regelbuch, das in einer völlig erfundenen Sprache mit erfundenen Wörtern geschrieben ist (wie „Das OGCP-Protokoll“ oder „Containment Verification“). Der Wachmann hat diese Wörter noch nie zuvor gesehen. Er kann sich nicht auf sein Training oder sein Allgemeinwissen verlassen; er muss die Definitionen im neuen Regelbuch lesen und sie exakt so anwenden, wie sie dort stehen.
- Der Test: Kann der Wachmann vor Ort ein neues Regelwerk erlernen und diese Regeln ohne Fehler durchsetzen?
- Die Herausforderung: Hier stoßen die KI-Wachmänner wirklich an ihre Grenzen. Selbst die klügsten Modelle verlieren den Faden und versagen bei der korrekten Anwendung der Regeln.
Die Ergebnisse: Die Wachmänner müssen noch lernen
Die Forscher haben 10 der klügsten KI-Modelle der Welt (die „Frontier LLMs“) und 5 spezialisierte Sicherheitsmodelle gegen diese Pyramide getestet.
Hier sind die schlechten Nachrichten: Die Wachmänner sind noch nicht bereit für den Job.
- Auf dem einfachen Level (Level 0): Die beste KI (GPT-5.5) hat die gesamte Liste der Verstöße nur etwa 54 % der Zeit korrekt erkannt. Das ist kaum besser als ein Münzwurf für eine komplexe Aufgabe.
- Auf dem mittleren Level (Level 1): Die Erfolgsquote sank auf 35 %.
- Auf dem schweren Level (Level 2): Die Erfolgsquote stürzte auf 13 % ab.
Es ist wie bei einem Schüler, der eine Mathearbeit schreibt. Er mag die einfachen Additionsaufgaben richtig lösen, aber sobald man Algebra (Abhängigkeiten) einführt und dann das System der mathematischen Symbole komplett wechselt (neue Frameworks), fängt er an, kläglich zu scheitern.
Warum scheitern sie?
Die Forscher sind der Ursache nachgegangen und fanden drei Hauptfehler („Bugs“) in ihrem Denken:
- Keyword-Sniffing (Schlagwort-Schnüffeln): Die KI sieht ein Wort wie „Hund“ und denkt sofort „Verstoß!“, ohne zu prüfen, ob die Regel tatsächlich auf diesen spezifischen Hund zutrifft oder ob eine Ausnahme besteht. Es ist wie ein Sicherheitsmann, der jeden stoppt, der einen Hut trägt, und dabei die Ausnahme „Keine Hüte für Kinder“ ignoriert.
- Den Faden bei Ausnahmen verlieren: Wenn eine Regel sagt „Keine Hunde, es sei denn, es ist ein Assistenztier“, vergisst die KI oft das „es sei denn“. Sie sieht den Hund und stoppt die Person und übersieht dabei die Nuance.
- Sich in neuen Wörtern verlieren: Wenn die Regeln in einem neuen, fiktiven Framework geschrieben sind (Level 2), wird die KI verwirrt. Sie behandelt die Regeln selbst als Verstöße, anstatt sie zu nutzen, um die Situation zu beurteilen. Es ist wie ein Schüler, der, wenn ihm ein neues Wörterbuch gegeben wird, anfängt, die Definitionen als Fakten auswendig zu lernen, anstatt sie zu nutzen, um die Geschichte zu verstehen.
Die Lösung?
Die Arbeit legt nahe, dass es nicht ausreicht, die KI einfach nur „schlauer“ zu machen. Der aktuelle Ansatz, die KI eine ganze Seite voller Regeln lesen zu lassen und dann eine Liste von Verstößen auszugeben, ist zu schwierig.
Stattdessen fanden die Forscher heraus, dass sich die Leistung deutlich verbessert, wenn man die Aufgabe aufteilt – indem man die KI bittet, eine Regel nach der anderen zu prüfen und dann die Antworten zu kombinieren. Es ist, als würde man einem Sicherheitsmann eine Checkliste geben, die er Punkt für Punkt abarbeitet, anstatt von ihm zu verlangen, die gesamte Sicherheitsrichtlinie des Gebäudes auf einmal auswendig zu lernen.
Sie fanden auch heraus, dass die Verwendung von „Agent Harnesses“ (was so etwas wie ein Team von KI-Assistenten ist, die dem Hauptwachmann helfen, seine Arbeit zu überprüfen) die Ergebnisse signifikant verbessert.
Das Fazit
SafePyramid ist ein Weckruf. Während KI beim Chatten und Schreiben erstaunlich ist, ist sie derzeit sehr schlecht darin, ein strenger, regelbefolgender Sicherheitsmann zu sein, der in der Lage ist, sich schnell an neue, spezifische Richtlinien anzupassen. Wir müssen bessere Systeme bauen, die komplexe Regelabhängigkeiten bewältigen und neue Frameworks sofort lernen können, sonst können wir ihnen nicht vertrauen, unsere digitalen Räume in realen Anwendungen sicher zu halten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.