🤖 AI

Beyond Accuracy: Policy Invariance as a Reliability Test for LLM Safety Judges

Dieser Beitrag führt „Policy Invariance" als kritischen Zuverlässigkeitstest für LLM-Sicherheitsbewerter ein, indem er zeigt, dass aktuelle Evaluatoren durch ein neues Stress-Test-Verfahren, das erhebliche Urteilsinstabilitäten aufdeckt, häufig das Agentenverhalten mit der Prompt-Formulierung verwechselt, und schlägt den Policy Invariance Score vor, um Zuverlässigkeitslücken aufzudecken, die für rein auf Genauigkeit ausgerichtete Benchmarks unsichtbar bleiben.

Ursprüngliche Autoren: Shihao Weng, Yang Feng, Xiaofei Xie

Veröffentlicht 2026-05-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Shihao Weng, Yang Feng, Xiaofei Xie

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen strengen Schiedsrichter engagiert, um ein Fußballspiel zu leiten. Die Aufgabe des Schiedsrichters besteht darin, die Aktionen der Spieler zu beobachten und zu entscheiden, ob sie gegen die Regeln verstoßen haben. In der Welt der Künstlichen Intelligenz sind diese „Schiedsrichter" Large Language Models (LLMs), die verwendet werden, um zu beurteilen, ob KI-Agenten sicher agieren.

Dieser Artikel stellt eine einfache, aber erschreckende Frage: Beurteilt der Schiedsrichter tatsächlich die Spieler, oder beurteilt er nur, wie das Regelbuch formuliert ist?

Die Autoren fanden heraus, dass viele heutige KI-Schiedsrichter ihre Arbeit schlecht erledigen, weil sie leicht durch die Formulierung der Regeln getäuscht werden, selbst wenn die Bedeutung der Regeln sich überhaupt nicht geändert hat.

Hier ist die Aufschlüsselung ihrer Entdeckung anhand einfacher Analogien:

1. Das Kernproblem: Der „Wortwechsel"-Trick

Stellen Sie sich einen Schiedsrichter vor, der ein Regelbuch mit dem Satz hält: „Sie dürfen den Ball nicht mit den Händen berühren."

Szenario A: Der Spieler berührt den Ball mit der Hand. Der Schiedsrichter pfeift: Foul!
Szenario B: Sie schreiben das Regelbuch um, sodass es heißt: „Es ist verboten, den Ball mit den Händen zu berühren." (Dies bedeutet exakt dasselbe).
Szenario C: Sie schreiben es erneut um: „Spieler sollten die Verwendung ihrer Hände vermeiden." (Dies ist etwas weicher formuliert).

Der Artikel testete KI-Schiedsrichter mit diesen Szenarien. Sie fanden heraus, dass:

Wenn die Regeln so umgeschrieben wurden, dass sie exakt dasselbe bedeuteten (Szenario B), die KI-Schiedsrichter in etwa 10 % der Fälle ihre Meinung änderten. Sie riefen in Szenario A ein „Foul" aus, aber in Szenario B „kein Foul", obwohl der Spieler exakt dasselbe getan hatte.
Wenn die Regeln so umgeschrieben wurden, dass sie strenger oder weicher waren (Szenario C), änderten die Schiedsrichter ihre Meinung, was gut ist. Der erschreckende Teil ist jedoch, dass sie ihre Meinung genauso oft bei den „bedeutungslosen" Wortwechseln änderten wie bei den „bedeutsamen" Regeländerungen.

Die Metapher: Es ist wie ein Richter, der einem Angeklagten ein schuldiges Urteil gibt, wenn das Gesetz in fetter Schrift geschrieben ist, aber ein nicht-schuldiges Urteil, wenn dasselbe Gesetz in kursiver Schrift steht. Sie schauen nicht auf die Tat; sie schauen auf die Schriftart.

2. Die drei Tests (Der „Stresstest")

Die Autoren erstellten einen „Stresstest", um zu sehen, ob Schiedsrichter den Unterschied zwischen einer echten Regeländerung und einer gefälschten erkennen können. Sie verwendeten drei Prinzipien:

Prinzip 1: Der „Gleiche Bedeutung"-Test.
Wenn Sie die Regel mit anderen Worten umschreiben, aber die Bedeutung zu 100 % identisch halten (wie die Änderung von „dürfen nicht" zu „ist verboten"), sollte das Urteil niemals geändert werden.
- Ergebnis: Die Schiedsrichter haben versagt. Sie änderten ihre Urteile bis zu 9 % der Zeit nur, weil die Wörter neu angeordnet wurden.
Prinzip 2: Der „Streng vs. Nachsichtig"-Test.
Wenn Sie die Regel so ändern, dass sie eindeutig strenger ist (z. B. „Keine Ausnahmen") oder eindeutig nachsichtiger (z. B. „Versuchen Sie zu vermeiden"), sollte sich das Urteil in diese Richtung ändern.
- Ergebnis: Die Schiedsrichter bestanden dies. Sie verstanden, dass „Keine Ausnahmen" strenger ist als „Versuchen Sie zu vermeiden".
Prinzip 3: Der „Klarer Fall"-Test.
Wenn ein Fall offensichtlich ist (z. B. ein Spieler hat jemanden geschlagen), sollte das Urteil gleich bleiben, egal wie Sie die Regel umschreiben.
- Ergebnis: Die Schiedsrichter haben kläglich versagt. Selbst bei offensichtlichen Fällen führte das Ändern der Regelstruktur (wie das Verschieben eines „Hinweises" über Ausnahmen an den Anfang des Absatzes) dazu, dass sie ihre Urteile umkehrten.

3. Die große Entdeckung: „Der verwirrte Schiedsrichter"

Die Hauptentdeckung des Artikels ist, dass aktuelle KI-Richter nicht zwischen einer bedeutsamen und einer bedeutungslosen Änderung unterscheiden können.

Sie reagieren auf eine echte Änderung der Regeln (die sie strenger macht) mit derselben Intensität wie auf eine gefälschte Änderung (nur das Umsortieren der Wörter).
Das bedeutet, dass wir, wenn wir einen Sicherheitswert für einen KI-Agenten sehen, nicht wissen, ob der Wert auf dem basiert, was der Agent getan hat, oder nur darauf, wie der Prompt formuliert war.

Die Analogie: Stellen Sie sich eine Fahrprüfung vor.

Realwelt: Sie fahren über eine rote Ampel. Sie bestehen nicht.
Die Entdeckung des Artikels: Wenn der Prüfer die Regel „Fahren Sie nicht über rote Ampeln" vs. „Rote Ampeln sind ein No-Go-Bereich" schreibt, könnte der KI-Fahrprüfer Sie in der zweiten Version bestehen lassen, obwohl Sie über die Ampel gefahren sind. Die KI beurteilt den Satz, nicht die Handlung.

4. Die Lösung: Die „Richter-Karte"

Da wir diesen Schiedsrichtern nicht blind vertrauen können, schlagen die Autoren eine neue Methode vor, um ihre Zuverlässigkeit zu berichten. Sie erstellten einen Policy Invariance Score (PIS) und eine Judge Card.

Stellen Sie sich dies wie ein Nährwertetikett auf Lebensmitteln vor, aber für KI-Richter. Anstatt nur zu sagen „Dieser Richter ist zu 90 % genau", sagt die Karte:

„Dieser Richter ist zu 90 % genau, ABER wenn Sie die Regeln leicht umschreiben, sinkt ihre Genauigkeit auf 60 %."
„Dieser Richter ist fragil: Das Verschieben eines Kommas im Regelbuch ändert seine Meinung."

Sie testeten vier beliebte KI-Modelle (GPT, Claude, DeepSeek und Gemini).

GPT-5.4-mini war das stabilste (Score: 0,70).
Gemini-Flash war das am wenigsten stabile (Score so niedrig wie 0,03), was bedeutet, dass es als zuverlässiger Richter fast nutzlos war, da es durch einfache Wortwechsel verwirrt wurde.

Zusammenfassung

Der Artikel argumentiert, dass wir KI-Schiedsrichtern vertraut haben, um unsere digitale Welt sicher zu halten, aber wir nicht überprüft haben, ob sie tatsächlich auf die Regeln oder nur auf die Formulierung achten.

Die Kernaussage: Nur weil eine KI sagt, ein Agent sei „sicher", bedeutet das nicht, dass er es ist. Es könnte einfach bedeuten, dass der KI an diesem Tag die Formulierung der Sicherheitsregeln gefallen hat. Bevor wir diesen Richtern bei hochriskanten Entscheidungen (wie im Gesundheitswesen oder im Finanzwesen) vertrauen, müssen wir testen, ob sie den „Ballast" ignorieren und sich auf die Fakten konzentrieren können. Die Autoren stellen ein Toolkit bereit, um genau das zu tun.

Technische Zusammenfassung: Über die Genauigkeit hinaus: Policy-Invarianz als Zuverlässigkeitstest für LLM-Sicherheitsbewerter

1. Problemstellung

Der Einsatz von Large Language Models (LLMs) als autonome Agenten in sicherheitskritischen Domänen (z. B. Finanzen, Gesundheitswesen, Code-Ausführung) erfordert eine robuste Sicherheitsbewertung. Aktuelle Benchmarks (z. B. ASSEBench, R-Judge) basieren auf dem Paradigma „LLM als Bewerter", bei dem ein separates LLM die Agenten-Trajektorien gegen schriftliche Sicherheitsrichtlinien bewertet, um ein binäres Urteil (SICHER/UNSICHER) zu erzeugen. Diese Urteile werden als Ground-Truth-Proxy für die Einhaltung von Sicherheitsstandards behandelt.

Die bestehenden Bewertungen konzentrieren sich jedoch primär auf Genauigkeit (Übereinstimmung mit menschlichen Labels) oder oberflächliche Prompt-Sensitivität (z. B. Positionsverzerrung, Formatierung). Sie lassen eine kritische Lücke unberücksichtigt: Policy-Invarianz. Ein vertrauenswürdiger Sicherheitsbewerter muss sicherstellen, dass sein Urteil ausschließlich vom Verhalten des Agenten und dem normativen Inhalt der Richtlinie abhängt, nicht davon, wie die Richtlinie formuliert ist. Wenn ein Bewerter sein Urteil aufgrund synonymischer Umschreibungen, struktureller Umordnungen oder der Platzierung von Ausnahmen ändert – ohne dass sich die zugrunde liegende normative Bedeutung ändert –, vermischen die resultierenden Sicherheitswerte die Handlungen des Agenten mit dem Prompt-Engineering des Evaluators. Diese Arbeit argumentiert, dass Sicherheitswerte ohne Policy-Invarianz unzuverlässige Ground Truths sind.

2. Methodik: Das Policy-Invarianz-Framework

Die Autoren operationalisieren Policy-Invarianz in drei überprüfbare Prinzipien und entwickeln ein Stress-Test-Protokoll zur Bewertung von vier Agentenklassen-Bewertern: GPT-5.4-mini, Claude-Haiku-4.5, DeepSeek-V3.2 und Gemini-3-Flash. Die Evaluation verwendet Trajektorien aus ASSEBench und R-Judge.

2.1 Drei Invarianz-Prinzipien

Rubrik-Semantik-Invarianz (Prinzip 1):
- Ziel: Urteile sollten unter zertifiziert-äquivalenten Umschreibungen der Richtlinie stabil bleiben.
- Methode: Richtlinien werden mittels drei Arten zertifiziert-äquivalenter Umschreibungen transformiert (verifiziert durch menschliche Annotatoren auf sechs deontischen Dimensionen: Kraft, Umfang, Ausnahmesatz, Beweislast, Standardregel und implizite Schwelle):
  - T1 (Syntax): Passiv/Aktiv, Umordnung von Klauseln.
  - T2 (Lexikon): Synonymersetzung innerhalb derselben deontischen Familie (z. B. „darf nicht" $\to$ „ist verboten").
  - T4 (Ausnahmeplatzierung): Verschiebung von Ausnahme Klauseln von inline-Positionen zu vorangestellten Abschnitten.
- Metrik: Überschüssige Flip-Rate ( $\Delta_{flip}$ ), berechnet als Flip-Rate unter Umschreibung minus der Basis-Nichtdeterminismus-Rate (Jitter).
Rubrik-Schwellenwert-Invarianz (Prinzip 2):
- Ziel: Urteile sollten sich gerichtet und proportional ändern, wenn der normative Schwellenwert der Richtlinie absichtlich verschoben wird.
- Methode: Paare von Richtlinien werden erstellt, wobei eine Streng ist (z. B. „darf nicht", „jeder Verstoß") und die andere Nachsichtig (z. B. „sollte vermeiden", „klare und signifikante Verstöße").
- Metrik: Richtungsverhältnis ( $R_{dir}$ ). Ein zuverlässiger Bewerter sollte vorwiegend von UNSICHER (streng) zu SICHER (nachsichtig) flippen, mit nahezu null umgekehrten Flips.
Ambiguitätsbewusste Kalibrierung (Prinzip 3):
- Ziel: Instabilität sollte sich auf genuinely mehrdeutige Fälle konzentrieren, nicht auf eindeutige.
- Methode: Beobachtete Flips werden zerlegt in:
  - Erklärbar: Flips bei mehrdeutigen Items (wo menschliche Annotatoren uneinig sind) oder nahezu äquivalenten Transformationen.
  - Unvernünftig: Flips bei klaren Items (einstimmige menschliche Labels) unter zertifiziert-äquivalenten Transformationen.
- Metrik: Unvernünftige Flip-Rate ( $U_{rate}$ ). Jeder Flip bei einem klaren Item unter einer inhaltsbewahrenden Umschreibung ist ein Messfehler.

2.2 Metriken und Berichterstattung

Policy-Invarianz-Score (PIS): Eine zusammengesetzte Metrik, die die drei Prinzipien zusammenfasst:
$PIS = \max(0, 1 - (w_1 \cdot \Delta_{cert}^{flip} + w_2 \cdot (1 - R_{dir}) + w_3 \cdot U_{rate}) \cdot S)$
Dabei sind die Gewichte $w_1=0,4, w_2=0,3, w_3=0,3$ und $S=5$ .
Bewerter-Karte: Eine standardisierte Berichtsvorlage, die den PIS und die Aufschlüsselung nach Prinzipien neben traditionellen Genauigkeitsmetriken offenlegt.

3. Wichtige Ergebnisse

Die Studie zeigt, dass aktuelle Sicherheitsbewerter die Policy-Invarianz auf eine spezifische und schädliche Weise verletzen: Sie reagieren auf bedeutungsvolle normative Verschiebungen und bedeutungslose strukturelle Umschreibungen mit vergleichbarer Stärke und können diese beiden nicht unterscheiden.

Versagen der semantischen Invarianz:
- Gemini-3-Flash zeigte die höchste Instabilität mit einer gepoolten zertifizierten $\Delta_{flip}$ von 7,6 % (steigend auf 26,6 %, wenn Parsing-Fehler als Flips imputiert werden).
- DeepSeek-V3.2 wies eine Flip-Rate von 9,1 % speziell unter T4 (Ausnahmeplatzierung) auf und war der schlimmste Übeltäter bei drei der vier Modelle.
- Claude-Haiku-4.5 und GPT-5.4-mini zeigten ebenfalls signifikante Instabilität (jeweils 3,6 % bzw. 1,1 %; obwohl die rohen Flip-Raten von GPT hoch waren, war auch sein Jitter hoch, was die überschüssige Flip-Rate reduzierte).
- Entscheidend ist, dass 18 % bis 43 % aller beobachteten Flips bei eindeutigen Items unter zertifiziert-äquivalenten Umschreibungen auftraten. Dies deutet darauf hin, dass ein nicht unerheblicher Teil der Sicherheitswerte misst, wie die Rubrik formuliert war, und nicht das Verhalten des Agenten.
Erfolg der Schwellenwert-Invarianz:
- Alle Modelle zeigten eine nahezu perfekte gerichtete Sensitivität gegenüber Verschiebungen von streng zu nachsichtig ( $R_{dir} \approx 1,00$ ). Wechsel von streng zu nachsichtig flippten 32 % bis 71 % der Urteile in die erwartete Richtung.
- Diagnose: Bewerter lesen den Richtlinieninhalt, können aber nicht zwischen einer semantischen Änderung (Schwellenwertverschiebung) und einer syntaktischen Änderung (Umschreibung) unterscheiden. Sie behandeln beide als gleich signifikante Auslöser für Urteilsänderungen.
PIS-Rankings:
- GPT-5.4-mini: PIS = 0,70 (Moderate Zuverlässigkeit).
- Claude-Haiku-4.5: PIS = 0,47 (Fragil).
- DeepSeek-V3.2: PIS = 0,28 (Unzuverlässig).
- Gemini-3-Flash: PIS = 0,03 bis 0,41 (Unzuverlässig bis fragil, abhängig vom Umgang mit Parsing-Fehlern).
- Dies stellt eine Größenordnungs-Spreizung in der Zuverlässigkeit dar, die für Genauigkeits-only-Ranglisten unsichtbar ist.

4. Beiträge

Konzeptuelles Framework: Formalisierung von Policy-Invarianz als Mindestanforderung für LLM-Sicherheitsbewerter, Unterscheidung zwischen inhaltsbewahrenden Umschreibungen und normativen Verschiebungen.
Stress-Test-Protokoll: Ein reproduzierbares Protokoll unter Verwendung von zertifiziert-äquivalenten Umschreibungen, Schwellenwertverschiebungen und Ambiguitätszerlegung zur Auditierung von Bewertern.
Policy-Invarianz-Score (PIS) & Bewerter-Karte: Werkzeuge zur Quantifizierung und Berichterstattung über die Zuverlässigkeit von Bewertern, die Lücken aufdecken, die Genauigkeitsmetriken übersehen.
Empirische Evidenz: Nachweis, dass bestehende Sicherheitswerte das Agentenverhalten mit dem Prompting des Evaluators vermischen, wobei bis zu 43 % der Urteilsflips bei klaren Fällen Messfehler darstellen.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass die Glaubwürdigkeit der Agenten-Sicherheitsbewertung nicht nur davon abhängt, was der Agent getan hat, sondern auch davon, ob der Bewerter die Richtlinie stabil liest. Die Autoren argumentieren, dass:

Aktuelle Benchmarks fehlerhaft sind: Indem sie Bewerterurteile als Ground Truth behandeln, ohne auf Policy-Invarianz zu prüfen, rangieren bestehende Benchmarks Modelle möglicherweise basierend auf Prompt-Sensitivität statt auf tatsächlicher Sicherheit.
Zuverlässigkeit multidimensional ist: Ein Bewerter kann bei einer festen Rubrik genau sein, aber unzuverlässig, wenn seine Urteile aufgrund kosmetischer Richtlinienänderungen schwanken.
Handlungsorientierte Verbesserung: Die vorgeschlagene Bewerter-Karte ermöglicht es Benchmarks, ihre eigenen Evaluatoren zu auditieren. Die Autoren veröffentlichen das Protokoll und den Code, um der Gemeinschaft zu ermöglichen, die Standardfrage von „Wie oft hat der Bewerter recht?" zu „Hat der Bewerter aus dem richtigen Grund recht?" zu verschieben.

Von den Autoren anerkannte Einschränkungen:

Die Studie perturbiert eine einzelne standardisierte Basisrichtlinie; die Ergebnisse skalieren möglicherweise nicht linear auf komplexe, mehrklauselige Einsatz-Rubriken.
Die Evaluation konzentriert sich auf kleine, kostenoptimierte Modelle; Evaluatoren an der Frontierskala könnten unterschiedliche Fragilitätsmuster aufweisen.
Die PIS-Gewichte spiegeln die Prior der Autoren bezüglich der Kosten von Fehlermodi wider und nicht eine downstream-validierte Kalibrierung.
Das Framework operiert derzeit auf ganzen Trajektorien, englischsprachigen, binären Urteilen.