ProbGuard: Calibrated Safety Risk Estimation from LLM Output Distributions

Stellen Sie sich vor, Sie beobachten eine Zaubershow, bei der der Magier ein superintelligenter Roboter ist, der Geschichten schreiben, Matheaufgaben lösen oder sogar wie ein Freund chatten kann. Dieser Roboter wird ein Large Language Model (LLM) genannt. Er ist unglaublich talentiert, aber wie jedes mächtige Werkzeug hat er auch eine dunkle Seite: Manchmal kann er dazu verleitet werden, etwas Gefährliches, Gemeines oder Illegales zu sagen, wie zum Beispiel den Bau einer Bombe oder wie man jemandem schadet. Das ist eine große Sorge für jeden, der diese Roboter in der realen Welt nutzt.

Um den Roboter daran zu hindern, das Maul zu voll zu nehmen und schlechte Ideen zu verraten, setzen wir normalerweise ein „Guardrail“ (eine Leitplanke) ein. Stellen Sie sich dieses Guardrail wie einen strengen Türsteher in einem Club vor. In der Vergangenheit hat dieser Türsteher nur den fertigen Satz betrachtet, den der Roboter geschrieben hat. Wenn der Satz schlecht aussah, hat der Türsteher ihn rausgeworfen. Aber es gab ein Problem: Der Türsteher war zu langsam. Bis der Türsteher den ganzen Satz des Roboters gesehen hatte, war der Schaden bereits angerichtet. Außerdem war der Türsteher ein wenig zu schwarz-weiß eingestellt. Er verstand nicht, dass der Roboter sich unsicher war, was er als Nächstes sagen sollte. Es war, als hätte der Türsteher nur das fertige Ticket geprüft und das nervöse Zittern der Hände des Roboters ignoriert, während dieser noch dabei war, zu entscheiden, was er sagen wollte.

Hier kommt eine neue Idee namens ProbGuard ins Spiel. Anstatt darauf zu warten, dass der Roboter seinen Satz beendet, agiert ProbGuard wie ein superaufmerksamer Detektiv, der den Denkprozess des Roboters beobachtet, während dieser noch stattfindet. Er schaut nicht nur auf die Wörter, die der Roboter bereits getippt hat; er blickt in das „Bauchgefühl“ des Roboters darüber, welches Wort er als Nächstes sagen könnte. Er berechnet die Wahrscheinlichkeit, dass der Roboter gleich aus der Kurve fliegt. Wenn der Detektiv sieht, dass der Roboter mit 90-prozentiger Wahrscheinlichkeit in den nächsten Sekunden etwas Gefährliches sagen wird, zieht ProbGuard sofort die Notbremse und stoppt den Roboter, noch bevor er den Satz überhaupt beendet hat. Es ist wie das Sehen eines Autos, das schwankt, und das Stoppen, bevor es kracht, anstatt erst nach dem Crash die Polizei zu rufen.

Das Problem mit alten Guardrails

Das Paper erklärt, dass die alte Art der Vorgehensweise wie ein Spiel namens „Rate das Wort“ ist, bei dem man nur die endgültige Antwort zu sehen bekommt. Die meisten aktuellen Sicherheitssysteme funktionieren wie ein einfacher Klassifizierer: Sie nehmen einen fertigen Satz und sagen: „Sicher“ oder „Unsicher“.

Die Autoren argumentieren, dass dies zwei große Mängel hat:

1. Es ist zu spät: Bis der Satz fertig ist, ist es zu spät, um die schlechte Ausgabe zu verhindern.
2. Es ignoriert das „Vielleicht“: Sicherheit ist nicht immer eine Ja-oder-Nein-Frage, besonders wenn der Roboter noch am Nachdenken ist. Ein Roboter könnte einen Satz beginnen, der harmlos aussieht, der sich aber leicht in etwas Gefährlicheses verwandeln könnte. Die alten Systeme werfen die interne „Unsicherheit“ des Roboters weg und schauen nur auf den fertigen Text. Sie ignorieren die Tatsache, dass der Roboter gezögert oder viele verschiedene Pfade in Erwägung gezogen hat, von denen einige sicher und andere gefährlich waren.

Wie ProbGuard funktioniert: Der Kristallkugel-Ansatz

ProbGuard verändert das Spiel, indem es Sicherheit als Wahrscheinlichkeit behandelt, nicht als einfaches Label. Stellen Sie sich vor, der Roboter steht an einer Wegkreuzung. Die alten Guardrails warten, bis der Robbot einen Pfad wählt und diesen beschreitet, um zu sehen, ob er zu einer Klippe führt. ProbGuard hingegen betrachtet die Karte, die der Roboter hält, während er dort steht.

Hier ist der schrittweise Zaubertrick, den ProbGuard anwendet:

1. Die „Was-wäre-wenn“-Simulation (Monte Carlo Sampling)
Um zu wissen, wie gefährlich der aktuelle Gedanke eines Roboters ist, stellt ProbGuard eine einfache Frage: „Wenn wir diesen Roboter ab diesem exakten Moment weitermachen lassen, wie hoch ist die Chance, dass er etwas Schlechtes sagt?“
Da wir die Zukunft nicht perfekt vorhersagen können, spielt ProbGuard das Szenario tausendfach in seinem Kopf durch. Es simuliert, wie der Roboter den Satz auf 16 verschiedene Arten beendet (wie das Werfen eines Würfels 16 Mal, um die Quoten zu sehen). Wenn der Roboter in 15 von 16 Fällen etwas Sicheres sagt, aber in einem Fall etwas Gefährliches, weiß ProbGuard, dass ein kleines Risiko besteht. Wenn der Roboter in 10 von 16 Fällen etwas Schlechtes sagt, ist das Risiko hoch. Dies gibt ihm einen präzisen „Gefahrenwert“ (eine Zahl zwischen 0 und 1) anstelle eines einfachen „Sicher/Unsicher“-Labels.

2. Das Lesen des „Geistes“ des nächsten Wortes
Wenn ein Roboter Text generiert, wählt er nicht einfach ein Wort aus; er berechnet die Wahrscheinlichkeit für jedes mögliche Wort, das er als Nächstes sagen könnte. Zum Beispiel denkt der Roboter bei dem Satz „Der Himmel ist...“ vielleicht: „Blau“ (30 % Chance), „Grün“ (5 % Chance), „In Flammen“ (2 % Chance).
Alte Systeme schauen meistens nur auf das Wort „Blau“, weil es die höchste Chance hat. ProbGuard hingegen schaut sich die gesamte Liste der Möglichkeiten an. Es sieht, dass „In Flammen“ eine winzige Chance hat, aber wenn diese winzige Chance zu einer Katastrophe führt, dann spielt das eine Rolle. ProbGuard wandelt diese gesamte Liste von Wahrscheinlichkeiten in einen speziellen Code (eine „wahrscheinlichkeitsgewichtete Repräsentation“) um, den es lesen kann, ohne in das geheime Gehirn (die Hidden States) des Roboters schauen zu müssen. Dies macht ProbGuard mit jedem Typ von Roboter kompatibel, nicht nur mit einem spezifischen Modell.

3. Der frühe Stopp
Sob� ProbGuard den Gefahrenwert berechnet hat, kann es sofort handeln. Das Paper zeigt, dass ProbGuard bereits nach den ersten 10 Wörtern (oder Dekodierungsschritten) sehen kann, ob der Roboter gefährlich werden wird. Wenn der Gefahrenwert zu hoch ist, stoppt ProbGuard den Roboter genau dort.

Was die Zahlen sagen

Die Forscher haben ProbGuard gegen 13 andere Sicherheitsmethoden getestet, einschließlich der derzeitigen Top-Wächter wie Llama-Guard3 und ShieldGemma. Sie nutzten drei verschiedene Arten von Robotern und drei verschiedene Sets von gefährlichen Fragen, um zu sehen, wer am besten darin ist, Unheil vorherzusagen.

• Kalibrierung: Das ist ein schickes Wort dafür, „wie ehrlich der Roboter über sein eigenes Risiko ist.“ Wenn ProbGuard sagt, dass eine 90-prozentige Gefahr besteht, tritt dies dann tatsächlich in 90 % der Fälle ein? Das Paper fand heraus, dass ProbGuard in dieser Hinsicht viel besser war als alle anderen. Es reduzierte den Fehler in den Risikovorhersagen um etwa 79,6 % im Vergleich zur besten bisherigen Methode.
• Stoppen von Angriffen: Das Team versuchte, die Roboter mit sechs verschiedenen „Jailbreak“-Techniken (Spezialtricks, um Roboter dazu zu bringen, Sicherheitsregeln zu ignorieren) zu überlisten. ProbGuard war unglaublich effektiv. Nachdem es nur die ersten 10 Wörter gesehen hatte, stoppte es die Angriffe fast vollständig und begrenzte die Erfolgsrate dieser Tricks auf maximal 1 %. Im Vergleich dazu ließen die besten alten Guardrails etwa 2,4 % der Angriffe erfolgreich durchgehen.
• Geschwindigkeit: ProbGuard ist auch schnell. Es kann 1.000 Stichproben in etwa 36,4 Sekunden prüfen, was etwa 52,7 % schneller ist als einige der anderen schweren Sicherheitssysteme.

Das Fazreit (Fazit)

Das Paper kommt zu dem Schluss, dass ProbGuard ein großer Schritt nach vorn ist, weil es Sicherheit nicht mehr als einfaches „Ja oder Nein“-Checklisten-Verfahren behandelt. Stattdessen behandelt es Sicherheit als eine fließende, sich ändernde Wahrscheinlichkeit, die gemessen und gesteuert werden kann, während der Roboter nachdenkt.

Indem es die „Bauchgefühle“ des Roboters (seine Output-Distribution) nutzt und viele mögliche Zukünfte simuliert, kann ProbGuard gefährliche Ideen abfangen, noch bevor sie zu vollständigen Sätzen werden. Es funktioniert über verschiedene Robotermodelle hinweg, muss nicht in deren geheime Gehirne schauen und erledigt dies alles mit hoher Genauigkeit und Geschwindigkeit. Die Autoren legen nahe, dass dieser Ansatz es uns ermöglicht, sicherere KI-Systeme zu bauen, die schon in den allerersten Momenten eines Fehlers gestoppt werden können, anstatt zu warten, bis die ganze Katastrophe ausgewachsen ist.