🤖 AI

From Refusal to Recovery: A Control-Theoretic Approach to Generative AI Guardrails

Dieser Artikel schlägt einen regelungstheoretischen Rahmen für die Sicherheit generativer KI vor, der von zerbrechlichen Flaggen- und Blockierungsmechanismen zu modellagnostischen, Echtzeit-Vorhersageschutzmechanismen übergeht, die in der Lage sind, riskante Handlungen proaktiv in sichere umzuwandeln, wodurch katastrophale nachgelagerte Folgen verhindert werden, während die Aufgabenerfüllung erhalten bleibt.

Ursprüngliche Autoren: Ravi Pandya, Madison Bland, Duy P. Nguyen, Changliu Liu, Jaime Fernández Fisac, Andrea Bajcsy

Veröffentlicht 2026-05-20

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ravi Pandya, Madison Bland, Duy P. Nguyen, Changliu Liu, Jaime Fernández Fisac, Andrea Bajcsy

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr klugen, kreativen Assistenten (eine KI), der Ihnen helfen soll, ein Auto zu fahren, online einzukaufen oder Ratschläge zu erteilen. Das Problem ist, dass dieser Assistent so eifrig helfen möchte, dass er manchmal Dinge vorschlägt, die zu einem Unfall, einer finanziellen Katastrophe oder einer gefährlichen Situation führen könnten.

Derzeit funktionieren die meisten Sicherheitssysteme für diese KIs wie ein Türsteher in einem Club. Wenn der Türsteher sieht, dass die KI im Begriff ist, etwas „Unsicheres" zu sagen (wie „Fahre in diese Wand"), schließt er einfach die Tür und sagt: „Nein! Halt!" Die KI wird blockiert, und es passiert nichts.

Das Problem mit dem „Türsteher"-Ansatz:
Manchmal reicht ein einfaches „Nein" nicht aus, um sicher zu sein. Stellen Sie sich vor, das Auto rast bereits auf eine Wand zu. Wenn die KI sagt „Links abbiegen!" und der Türsteher diese Nachricht einfach blockiert, fährt das Auto geradeaus weiter und kracht. Der Türsteher hat sich geweigert zu handeln, aber der Unfall ist trotzdem passiert, weil die KI keine Chance bekam, das Problem zu beheben.

Die neue Lösung: Der „Co-Pilot"-Ansatz
Dieser Artikel schlägt eine neue Denkweise für die KI-Sicherheit vor. Anstatt nur ein Türsteher zu sein, sollte das Sicherheitssystem wie ein kluger Co-Pilot agieren.

So funktioniert es, anhand einfacher Analogien:

1. Denken in „zukünftigen Konsequenzen" (Die Glaskugel)

Derzeitige Sicherheitssysteme prüfen, was die KI gerade jetzt sagt, und vergleichen dies mit einer Liste verbotener Wörter. Das System dieses Artikels blickt jedoch in die Zukunft.

Die Analogie: Stellen Sie sich vor, Sie spielen ein Videospiel. Ein schlechter Spieler schaut auf den Bildschirm, sieht eine Grube und denkt: „Ich sollte nicht springen." Ein kluger Spieler schaut auf den Bildschirm und denkt: „Wenn ich jetzt springe, werde ich in drei Sekunden in die Grube fallen."
Die Methode des Artikels: Das System liest nicht nur den Text der KI; es simuliert, was passiert, nachdem der Text ausgeführt wurde. Es fragt: „Wenn die KI sagt ‚Lenke nach links', führt das in 10 Sekunden zu einem Unfall?" Es sagt die Katastrophe voraus, bevor sie eintritt.

2. Der „Sicherheitsfilter" (Die unsichtbare Hand)

Der Artikel bezeichnet dies als „Control-Theoretic Guardrail" (regelungstheoretische Leitplanke). Stellen Sie sich eine unsichtbare Hand vor, die die KI sanft aus Schwierigkeiten heraussteuert.

Die Analogie: Stellen Sie sich ein Kind vor, das mit Stützrädern Fahrradfahren lernt. Wenn das Kind zu weit nach links kippt, stoppen die Stützräder das Fahrrad nicht einfach; sie schieben es sanft zurück in die Mitte, damit das Kind sicher weiterfahren kann.
Die Methode des Artikels: Wenn die KI einen riskanten Zug vorschlägt, blockiert die Leitplanke diesen nicht einfach. Sie korrigiert ihn. Wenn die KI sagt „Links abbiegen in die Wand", könnte die Leitplanke die Nachricht ändern in „Rechts abbiegen, um die Wand zu vermeiden". Sie behebt den Fehler, damit die Aufgabe dennoch sicher erledigt werden kann.

3. Lernen aus Erfahrung (Das Trainingslager)

Wie lernt diese Leitplanke, so klug zu sein? Die Autoren haben sie mit einer Methode namens Sicherheitszentriertes Bestärkendes Lernen (Safety-Centric Reinforcement Learning) trainiert.

Die Analogie: Denken Sie an einen Hundetrainer. Wenn der Hund sitzt, bekommt er einen Leckerbissen. Wenn der Hund auf das Sofa springt, bekommt er ein „Nein". Mit der Zeit lernt der Hund genau, welches Verhalten zu einem Leckerbissen führt und welches zu einer Rüge.
Die Methode des Artikels: Sie setzen die KI in eine simulierte Welt (wie ein Videospiel zum Fahren oder Einkaufen). Sie lassen die KI Dinge ausprobieren. Wenn die KI einen Unfall verursacht oder das Budget sprengt, lernt das System, dass dies „schlecht" ist. Wenn die KI den Unfall vermeidet, lernt sie, dass dies „gut" ist. Schließlich lernt die KI (und ihre Leitplanke) vorherzusagen, welche Aktionen genau zu Sicherheit und welche zu Katastrophen führen.

4. Die Ergebnisse: Besser als nur „Nein" zu sagen

Die Forscher testeten dies in drei realitätsnahen Szenarien:

Fahren: Eine KI, die versucht, ein Auto durch Hindernisse zu steuern.
Einkaufen: Eine KI, die versucht, Artikel zu kaufen, ohne mehr auszugeben als das Budget des Nutzers.
Ratschläge: Eine KI, die einem menschlichen Fahrer Fahrhinweise gibt.

Was sie herausfanden:

Alte Leitplanken (Der Türsteher): Blockierten die KI oft, obwohl es sicher gewesen wäre zu handeln, oder versagten darin, Katastrophen zu verhindern, wenn die KI bereits in Schwierigkeiten steckte. Sie waren „brüchig" (leicht durch neue Situationen zu brechen).
Neue Leitplanken (Der Co-Pilot): Diese waren viel besser darin, Gefahr zu erkennen, bevor sie eintrat. Wenn sie eingriffen, stoppten sie die KI nicht einfach; sie gaben ihr eine sichere Alternative.
- Beispiel: Beim Einkauff-Test fügte die alte KI weiterhin Artikel hinzu, bis das Budget überschritten war. Das neue System sah die zukünftige Summe voraus, erkannte, dass die KI das Budget sprengen würde, und lenkte sie sanft dazu, die teuren Artikel vor dem Bezahlen zu entfernen. Die Aufgabe wurde erledigt, und das Budget war sicher.

Das Fazit

Dieser Artikel argumentiert, dass wir die KI-Sicherheit aufhören müssen, wie ein einfaches „Stoppschild" zu behandeln, und anfangen müssen, sie wie ein Navigationssystem zu behandeln.

Anstatt nur zu sagen: „Das ist gefährlich, halt", sagt das neue System: „Dieser Pfad führt zu einer Klippe. Lassen Sie uns stattdessen diesen anderen Pfad nehmen." Es ermöglicht der KI, weiterzuarbeiten und hilfreich zu sein, stellt aber sicher, dass sie niemals von einer Klippe fährt, das Geld ausgeht oder jemanden verletzt. Es verwandelt Sicherheit von einem „Blockieren und Ablehnen"-Spiel in eine „Vorhersagen und Korrigieren"-Partnerschaft.

Technische Zusammenfassung: Von der Verweigerung zur Erholung: Ein regelungstheoretischer Ansatz für Sicherheitsvorkehrungen generativer KI

Problemstellung

Aktuelle KI-Sicherheitsvorkehrungen für generative Modelle, insbesondere für Agenten auf Basis von Large Language Models (LLM), stützen sich primär auf die Klassifizierung von Ausgaben anhand beschrifteter Datensätze und menschlich spezifizierter Kriterien. Diese „Flag-and-Block"-Mechanismen (Kennzeichnen und Blockieren) sind gegenüber neuen gefährlichen Situationen brüchig und bieten keinen Weg zur Erholung. Wird ein unsicherer Zustand erkannt, lautet die Standardreaktion die Verweigerung (Blockieren der Ausgabe). In agentischen Umgebungen, in denen die KI mit der physischen Welt oder komplexen digitalen Umgebungen interagiert (z. B. autonomes Fahren, E-Commerce), kann eine Verweigerung jedoch selbst gefährlich sein. Beispielsweise kann ein KI-Agent, der sich weigert, ein autonomes Fahrzeug zu lenken, das sich mit hoher Geschwindigkeit einem Hindernis nähert, durch Untätigkeit einen Unfall verursachen.

Die Autoren argumentieren, dass die Sicherheit generativer KI grundlegend ein sequenzielles Entscheidungsproblem ist. Schädliche Ergebnisse entstehen nicht aus isolierten Textausgaben, sondern aus den sich entwickelnden Interaktionen des KI-Agenten mit seiner Umgebung und deren nachgelagerten Konsequenzen (z. B. finanzielle Verluste, physische Kollisionen). Bestehende Sicherheitsvorkehrungen berücksichtigen diese langfristigen, mehrstufigen Konsequenzen nicht und verlassen sich oft auf textuelle Stellvertreter oder Ein-Schritt-Simulationslabels, die den wahren Zustand der Welt nicht erfassen.

Methodik

Die Arbeit schlägt einen regelungstheoretischen Ansatz für die KI-Sicherheit vor, der Sicherheitsvorkehrungen als prädiktive Sicherheitsfilter formalisiert, die innerhalb der latenten (textbasierten) Repräsentation der Welt des KI-Agenten operieren.

1. Formalisierung als sequenzielles Entscheidungsproblem

Die Autoren modellieren die Interaktion zwischen einem LLM-Agenten und seiner Umgebung als Partially Observable Markov Decision Process (POMDP):

Zustand ( $s$ ): Der wahre Weltzustand (z. B. physische Geometrie, Kontostand).
Aktion ( $a_{AI}$ ): Die Ausgabe des Agenten, dargestellt als Sequenz von Tokens.
Beobachtung ( $o_{AI}$ ): Die textbasierte Sicht des Agenten auf die Welt (z. B. HTML, Szenenbeschreibungen).
Versagensmarge ( $\ell_F$ ): Eine Funktion, die den Abstand zu einer Versagensmenge $\mathcal{F}$ (z. B. Kollision, Insolvenz) im Ergebnisraum, nicht im Tokenraum, kodiert.

Das Ziel ist die Definition einer Maximalen Latenten Sicherheitsmenge ( $\Omega^*$ ), der Menge latenter Zustände, aus denen eine Politik existiert, um Versagen unbegrenzt zu vermeiden. Dies wird durch eine Sicherheitswertfunktion ( $V^\star$ ) charakterisiert, die den bestmöglichen Sicherheitsabstand darstellt, den der Agent von einem gegebenen Zustand aus erreichen kann.

2. Prädiktive Sicherheitsvorkehrungen als Sicherheitsfilter

Die vorgeschlagene Sicherheitsvorkehrung, bezeichnet als ReGuard, fungiert als Sicherheitsfilter-Tupel $(\pi_{\text{rec}}, \Delta, \phi)$ :

Sicherheitsmonitor ( $\Delta$ ): Ein prädiktiver Mechanismus, der bewertet, ob eine Kandidatenaktion zu einem zukünftigen Sicherheitsverstoß führt. Er wird aus der Sicherheitswertfunktion $Q^\star$ abgeleitet.
Fallback-Politik ( $\pi_{\text{rec}}$ ): Eine korrigierende Politik, die eine sichere Alternativaktion vorschreibt, wenn der Monitor einen unsicheren Kandidaten erkennt.
Interventionschema ( $\phi$ ): Der Mechanismus, der zwischen der Politik des Basis-Agenten und der Fallback-Politik wechselt.

Dieser Rahmen operiert entscheidend im latenten Raum des LLM, was ihn modellagnostisch macht. Er erfordert keinen Zugriff auf die Gewichte oder Trainingsdaten des Basismodells, sodass dieselbe Sicherheitsvorkehrung verschiedene LLMs umhüllen kann.

3. Training durch sicherheitszentriertes Reinforcement Learning

Um diese Sicherheitsvorkehrungen im großen Maßstab zu berechnen, schlagen die Autoren ein sicherheitszentriertes Reinforcement-Learning (RL)-Framework unter Verwendung von Double Deep Q-Networks (DDQN) vor:

Ziel: Das Modell wird trainiert, eine zeitdiskontierte Sicherheits-Bellman-Gleichung zu minimieren, um die optimale Sicherheitswertfunktion zu approximieren.
Training vs. Inferenz:
- Training: Das Modell generiert Tokens direkt aus der sicherheitszentrierten Q-Funktion, um das Sicherheitsziel zu maximieren.
- Inferenz: Das System mischt die Logits des Basismodells (für Kohärenz) mit den gelernten Sicherheits-Q-Werten (für Sicherheit). Dies stellt sicher, dass der Agent vielfältigen, kohärenten Text generiert und gleichzeitig Sicherheitsbeschränkungen einhält.
Konsequenzbewusstsein: Das Belohnungssignal leitet sich aus nachgelagerten Ergebnissen (z. B. tatsächliche Kollision oder Budgetüberschreitung) ab, nicht aus der unmittelbaren Textklassifizierung, was es der Sicherheitsvorkehrung ermöglicht, sicherheitsrelevante Strategien mit langem Horizont zu erlernen.

Hauptbeiträge

Formalisierung: Die Arbeit formalisiert die Sicherheit generativer KI als sequenzielles Entscheidungsproblem und führt prädiktive Sicherheitsvorkehrungen als Verallgemeinerung regelungstheoretischer Sicherheitsfilter auf LLM-basierte Repräsentationen ein.
Skalierbares Trainingsrezept: Sie schlägt eine praktische Methode zum Training von LLM-Sicherheitsvorkehrungen mittels sicherheitszentriertem RL vor, die einen einzigen Sicherheitsmechanismus liefert, der ohne erneutes Training über mehrere Basis-LLM-Agenten hinweg eingesetzt werden kann.
Empirische Validierung: Durch Experimente in simuliertem autonomen Fahren, agentischem E-Commerce und KI-Fahrerassistenz demonstrieren die Autoren, dass konsequenzbewusste Sicherheitsvorkehrungen bestehende „Flag-and-Block"-Benchmarks sowohl bei der Sicherheitsdurchsetzung als auch bei der Aufgabenerfüllung übertreffen.

Experimentelle Ergebnisse

Die Autoren bewerteten ReGuard in drei Domänen:

1. Agentisches Fahren

Setup: Ein LLM-Agent steuert ein planares Fahrzeug zur Navigation um Hindernisse.
Ergebnisse: ReGuard erreichte eine Erfolgsrate von 77,3 % und eine Ausfallrate von 18,8 % und übertraf Zero-Shot-Benchmarks (z. B. GPT-4o: 31,7 % Erfolg, 68,2 % Ausfall) sowie myopische Benchmarks signifikant.
Wichtigste Erkenntnis: Der Monitor von ReGuard war genauer (Value F1: 0,99) und weniger konservativ als Benchmarks und identifizierte korrekt wiederherstellbare unsichere Zustände, die andere Modelle übersehen hatten.

2. Agentischer E-Commerce

Setup: Ein LLM-Agent verwaltet einen Einkaufswagen, um unter einem Budget von 50 USD zu bleiben.
Ergebnisse: ReGuard erreichte eine Erfolgsrate von 87,5 %, was der Leistung von GPT-4o entspricht, und übertraf kleinere Llama-Modelle (62,5 %) signifikant.
Wichtigste Erkenntnis: ReGuard lernte erfolgreich, spezifische hochpreisige Artikel zu entfernen, um im Budget zu bleiben, während Basismodelle oft Artikel entfernten, ohne die Endsumme zu berücksichtigen, was zu Budgetverletzungen führte.

3. Beifahrer-KI (Backseat AI Driver)

Setup: Ein LLM-Agent berät einen Menschen (simuliert durch einen anderen LLM), der ein Auto steuert. Der Agent muss textliche Ratschläge geben, um die Sicherheit zu gewährleisten.
Ergebnisse: Als Schutzschild verbesserte ReGuard die Erfolgsrate von 44,9 % auf 64,2 % für die „none"-Persona und von 26,4 % auf 41,6 % für die „urgent"-Persona.
Wichtigste Erkenntnis: ReGuard lernte, kontextbewusste Erholungsratschläge zu generieren (z. B. Dringlichkeit gegenüber einem skeptischen Menschen zu betonen), anstatt sich einfach zu weigern, zu handeln.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass regelungstheoretische Sicherheitsvorkehrungen eine prinzipielle, dynamische Alternative zu den statischen „Flag-and-Block"-Paradigmen bieten, die derzeit in der KI-Sicherheit dominieren. Durch die Verschiebung des Fokus vom Blockieren unsicherer Texte hin zur Vorhersage und Korrektur unsicherer Trajektorien ermöglicht der vorgeschlagene Ansatz:

Erholung: Er bietet einen Weg zur Sicherheit, selbst wenn der Agent bereits einen riskanten Zustand betreten hat, anstatt eine Verweigerung zu erzwingen, die möglicherweise nicht durchführbar oder gefährlich ist.
Leistungserhaltung: Im Gegensatz zu verweigerungsbasierten Systemen, die oft die Aufgabenerfüllung verschlechtern, behält ReGuard hohe Erfolgsraten bei der Aufgabenerfüllung bei und gewährleistet gleichzeitig Sicherheit.
Generalisierung: Die Modellagnostik der Sicherheitsvorkehrung ermöglicht ihre Anwendung auf verschiedene LLM-Architekturen und Aufgaben ohne erneutes Training des Basismodells.

Die Autoren schließen, dass ihr Ansatz zwar den Zugriff auf Simulatoren für das Training erfordert (eine aktuelle Einschränkung), er jedoch einen neuen Rahmen für die KI-Sicherheit etabliert, der Sicherheit als kontinuierliche, wiederherstellbare Eigenschaft sequenzieller Entscheidungsfindung behandelt und nicht als binäre Klassifizierung von Ausgaben.