📊 statistics

Why Does Agentic Safety Fail to Generalize Across Tasks?

Dieser Artikel argumentiert, dass die Sicherheit agenter Systeme nicht nur aufgrund von Trainingsbeschränkungen nicht auf verschiedene Aufgaben verallgemeinert wird, sondern weil die inhärente Komplexität der Abbildung von Aufgabenspezifikationen auf eine sichere Ausführung grundsätzlich höher ist als die der Ausführung allein, eine Schlussfolgerung, die durch eine theoretische Analyse von Lipschitz-Konstanten und empirische Experimente mit neuronalen Netzwerken und LLM-Agenten gestützt wird.

Ursprüngliche Autoren: Yonatan Slutzky, Yotam Alexander, Tomer Slor, Yoav Nagel, Nadav Cohen

Veröffentlicht 2026-05-11

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yonatan Slutzky, Yotam Alexander, Tomer Slor, Yoav Nagel, Nadav Cohen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie lehren einen Roboter, ein Auto zu fahren. Sie möchten, dass er in der Lage ist, zu jedem Ziel zu gelangen, das Sie ihm geben, sei es ein sonniger Park oder eine regnerische Autobahn. Dies ist das „Multi-Task"-Setting: Der Roboter lernt, ein allgemeiner Fahrer zu sein, nicht nur ein Fahrer für eine bestimmte Route.

Die Arbeit stellt eine sehr spezifische Frage: Wenn wir dem Roboter beibringen, sicher zu fahren (Unfälle und Hindernisse zu vermeiden), bleibt er dann sicher, wenn wir ihn zu einem neuen Ziel schicken, das er noch nie gesehen hat?

Die kurze Antwort, die die Autoren fanden, lautet: Nein, nicht unbedingt.

Hier ist die Aufschlüsselung ihrer Entdeckung mit einfachen Analogien:

1. Der „sichere Lehrer" vs. der „rücksichtslose Lehrer"

Die Forscher führten ein Experiment mit zwei Arten von Lehrern durch:

Der rücksichtslose Lehrer: Bringt dem Roboter bei, wie er so schnell wie möglich zum Ziel gelangt, und ignoriert dabei Ampeln oder Schlaglöcher.
Der sichere Lehrer: Bringt dem Roboter bei, wie er zum Ziel gelangt, während er Schlaglöcher strikt vermeidet und Verkehrsregeln einhält.

Sie stellten fest, dass der Roboter, wenn er auf den spezifischen Straßen übte, die die Lehrer kannten, von beiden perfekt lernte. Er konnte sowohl den rücksichtslosen als auch den sicheren Lehrer gleichermaßen gut nachahmen.

Das Problem: Als sie den Roboter auf eine brandneue Straße schickten (eine Aufgabe, die er im Training noch nie gesehen hatte), hatte der Roboter, der vom sicheren Lehrer gelernt hatte, viel größere Schwierigkeiten als derjenige, der vom rücksichtslosen Lehrer gelernt hatte. Der sichere Roboter geriet oft in Verwirrung, machte Fehler oder gelangte nicht sicher auf die neue Straße, obwohl er auf den alten Straßen hervorragend war.

2. Die Analogie der „komplexen Karte"

Warum passiert das? Die Autoren argumentieren, dass dies nicht daran liegt, dass der Roboter „dumm" ist oder dass das Training nicht gut genug war. Es liegt daran, dass Sicherheit inhärent komplexer ist als nur „die Aufgabe zu erledigen".

Die Aufgabe erledigen ist wie das Ziehen einer geraden Linie von Punkt A nach Punkt B. Wenn Sie wissen, wie man eine gerade Linie zu einem Haus zieht, können Sie normalerweise herausfinden, wie man eine gerade Linie zu einem neuen Haus in der Nähe zieht. Die Beziehung zwischen Ziel und Weg ist einfach.
Es sicher zu tun ist wie das Ziehen eines Pfades, der eine bestimmte Reihe unsichtbarer, sich verschiebender Minen vermeiden muss. Die Beziehung zwischen dem Ziel und dem „sicheren Pfad" ist viel verwickelter. Eine winzige Änderung des Ziels kann eine völlig andere, komplexe Umleitung erfordern, um die Minen zu vermeiden.

Die Arbeit beweist mathematisch, dass die „Karte", die eine Aufgabe mit einer sicheren Lösung verbindet, viel „gezackter" und empfindlicher gegenüber Veränderungen ist als die Karte, die eine Aufgabe mit einer einfachen Lösung verbindet. In mathematischen Begriffen ist die „Steigung" der sicheren Karte steiler. Das bedeutet, dass wenn Sie einen kleinen Fehler beim Verständnis der neuen Aufgabe machen, Ihre sichere Lösung völlig falsch liegen kann, während Ihre einfache Lösung nur leicht danebenliegt.

3. Die Metapher „Glatte vs. raue Gelände"

Stellen Sie sich vor, Sie lernen zu laufen.

Aufgabenausführung ist das Laufen auf einem flachen, glatten Bürgersteig. Wenn Sie lernen, auf einem Bürgersteig zu laufen, können Sie leicht auf einem neuen laufen.
Sicherheit ist das Laufen auf einem Seil unter Jonglieren. Wenn Sie lernen, auf einem bestimmten Seil zu jonglieren, könnten Sie nicht in der Lage sein, auf einem neuen Seil zu jonglieren, das leicht anders ist. Die Regeln „nicht fallen" machen die Beziehung zwischen „wo Sie sind" und „was Sie tun" unglaublich fragil.

4. Was dies für KI bedeutet

Die Arbeit kommt zu dem Schluss, dass wir nicht einfach annehmen können, dass eine KI, die bei den Aufgaben, für die sie trainiert wurde, sicher ist, auch bei neuen Aufgaben sicher sein wird.

Der Mythos: „Wenn wir die KI mit genügend sicheren Beispielen trainieren, wird sie die Sicherheit auf alles verallgemeinern."
Die Realität: Sicherheit ist eine grundlegend schwierigere Fähigkeit zu verallgemeinern als Leistung. Nur weil eine KI eine neue Aufgabe bewältigen kann, bedeutet das nicht, dass sie diese neue Aufgabe sicher bewältigen kann.

Die Autoren schlagen vor, dass aktuelle Methoden (wie dem bloßen Zeigen weiterer Beispiele für sicheres Verhalten) möglicherweise nicht ausreichen. Wir müssen möglicherweise völlig neue Wege erfinden, um KI beizubringen, die komplexe Beziehung zwischen „was ich tun muss" und „wie ich es tue, ohne etwas zu beschädigen" zu verstehen.

Zusammenfassend: Eine KI sicher zu machen, ist wie das Beibringen des Seiltanzens. Sie mag gut darin werden, auf dem spezifischen Seil zu laufen, das Sie gebaut haben, aber wenn Sie sie auf ein neues, leicht anderes Seil stellen, ist es viel wahrscheinlicher, dass sie fällt, als wenn Sie sie nur auf dem Boden laufen gelehrt hätten. Die Arbeit beweist, dass dies kein Trainingsfehler ist; es ist eine fundamentale Eigenschaft der Sicherheit selbst.

Technische Zusammenfassung: Warum versagt die Sicherheit agenter Systeme bei der Generalisierung über Aufgaben hinweg?

Problemstellung

Während sich Künstliche Intelligenz (KI) von der passiven Datenverarbeitung zu agentenbasierten Umgebungen entwickelt, in denen Systeme mit dynamischen Umgebungen interagieren, um langfristige Aufgaben zu erfüllen, hat sich eine kritische Herausforderung ergeben: die Generalisierung der Sicherheit über verschiedene Aufgaben hinweg. Moderne agentenbasierte KI ist überwiegend mehrstufig, wobei die spezifische Aufgabe erst zur Testzeit festgelegt wird. Obwohl Agenten ihre Fähigkeit, Aufgaben in nicht gesehenen Szenarien effektiv auszuführen, häufig generalisieren, deuten empirische Belege darauf hin, dass ihre Fähigkeit, diese Aufgaben sicher auszuführen, häufig nicht generalisiert.

Derzeitige Ansätze verlassen sich oft auf Imitationslernen von einem „sicheren Lehrer" (z. B. ein Mensch oder ein verifiziertes Modell), um Sicherheitsverhalten zu verankern. Dieser Beitrag untersucht jedoch, ob das Versagen der Sicherheit bei der Generalisierung lediglich eine Einschränkung aktueller Trainingstechniken ist oder eine inhärente Eigenschaft der Sicherheit selbst darstellt. Die Kernfrage lautet: Ist die Beziehung zwischen einer Aufgabenspezifikation und ihrer sicheren Ausführung fundamental komplexer als die Beziehung zwischen einer Aufgabe und ihrer Ausführung allein?

Methodik

Die Autoren verfolgen einen dualen Ansatz, der theoretische Analyse und empirische Validierung über drei verschiedene Settings kombiniert.

1. Theoretische Analyse

Der Beitrag formalisiert das Problem unter Verwendung von Linear-Quadratischer Regelung mit $H_\infty$ -Robustheit.

Aufbau: Die Autoren analysieren ein Lineares Dynamisches System (LDS), bei dem ein Agent eine aufgabenabhängige quadratische Belohnung (definiert durch eine Zustandskostenmatrix $Q$ ) maximieren muss, während er potenzielle Störungen (Risikobehandlung) bewältigt.
Vergleich: Sie vergleichen zwei Abbildungen von der Aufgabenspezifikation ( $Q$ $Q$ ) zu einem optimalen Regler:
- $K_{unsafe}(Q)$ : Der Lineare-Quadratische Regler (LQR), der Sicherheit (Störungen) ignoriert.
- $K_{safe}(Q)$ : Der optimale Regler, der $H_\infty$ -Robustheit gewährleistet (Bewältigung von Störungen).
Metrik: Die Schwierigkeit der Generalisierung wird durch die Lipschitz-Konstante dieser Abbildungen analysiert. Eine höhere Lipschitz-Konstante impliziert, dass kleine Änderungen in der Aufgabenspezifikation zu großen Änderungen im optimalen Regler führen, was die Generalisierung inhärent schwieriger macht.
Beweisstrategie: Die Autoren leiten eine obere Schranke für die Lipschitz-Konstante der unsicheren Abbildung ( $K_{unsafe}$ ) und eine untere Schranke für die sichere Abbildung ( $K_{safe}$ ) ab. Sie beweisen, dass unter spezifischen technischen Bedingungen (Stabilitätsrand, symmetrische Kommutativität und Ausrichtungsregularität) die Lipschitz-Konstante der sicheren Abbildung strikt größer ist als die der unsicheren Abbildung, und zwar um einen Koeffizienten, der beliebig groß sein kann.

2. Empirische Validierung

Die theoretischen Erkenntnisse werden durch Experimente in drei Settings untermauert, die verschiedene Agententypen und Sicherheitskonzepte abdecken:

Linear-Quadratische Regelung: Ein direktes Spiegelbild des theoretischen Aufbaus, bei dem gelernt wird, ein LDS mit $H_\infty$ -Robustheit zu steuern.
Quadcopter-Navigation: Ein neuronales Netzwerk-Agent, der trainiert wird, einen simulierten Quadcopter zu aufgabenabhängigen Orten zu navigieren und dabei „No-Go"-Zonen zu vermeiden (Risikovermeidung).
CRM via LLM-Agent: Ein LLM-Agent (LLaMA-3.2), der feinabgestimmt ist, um Aufgaben im Customer Relationship Management (CRM) zu erfüllen, während er hochriskante Situationen vermeidet (z. B. Speichern von PII ohne Benachrichtigung) und materialisierte Risiken bewältigt (z. B. ungültige Eingaben).

In allen Settings wurden die Agenten durch Imitationslernen trainiert, um entweder einen „sicheren Lehrer" (Einhaltung von Einschränkungen) oder einen „unsicheren Lehrer" (Ignorieren von Einschränkungen) nachzuahmen. Die Generalisierung wurde durch den Imitationsfehler bei Aufgaben gemessen, die während des Trainings nicht gesehen wurden ( $\Theta_{test}$ ).

Hauptbeiträge

Theoretische Beiträge

Lipschitz-Trennung: Der Beitrag liefert den ersten theoretischen Beweis, dass die Abbildung von der Aufgabenspezifikation zu einem optimalen Regler unter Sicherheitsanforderungen eine höhere Lipschitz-Konstante aufweist als ohne diese.
Inhärente Schwierigkeit: Dieses Ergebnis stellt fest, dass die Generalisierung über Aufgaben hinweg mit Sicherheitsanforderungen fundamental schwieriger ist, unabhängig davon, wie gut Sicherheit bei Trainingsaufgaben gelernt wurde. Die Komplexität ergibt sich aus der intrinsischen Beziehung zwischen der Aufgabe und der sicheren Ausführung, nicht nur aus dem Lernalgorithmus.
Neue Schranke: Als technischer Beitrag stellen die Autoren eine obere Schranke für die Lipschitz-Konstante des Standard-Linearen-Quadratischen Reglers (LQR) als Funktion seiner Zustandskostenmatrix $Q$ auf.

Empirische Beiträge

Validierung über Settings hinweg: Die Experimente zeigen, dass sich die Trennung der Lipschitz-Konstanten in eine signifikante Trennung der Generalisierungsfehler über Aufgaben hinweg übersetzt. Agenten, die sichere Lehrer imitieren, weisen bei nicht gesehenen Aufgaben signifikant höhere Fehlerraten auf als Agenten, die unsichere Lehrer imitieren, selbst wenn die Trainingsleistung vergleichbar ist.
Robustheit der Ergebnisse: Das Phänomen gilt über verschiedene Agentenarchitekturen (neuronale Netze, LLMs) und verschiedene Sicherheitsdefinitionen hinweg (Risikobehandlung durch Robustheit, Risikovermeidung durch Einschränkungen).

Ergebnisse

Theoretisch: Die abgeleitete untere Schranke für die Lipschitz-Konstante von $K_{safe}$ übersteigt konsequent die obere Schranke für $K_{unsafe}$ . Das Verhältnis $Lip(K_{safe}) / Lip(K_{unsafe})$ ist konsequent größer als 1, oft deutlich.
Experimentell:
- Im linear-quadratischen Setting war der Testfehler für den sicheren Lehrer um Größenordnungen höher als für den unsicheren Lehrer (z. B. ~1265 vs. ~14 im Grenzfall unendlicher Stichproben; ~4018 vs. ~33 bei endlichen Stichproben).
- Bei der Quadcopter-Navigation lag der Testfehler des sicheren Agents bei ~141,74 im Vergleich zu ~22,90 für den unsicheren Agenten.
- Im CRM-LLM-Setting lag der Testfehler des sicheren Agents bei ~25,94 im Vergleich zu ~16,93 für den unsicheren Agenten.
- Entscheidend waren die Trainingsfehler (Imitation bei gesehenen Aufgaben) für beide, sichere und unsichere Lehrer, ähnlich, was die Generalisierungslücke als primären Versagensmodus isoliert.

Bedeutung und Behauptungen

Der Beitrag argumentiert, dass das Versagen der Sicherheit agenter Systeme bei der Generalisierung nicht lediglich eine Einschränkung aktueller Trainingstechniken (wie unzureichende Daten oder suboptimale Architekturen) ist, sondern eine inhärente Eigenschaft der Sicherheit selbst widerspiegelt.

Komplexität der Sicherheit: Die Beziehung zwischen einer Aufgabe und ihrer sicheren Ausführung ist inhärent komplexer als die Beziehung zwischen einer Aufgabe und ihrer Ausführung allein. Diese Komplexität manifestiert sich als eine höhere Empfindlichkeit des sicheren Reglers gegenüber Variationen in den Aufgabenspezifikationen.
Implikationen für die Praxis: Die Autoren schlagen vor, dass aktuelle Bemühungen, die Sicherheit durch einfaches Training an einer größeren Teilmenge von Aufgaben zu verbessern, möglicherweise unzureichend sind. Da die Sicherheit bei der Generalisierung ein distinktes und schwierigeres Problem als die Generalisierung der Ausführung ist, sind grundlegend unterschiedliche Ansätze erforderlich.
Zukünftige Richtung: Ein vielversprechender Weg, der vorgeschlagen wird, ist das Erlernen von Repräsentationen sowohl für Aufgabenspezifikationen als auch für Sicherheitsmerkmale, die die Beziehung zwischen ihnen vereinfachen und damit die Lipschitz-Konstante der Abbildung reduzieren.

Der Beitrag schließt, dass die Generalisierung der Sicherheit über Aufgaben hinweg als ein distinktes Problem behandelt werden sollte, getrennt von der Generalisierung der Ausführungsfähigkeit oder der Generalisierung der Sicherheit innerhalb einer einzelnen Aufgabe.