Position: A Three-Layer Probabilistic Assume-Guarantee Architecture Is Structurally Required for Safe LLM Agent Deployment

Technisches Fazit: Eine dreischichtige probabilistische Annahme-Garantie-Architektur für den sicheren Einsatz von LLM-Agenten

1. Problemstellung

Der Einsatz von Large-Language-Model-(LLM-)Agenten in sicherheitskritischen Umgebungen stellt eine strukturelle Herausforderung für die Laufzeitverifikation dar, die durch einstufige Durchsetzungsmechanismen nicht gelöst werden kann. Im Gegensatz zur statischen Textgenerierung führen LLM-Agenten geschlossene Regelkreise aus, bei denen generierte Pläne die physische Welt und zukünftige Beobachtungen beeinflussen. Die Arbeit argumentiert, dass ein sicherer Betrieb die gleichzeitige Erfüllung dreier unterschiedlicher Dimensionen erfordert:

1. Semantische Absicht und Richtlinienkonformität: Ausrichtung auf Benutzeranweisungen, ethische Einschränkungen und Domänenregeln.
2. Umweltgültigkeit: Verifizierung, dass der aktuelle Weltzustand innerhalb des Operational Design Domain (ODD) liegt.
3. Dynamische Machbarkeit: Sicherstellung, dass die Ausführungs-Trajektorie physikalische Sicherheitsbeschränkungen erfüllt (z. B. Kollisionsvermeidung, Kraftgrenzen).

Das Kernproblem besteht darin, dass diese drei Dimensionen von strikt unterschiedlichen Informationsmengen abhängen, die in verschiedenen Phasen der Ausführung verfügbar werden. Die semantische Absicht ist a priori bekannt; die Umweltgültigkeit erfordert Sensordaten zur Ausführungszeit; und die dynamische Machbarkeit hängt von der Regelkreistrajektorie während der Ausführung ab. Die Arbeit postuliert, dass jede Architektur, die diese Dimensionen in eine einzige Abstraktionsschicht zusammenfasst, zwangsläufig mindestens eine Dimension unbescheinigt lässt, da keine einzelne Schutzvorkehrung gleichzeitig auf die für alle drei erforderlichen Informationen zugreifen kann. Empirische Belege aus Benchmarks (z. B. AgentSafetyBench) stützen dies und zeigen, dass Sicherheitsversagen sich in den Umwelt- und physikalischen Dimensionen konzentrieren, die über den Bereich rein semantischer Kontrollen hinausgehen.

2. Methodik: Die dreischichtige vertragbasierte Architektur

Um diese strukturelle Unzulänglichkeit zu beheben, schlägt die Arbeit eine dreischichtige probabilistische Annahme-Garantie-(A/G-)Architektur vor. Dieses Framework behandelt Sicherheit nicht als deterministischen Beweis, sondern als Zusammensetzung probabilistischer Verträge, wobei jede Schicht eine spezifische Sicherheitsdimension basierend auf den in dieser Phase verfügbaren Informationen durchsetzt.

Die Architektur besteht aus drei sequentiell komponierten Schichten, die jeweils durch einen Vertrag $\Sigma_i = (A_i, \Gamma_i)$ definiert sind, wobei $A_i$ eine Annahme über Eingaben und $\Gamma_i$ eine probabilistische Garantie über Ausgaben darstellt:

• Schicht 1: Benutzer-Sicherheitsgarantie-Schicht ($\Sigma_U$)

  • Informationsmenge ($I_U$): Benutzerabsicht, Richtlinie, Rollen-Metadaten und ethische Regeln. Keine Weltbeobachtung ist verfügbar.
  • Funktion: Validiert den generierten Plan $p$ hinsichtlich semantischer Ausrichtung (kognitiv, regulatorisch, ethisch) und Benutzerautorisierung.
  • Vertrag: Wenn die Anfrage autorisiert ist ($A_U$), garantiert die Schicht, dass der Plan nur autorisierte Orte anvisiert und keine Richtlinienverstöße enthält ($\Gamma_U$). Diese Garantie dient als Annahme für die nächste Schicht.
  • Mechanismus: Verwendet neuronale-symbolische Methoden, um informelle Absichten und Richtlinienbeschränkungen zu formalisieren.

• Schicht 2: Betriebliche Sicherheitsgarantie-Schicht ($\Sigma_O$)

  • Informationsmenge ($I_O$): Geschätzter Weltzustand $\hat{w}$, Sensordaten $\xi$ und ODD-Spezifikationen.
  • Funktion: Bestimmt, ob der Agent im aktuellen Weltzustand zur Handlung zertifiziert ist, und definiert den Autonomie-Umfang (z. B. Geschwindigkeitsbegrenzungen, erlaubte Aktionen).
  • Vertrag: Unter der Annahme, dass der Plan die Benutzer-Schicht bestanden hat ($A_O \equiv \Gamma_U$), garantiert die Schicht, dass die Ausführung innerhalb des ODD ($W_{ODD}$) bleibt und dass Teilpläne, die ODD-Beschränkungen verletzen, blockiert werden ($\Gamma_O$).
  • Mechanismus: Wendet deterministische Gültigkeitsprüfungen auf Weltzustandsschätzungen an, um Auditierbarkeit sicherzustellen, und behandelt probabilistische Unsicherheit stromaufwärts.

• Schicht 3: Funktionale Sicherheitsgarantie-Schicht ($\Sigma_F$)

  • Informationsmenge ($I_F$): Vollständige Zustands-Trajektorien $x(t)$, Steuereingaben $u(t)$ und Systemdynamik.
  • Funktion: Setzt Sicherheit in der Regelkreisfrequenz während der Aktorik durch.
  • Vertrag: Unter der Annahme der Gültigkeit der Betriebsschicht ($A_F \equiv \Gamma_O$) garantiert die Schicht keine Kollisionen und die Einhaltung physikalischer Beschränkungen (z. B. Kraftgrenzen) ($\Gamma_F$).
  • Mechanismus: Kombiniert spezifikationsbasiertes Laufzeit-Monitoring (Signal Temporal Logic), Control Barrier Functions (CBFs) für minimale Eingriffe und simulationsbasierte Synthese.

Zusammengesetzte Sicherheitsgrenzen:
Die System-Sicherheitswahrscheinlichkeit wird über die Kettenregel der Wahrscheinlichkeit abgeleitet. Da $\Gamma_U \implies A_O$ und $\Gamma_O \implies A_F$ gilt, ist die Wahrscheinlichkeit der Systemsicherheit:
$$Pr(\text{sicher}) = p_U \cdot p_{O|U} \cdot p_{F|OU}$$
wobei $p_{O|U}$ und $p_{F|OU}$ bedingte Wahrscheinlichkeiten sind, die die Wirksamkeit der stromaufwärts gerichteten Filterung widerspiegeln. Die Arbeit liefert vier Charakterisierungen dieser Grenze (B1–B4), die von konservativen Fréchet–Bonferroni-Untergrenzen (unter Verwendung nur der Randverteilungen) bis zur exakten Kettenregel-Zerlegung (B4) reichen, die eine modulare, schichtenweise Zertifizierung ermöglicht.

3. Hauptbeiträge

• Strukturelles Argument für drei Schichten: Die Arbeit liefert einen formalen Beweis (Anhang B), dass drei unabhängig zertifizierte Stufen strukturell notwendig sind. Sie zeigt, dass jede Architektur mit weniger als drei Schichten entweder die kausale Zeitlinie der Informationsverfügbarkeit verletzen muss (z. B. die Zertifizierung der Betriebssicherheit, bevor Sensordaten existieren) oder implizit die dreistufige Struktur innerhalb einer einzigen Komponente rekonstruiert, wodurch die zusammengesetzte Überprüfbarkeit verloren geht.
• Informationsgetriebene Zerlegung: Im Gegensatz zu früheren Taxonomien, die auf Pipeline-Artefakten basieren (z. B. Ziele, Pläne, Werkzeuge), wird diese Architektur durch die zeitliche Reihenfolge der Informationsverfügbarkeit ($I_U \subset I_O \subset I_F$) angetrieben. Diese Unterscheidung stellt sicher, dass Zertifizierungen in jeder Stufe auf dem korrekten Informationsbereich beruhen.
• Probabilistisches Annahme-Garantie-Framework: Die Arbeit passt A/G-Verträge an die nicht-stationäre, nicht-i.i.d.-Natur von LLM-Agenten an. Sie geht über binäre Garantien hinaus zu probabilistischen Grenzen und erkennt an, dass LLM-Ausgaben inhärent stochastisch sind und Umgebungen unsicher sind.
• Bidirektionaler Sicherheitskreislauf: Die Architektur ist als lebender Kreislauf konzipiert, bei dem Sicherheitssignale ($s_F, s_O$) von unten nach oben propagieren. Wenn eine untere Schicht eine Verletzung erkennt (z. B. ein Kollisionsrisiko), löst sie eine Neukalkulation des Plans in der Benutzerschicht aus, anstatt die Ausführung lediglich zu stoppen.

4. Ergebnisse und Analyse

Als Positionspapier präsentiert die Arbeit keine neuen empirischen Benchmarks, sondern synthetisiert bestehende Literatur, um ihre strukturellen Behauptungen zu untermauern:

• Konsistenz mit Benchmarks: Die Arbeit stellt fest, dass aktuelle Agenten (z. B. auf AgentSafetyBench) im Bereich des Verhaltens- und Umweltschutzes (30,4 %) signifikant häufiger versagen als im Bereich der Inhaltsicherheit (68,4 %), was mit dem Argument übereinstimmt, dass einstufige semantische Schutzvorkehrungen unzureichend sind.
• Theoretische Grenzen: Die Arbeit leitet die mathematischen Grenzen (B1–B4) für die Systemsicherheit ab. Sie veranschaulicht anhand eines laufenden Beispiels (ein Pflegeroboter), dass die Kettenregel-Grenze (B4) deutlich höhere Sicherheitswahrscheinlichkeiten (z. B. 0,857) liefern kann als ein naives Produkt von Randverteilungen (0,787), wenn die stromaufwärts gerichtete Filterung wirksam ist.
• Sensitivitätsanalyse: Die Analyse zeigt, dass das System gegenüber der schwächsten Schicht empfindlich ist; eine Verschlechterung der Wahrscheinlichkeit einer Schicht verschlechtert die gesamte Systemgrenze multiplikativ, und keine Stärkung anderer Schichten kann eine Lücke in einer Schicht kompensieren.

5. Bedeutung und offene Probleme

Die Arbeit behauptet, dass die vorgeschlagene dreischichtige Architektur die minimale viable Zertifizierungsstruktur für den sicheren Einsatz von LLM-Agenten darstellt. Sie argumentiert, dass das Feld derzeit Sicherheitsmechanismen schneller entwickelt als die theoretische Infrastruktur, um sie zu komponieren und zu zertifizieren.

Die Arbeit identifiziert explizit drei offene Probleme, die gelöst werden müssen, um von diesem theoretischen Framework zu einem einsetzbaren Standard überzugehen:

1. Schätzung von Grenzen aus nicht-i.i.d.-Spuren: Standardstatistische Methoden (wie PAC-Grenzen) versagen, da LLM-Spuren nicht-stationär und abhängig sind. Neue Methoden (z. B. Martingal-Grenzen, konforme Vorhersage für nicht-austauschbare Daten) sind erforderlich, um die bedingten Wahrscheinlichkeiten $p_{O|U}$ und $p_{F|OU}$ zu schätzen.
2. Graceful Degradation bei Verteilungsverschiebungen: Aktuelle Verträge sind spröde; wenn Annahmen verletzt werden, werden Garantien hinfällig. Die Arbeit schlägt „robuste Verträge" vor, die eine proportionale Verschlechterung von Garantien zulassen, wenn Annahmen leicht verletzt werden, was einen kontrollierten Betrieb während verteilter Verschiebungen ermöglicht.
3. Erweiterung auf Multi-Agenten-Szenarien: Das aktuelle Framework adressiert einzelne Agenten. Multi-Agenten-Systeme führen neue Fehlermodi ein (z. B. manipulative Beeinflussung von Überzeugungen zwischen Agenten), die eine vierte Informationsdomäne (Herkunft von inter-agenten Nachrichten) und eine revidierte Zertifizierungsstruktur erfordern.

Zusammenfassend stellt die Arbeit fest, dass der sichere Einsatz von LLM-Agenten nicht lediglich eine ingenieurtechnische Herausforderung beim Bau stärkerer Schutzvorkehrungen ist, sondern eine strukturelle Anforderung für eine gestufte, vertragbasierte Architektur, die die kausale Reihenfolge der Informationen respektiert. Das vorgeschlagene Framework bietet die notwendige theoretische Grundlage für eine modulare, zusammengesetzte Sicherheitszertifizierung in dynamischen, unsicheren Umgebungen.