🤖 AI

The Two Boundaries: Why Behavioral AI Governance Fails Structurally

Dieser Artikel argumentiert, dass die verhaltensbasierte KI-Governance strukturell versagt, weil es gemäß des Satzes von Rice unentscheidbar ist, beliebige Programmauswirkungen gegen Richtlinien zu verifizieren, und schlägt „coterminous governance" – eine architektonische Trennung von Berechnung und Wirkungen, bei der Governance in die Ausführungspipeline eingebettet ist – als einzige Lösung vor, um die unvermeidlichen Risiken und Ineffizienzen zu beseitigen, die durch nicht abgestimmte Kompetenz- und Politikgrenzen verursacht werden.

Ursprüngliche Autoren: Alan L. McCann

Veröffentlicht 2026-05-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC0 1.0

Ursprüngliche Autoren: Alan L. McCann

Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Kernproblem: Die „Zwei-Grenzen"-Diskrepanz

Stellen Sie sich einen sehr leistungsfähigen Roboter vor, der fast alles tun kann: E-Mails senden, Geld bewegen oder Datenbankdatensätze ändern. Um ihn sicher zu halten, errichten Sie einen Zaun (Governance), der ihm mitteilt, was er tun darf.

Das Paper argumentiert, dass in fast jedem heute gebauten KI-System zwei verschiedene Zäune existieren, die nicht übereinstimmen:

Der Fähigkeitszaun (Was der Roboter tun kann): Dies wird durch die Werkzeuge und den Code des Roboters bestimmt. Wenn der Roboter ein Werkzeug zum Senden von E-Mails hat, kann er E-Mails senden.
Der Regelzaun (Was dem Roboter erlaubt ist): Dies wird durch die von Ihnen verfassten Sicherheitsregeln und Filter bestimmt.

Das Problem: Diese beiden Zäune sind fast nie gleich groß oder gleich geformt.

Die „Risikozone" (Unregulierte Fähigkeit): Manchmal verfügt der Roboter über ein Werkzeug, das er nutzen kann, aber Ihre Regeln decken dieses spezifische Werkzeug nicht ab. Es ist so, als hätte der Roboter eine geheime Hintertür, von der Ihr Sicherheitsbeamter nichts weiß. Der Roboter schlüpft hindurch, und es passieren schlimme Dinge.
Die „Theaterzone" (Governance-Theater): Manchmal sind Ihre Regeln sehr streng bezüglich Dingen, die der Roboter nicht tun kann. Es ist so, als hätte man einen Sicherheitsbeamten, der auf „Fliegen" achtet, obwohl der Roboter keine Flügel hat. Sie verschwenden Energie damit, Dinge zu überwachen, die unmöglich sind, während die echten Gefahren (die Hintertüren) offen bleiben.

Das Paper besagt, dass der Versuch, dies durch das Hinzufügen von mehr Wachen oder mehr Regeln zu beheben, nur die „Theaterzone" vergrößert und das „Risiko" geringfügig verringert, aber die Lücke niemals schließt.

Warum man den Roboter nicht einfach nur „beobachten" kann (Das mathematische Problem)

Man könnte denken: „Warum bauen wir nicht einen superintelligenten Monitor, der den Roboter beobachtet und ihn stoppt, wenn er etwas Schlechtes tut?"

Das Paper verwendet eine berühmte mathematische Regel namens Rice-Theorem, um zu erklären, warum dies für flexible, intelligente KI unmöglich ist.

Die Analogie: Stellen Sie sich vor, Sie versuchen, das Ende eines Films allein durch das Betrachten des Drehbuchs vorherzusagen. Wenn der Film kurz und einfach ist, können Sie das Ende erraten. Aber wenn der Film eine unendliche, komplexe Geschichte ist, die sich je nach Publikum ändert, kann kein Algorithmus das Ende mit 100-prozentiger Sicherheit vorhersagen, bevor der Film läuft.
Das Ergebnis: Da KI so flexibel ist (sie kann ihren eigenen Code schreiben und Werkzeuge auf neue Weise kombinieren), kann man mathematisch nicht im Voraus beweisen, dass eine bestimmte Aktion sicher sein wird. Man kann nur raten. Und da man nur raten kann, wird es immer eine Chance geben, dass der Roboter etwas Schlechtes tut, das Ihr Monitor nicht gesehen hat.

Die Lösung: Der „Besteller" versus der „Koch"

Das Paper schlägt eine strukturelle Lösung vor. Anstatt zu versuchen, den Roboter zu beobachten und ihn davon abzuhalten, Schlechtes zu tun, ändern Sie, wie der Roboter gebaut ist.

Der alte Weg (Behaviorale Governance):
Der Roboter ist ein Koch, der direkten Zugang zum Herd, zu den Messern und zum Gas hat. Sie stehen neben ihm mit einer Klemmbrett und rufen „Stopp!", wenn er nach der falschen Zutat greift.

Fehler: Der Koch könnte das Gas greifen, bevor Sie rufen können, oder er könnte einen neuen Weg zum Kochen finden, den Sie nicht auf Ihr Klemmbrett geschrieben haben.

Der neue Weg (Strukturelle Governance / Koterminale Governance):
Sie trennen den Koch von der Küche.

Der Koch (Berechnung): Die KI darf nur denken und ein Rezept (eine „Direktive") aufschreiben. Sie darf den Herd, die Messer oder das Gas nicht berühren. Sie hat keine physischen Hände.
Der Besteller (Governance-Grenze): Ein separates, strenges System empfängt das Rezept. Es prüft: „Enthält dieses Rezept die richtigen Zutaten? Ist es sicher?"
- Wenn ja, geht der Besteller in die Küche und kocht das Essen.
- Wenn nein, wirft der Besteller das Rezept weg.

Warum das funktioniert:

Die KI kann nichts Schlechtes tun, weil sie buchstäblich nicht die Werkzeuge hat, um die Welt zu berühren.
Jede einzelne Aktion muss durch den Besteller gehen.
Es gibt keine „Risikozone", weil die KI keine geheimen Hintertüren hat.
Es gibt keine „Theaterzone", weil der Besteller nur Rezepte prüft, die tatsächlich gekocht werden können.

Warum „Überwachung" nicht ausreicht

Das Paper erklärt auch, warum das bloße „Protokollieren" oder „Aufzeichnen" dessen, was die KI tut, nicht als Governance zählt.

Die Analogie: Stellen Sie sich eine Überwachungskamera in einer Bank vor. Wenn die Kamera einen Räuber sieht, zeichnet sie das Verbrechen auf. Aber die Kamera hat den Raubüberfall nicht verhindert.
Die Mathematik: Wenn eine Kamera 99 % aller Raubüberfälle fängt, klingt das großartig. Aber wenn die Bank 1.000 Transaktionen pro Tag hat, ist die Wahrscheinlichkeit, dass mindestens ein Raubüberfall durch die 1-prozentige Lücke schlüpft, nahezu 100 %.
Der Punkt: Sie müssen die Handlung bevor sie geschieht stoppen, nicht nur danach aufzeichnen.

Das Fazit

Das Paper kommt zu dem Schluss, dass man, um KI wirklich zu regieren, nicht einfach mehr Filter oder Regeln auf bestehende Systeme hinzufügen kann. Man muss das System neu aufbauen, sodass die KI nur Dinge bitten kann, und ein separater, strenger Torwächter entscheidet, ob diese Dinge geschehen.

Wenn die Grenzen übereinstimmen: Die KI ist durch Design sicher (Strukturelle Governance).
Wenn die Grenzen nicht übereinstimmen: Sie werden immer ein gewisses Risiko und eine gewisse Verschwendung von Aufwand haben, egal wie viele Regeln Sie hinzufügen (Behaviorale Governance).

Die Autoren haben dies mathematisch mit Computercode (Coq) bewiesen, um zu zeigen, dass dieser „Besteller"-Ansatz der einzige Weg ist, um zu garantieren, dass jede Handlung regiert wird.

1. Problemstellung

Das Paper adressiert das fundamentale strukturelle Versagen aktueller KI-Governance-Rahmenwerke in Bezug auf KI-Effekte (im Weltraum ausgeführte Aktionen wie API-Aufrufe, Datenbank-Schreibvorgänge und Tool-Aufrufe).

Die zwei Grenzen: Jedes effektbehaftete System besitzt zwei unterschiedliche Grenzen:
1. Ausdrucksstärke-Grenze (Expressiveness Boundary): Definiert durch die Systemarchitektur (Sprachen, APIs, Tools), repräsentiert alles, was das System tun kann.
2. Governance-Grenze: Definiert durch Richtlinien und Überwachung, repräsentiert alles, was das System dürfen darf.
Die Divergenz: In aktuellen Bereitstellungen werden diese Grenzen unabhängig voneinander definiert, was drei Bereiche schafft:
1. Governed Capability (Überlappung): Der einzige funktionale Bereich, in dem Fähigkeiten durch Richtlinien abgedeckt sind.
2. Ungoverned Capability (Risiko): Fähigkeiten, die das System ausführen kann, denen jedoch die Governance-Abdeckung fehlt (z. B. Datenexfiltration über nicht überwachte Nebenkanäle).
3. Governance-Theater: Richtlinien, die sich auf Fähigkeiten beziehen, die das System nicht besitzt (z. B. das Filtern von Kreditkartennummern in E-Mails, wenn das System keinen Zugriff auf Kreditkartendaten hat).
Das Kernproblem: Verhaltensbasierte Governance (Inhaltsfilter, RLHF, Überwachung) versucht, diese Lücke durch das Hinzufügen von Schichten nachträglich zu schließen. Da KI-Agenten jedoch eine dynamische, Turing-vollständige Ausdrucksstärke besitzen, kann die Governance-Grenze durch verhaltensbasierte Mittel allein strukturell niemals der Ausdrucksstärke-Grenze entsprechen.

2. Methodik und theoretische Grundlage

Das Paper verwendet formale Methoden und theoretische Informatik, um das Governance-Problem zu analysieren.

Rice-Theorem (1953): Das zentrale theoretische Werkzeug. Das Rice-Theorem besagt, dass für jede nicht-triviale semantische Eigenschaft eines Turing-vollständigen Programms unentscheidbar ist, ob ein beliebiges Programm diese Eigenschaft besitzt.
- Anwendung: Die Eigenschaft „Erfüllt die Wirkung dieses Programms die Richtlinie P?" ist eine nicht-triviale semantische Eigenschaft. Daher kann kein Algorithmus im Allgemeinen entscheiden, ob ein beliebiger Turing-vollständiger KI-Agent eine Governance-Richtlinie verletzt.
Formale Verifikation: Die Behauptungen wurden in Coq mechanisiert (454 Theoreme über 36 Module, keine zugelassenen Lemmata). Dies bietet mathematische Gewissheit bezüglich der strukturellen Eigenschaften der vorgeschlagenen Lösung.
Architekturanalyse: Das Paper kontrastiert „verhaltensbasierte" Ansätze (Analyse von Ausgaben) mit „strukturellen" Ansätzen (architektonische Trennung von Belangen).

3. Hauptbeiträge

A. Die Unmöglichkeit verhaltensbasierter Effekt-Governance

Das Paper beweist, dass verhaltensbasierte Governance für die Effektsteuerung in Turing-vollständigen Systemen strukturell unzureichend ist.

Inhaltsfilter, RLHF und Constitutional AI operieren auf semantischen Eigenschaften (was das Modell sagt oder beabsichtigt).
Da der Raum möglicher Aktionen kombinatorisch und Turing-vollständig ist, können verhaltensbasierte Ansätze nur Approximationen liefern (falsch-positive/falsch-negative Ergebnisse).
Überwachung ist unzureichend, da sie ein separates System ist; sie beobachtet, kontrolliert aber nicht, was zu unvermeidbaren Abdeckungslücken führt, die sich mit der Anzahl der Aktionen exponentiell verstärken.

B. Die strukturelle Alternative: Trennung von Berechnung und Effekt

Das Paper schlägt einen radikalen architektonischen Wandel vor: Trennung von Berechnung und Effekt.

Berechnungsschicht: Reiner Code, der Direktiven erzeugt (strukturierte Daten, die beabsichtigte Effekte beschreiben), aber keine I/O-Vorgänge ausführen kann.
Governance-Grenze: Eine einzige, obligatorische Schicht, die Direktiven empfängt, sie gegen Richtlinien validiert (syntaktische Prüfung) und den Effekt ausführt.
Ergebnis: Governance wird zu einer Funktion der Direktive (Syntax) und nicht des Programms (Semantik). Da Direktiven strukturierte Daten sind, sind ihre Eigenschaften durch Konstruktion entscheidbar.

C. Koterminale Governance

Das Paper definiert Koterminale Governance als den Zustand, in dem die Ausdrucksstärke-Grenze gleich der Governance-Grenze ist.

Definition: Ein System erfüllt koterminale Governance, wenn (1) jeder ausdrückbare Effekt eine Governance-Grenze passiert (Sicherheit) und (2) die Primitive ausdrucksstark genug sind, um die gewünschten Berechnungen zu adressieren (Ausreichendheit).
Eigenschaften:
- Kein unregulierter Bereich: Nichts entgeht der Governance durch Konstruktion.
- Kein Theater-Bereich: Jede Richtlinie entspricht einer realen Fähigkeit.
- Kompositionelle Schlussfolgerung: Wenn die Komponenten A und B reguliert sind, ist ihre Komposition automatisch reguliert.
- Inhärente Intelligibilität: Der Governance-Record ist der Ausführungsrecord selbst.

D. Effizienzfolgen

Verhaltensbasierte Governance: Additive Kosten. Jede Schicht (Filter, Monitor) fügt Latenz und Rechenleistung proportional zum Durchsatz hinzu ( $k \times$ Durchsatz).
Strukturelle Governance: Subsumiert die Infrastruktur. Governance-Prüfungen sind Teil der Ausführungspipeline. Die Kosten sind nur linear mit dem Durchsatz verbunden, ohne ein separates System zur Wartung.
Empirische Daten: Auf Apple Silicon wurde der Overhead für regulierte Ausführung mit 0,23 ms Median gemessen (verglichen mit 0,24 ms für nicht regulierte), was beweist, dass strukturelle Governance von der nativen Ausführungsgeschwindigkeit nicht zu unterscheiden ist.

4. Ergebnisse

Theoretischer Beweis: Das Rice-Theorem bestätigt, dass verhaltensbasierte Governance Turing-vollständiger Agenten im allgemeinen Fall unentscheidbar ist.
Formale Verifikation: Die Coq-Beweise zeigen, dass das vorgeschlagene „Trennungsprinzip" ein System liefert, in dem die Theoreme zur Sicherheit und Ausreichendheit gelten und koterminale Grenzen gewährleisten.
Leistung: Strukturelle Governance führt im Vergleich zu verhaltensbasierten Schichten zu einer vernachlässigbaren Latenz, die sich schlecht skaliert, wenn die Anzahl der Governance-Schichten zunimmt.
Fehlermodi: Das Paper zeigt, dass ohne strukturelle Trennung „Risiko" (unregulierte Fähigkeiten) und „Theater" (Richtlinien für nicht existierende Fähigkeiten) strukturell unvermeidbar sind.

5. Bedeutung und Implikationen

Paradigmenwechsel: Das Paper argumentiert, dass KISicherheit nicht durch „Patchen" bestehender Architekturen mit mehr Filtern oder Monitoren erreicht werden kann. Es erfordert eine fundamentale Neuarchitektur, bei der Effekte keine direkten Fähigkeiten des Codes sind, sondern über eine regulierte Grenze vermittelt werden.
Unterscheidung der Ebenen: Es klärt, dass Inhalts-Governance (Formung dessen, was LLMs sagen) und Effekt-Governance (Kontrolle dessen, was Agenten tun) unterschiedliche Probleme sind, die verschiedene Mechanismen erfordern. Inhalts-Governance ist verhaltensbasiert; Effekt-Governance muss strukturell sein.
Richtlinie vs. Durchsetzung: Das Paper betont, dass strukturelle Governance die Durchsetzung einer Richtlinie mit mathematischer Gewissheit garantiert, aber nicht die Korrektheit der Richtlinie selbst. Richtlinienentwurf bleibt ein Problem menschlicher Urteilsfähigkeit.
Praktische Einschränkungen: Der Ansatz erfordert eine vollständige Neuarchitektur bestehender Agenten-Frameworks (die derzeit I/O und Logik mischen). Er kann nicht als Bibliothek nachgerüstet werden. Er verhängt zudem eine Disziplin über Entwickler (reine Berechnung vs. Direktiven), die die Prototyping-Geschwindigkeit beeinträchtigen kann.

Fazit

„The Two Boundaries" kommt zu dem Schluss, dass für KI-Systeme mit Handlungsfähigkeit strukturelle Sicherheit der einzige Weg zu einem Restrisiko von Null ist. Verhaltensorientierte Ansätze können das Risiko zwar reduzieren, können aber den „unregulierten Bereich" aufgrund der Unentscheidbarkeit semantischer Eigenschaften in Turing-vollständigen Systemen nicht eliminieren. Koterminale Governance, erreicht durch die Trennung von Berechnung und Effekt, ist das notwendige architektonische Kriterium, um sicherzustellen, dass jede Aktion, die eine KI unternimmt, nachweislich reguliert ist.