🤖 AI

CIVeX: Causal Intervention Verification for Language Agents

Die Arbeit stellt CIVeX vor, einen Verifizierer kausaler Interventionen, der die zuverlässige Werkzeugnutzung in Sprachagenten sicherstellt, indem er vorgeschlagene Aktionen auf strukturelle kausale Abfragen abbildet, um identifizierbare kausale Effekte zu garantieren und dadurch falsche Ausführungen in konfundierten Workflows verhindert, bei denen herkömmliche Validierungssicherungen versagen.

Ursprüngliche Autoren: Fabio Rovai

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Fabio Rovai

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind der Kapitän eines Raumschiffs. Ihr Schiff wird von einem fortschrittlichen KI-Assistenten gesteuert, der Tasten drücken kann, um den Kurs des Schiffes zu ändern, Luken zu öffnen oder Schubdüsen zu zünden. Die KI ist sehr intelligent, hat jedoch einen gefährlichen blinden Fleck: Sie betrachtet ausschließlich die Vergangenheit.

Wenn die KI sieht, dass jedes Mal, wenn das Schiff nach links lenkte, die Temperatur sank, könnte sie entscheiden: „Nach links lenken kühlt das Schiff!" Sie drückt also die Taste „Nach links lenken", um die Dinge abzukühlen.

Doch was, wenn der wahre Grund für den Temperaturabfall darin bestand, dass das Schiff gleichzeitig in einen schattigen Nebel eintrat? Die KI wusste nichts von diesem Nebel. Sie sah lediglich ein Muster. Wenn die KI nach links lenkt, ohne dass ein Nebel vorhanden ist, könnte das Schiff tatsächlich heißer werden. In der Welt der Daten nennt man dies Konfundierung: Ein versteckter Faktor, der Sie täuscht und dazu bringt, zu glauben, zwei Dinge seien miteinander verbunden, obwohl sie es nicht sind.

Diese Arbeit stellt eine neue Sicherheitsvorkehrung namens CIVeX (Causal Intervention Verification) vor, um zu verhindern, dass die KI diese gefährlichen Vermutungen anstellt.

Das Problem: „Gültig" bedeutet nicht „Sicher"

Derzeit führt eine KI, bevor sie eine Taste drücken möchte, eine Checkliste durch:

Grammatikprüfung: Ist der Befehl korrekt formuliert?
Erlaubnisprüfung: Darf die KI dies tun?
Vorhersageprüfung: Glaubt die KI, dass dies funktionieren wird?

Die Arbeit argumentiert, dass das Bestehen dieser Prüfungen einem Fahrer mit gültigem Führerschein, einem sauberen Auto und einem guten GPS entspricht. Das bedeutet nicht, dass der Fahrer weiß, dass das Lenkrad tatsächlich bewirkt, dass sich das Auto dreht, insbesondere wenn unsichtbare Kräfte (wie ein starker Wind oder eine rutschige Straße) das Ergebnis beeinflussen.

Die Lösung: Das „Kausale Zertifikat"

CIVeX fungiert wie ein strenger Sicherheitsinspektor, der der KI die Erlaubnis zum Drücken der Taste verweigert, es sei denn, sie kann mathematisch beweisen, dass die Aktion tatsächlich das gewünschte Ergebnis bewirken wird.

Anstatt nur zu fragen: „Ist das schon einmal passiert?", fragt CIVeX: „Wenn wir dies erzwingen, wird es das Ergebnis verursachen?"

Um die Erlaubnis zum Handeln zu erhalten, muss die KI ein Kausales Zertifikat vorlegen. Betrachten Sie dieses Zertifikat als einen „Sicherheitspass", der vier spezifische Dinge enthalten muss:

Die Karte (Der Graph): Eine Zeichnung, die zeigt, wie die Aktion, das Ergebnis und versteckte Faktoren miteinander verbunden sind.
Der Beweis (Identifikation): Ein mathematisches Argument, das zeigt, dass wir den Effekt tatsächlich berechnen können, selbst bei Vorhandensein versteckter Faktoren.
Die Sicherheitsmarge (Untere Konfidenzgrenze): Eine Garantie, dass die Aktion selbst im schlimmsten Fall keinen Schaden anrichten wird.
Die Quelle (Herkunft): Der Nachweis, woher die Daten stammen, damit niemand die Zahlen fälschen kann.

Die vier Urteile

Wenn die KI eine Aktion vorschlägt, prüft CIVeX das Zertifikat und gibt eine von vier Antworten:

AUSFÜHREN: „Die Karte ist klar, die Mathematik funktioniert und die Sicherheitsmarge ist hoch. Machen Sie weiter."
ABLEHNEN: „Die Mathematik zeigt, dass dies uns wahrscheinlich schaden wird, oder die Sicherheitsmarge ist zu gering. Tun Sie es nicht."
EXPERIMENTIEREN: „Wir können uns aufgrund eines versteckten Faktors noch nicht sicher sein. Aber wenn Sie einen kleinen, sicheren Test (wie eine randomisierte Studie) durchführen können, um zu beweisen, dass es funktioniert, lassen wir Sie es versuchen."
ABSTINENZ: „Wir haben keine Ahnung, was passieren wird, und es ist zu riskant, etwas zu vermuten. Tun Sie nichts."

Die Leistung (Das Rennen)

Die Autoren testeten CIVeX im Vergleich zu anderen Methoden unter Verwendung einer „Causal-ToolBench" (eine simulierte Umgebung mit 1.890 verschiedenen Szenarien).

Die „Immer ratende" KI: In schwierigen Situationen, in denen versteckte Faktoren die KI täuschten, machte diese Methode in 45 % der Fälle Fehler und verursachte oft Schaden.
Die „Niemals etwas tuende" KI: Diese Methode war sicher, aber nutzlos. Sie verweigerte das Handeln, selbst wenn es sicher gewesen wäre, und verpasste dadurch Vorteile.
Die „Große Sprachmodell"-KI: Selbst wenn sie mit einem klugen Prompt versorgt wurde, „Schritt für Schritt zu denken", machte die KI weiterhin Fehler. Sie war gut im Schlussfolgern, konnte aber die Sicherheit nicht garantieren. Sie drückte in schwierigen Szenarien immer noch etwa 1 % bis 10 % der Zeit auf den „gefährlichen Knopf".
CIVeX: Es machte in den Tests keinen einzigen Fehler. Es drückte niemals einen Knopf, der Schaden verursachen würde. Entscheidend ist, dass es nicht einfach nur „auf Nummer sicher ging", indem es nichts tat; es identifizierte erfolgreich, wann es sicher war zu handeln und wann es zuerst einen Test durchführen musste.

Der Haken (Einschränkungen)

Die Arbeit ist sehr ehrlich darüber, was CIVeX nicht leistet:

Es benötigt eine gute Karte: CIVeX geht davon aus, dass die ihm bereitgestellte „Karte" (der kausale Graph) korrekt ist. Wenn die Karte falsch ist, bricht die Sicherheitsgarantie zusammen. Die Arbeit schlägt vor, dass in der realen Welt Menschen oder andere Systeme diese Karten genehmigen müssen, um ihre Richtigkeit sicherzustellen.
Es ist ein Torwächter, kein Fahrer: CIVeX entscheidet nicht, was zu tun ist; es entscheidet nur, ob die KI das tun darf, was sie möchte.
Es ist keine Magie: Es setzt voraus, dass Daten vorhanden sind, die einen „sicheren Test" (Experiment) ermöglichen, wenn die Dinge unklar sind.

Das Fazit

Die Arbeit kommt zu dem Schluss, dass wir, damit KI-Agenten die Welt sicher verändern können (wie das Löschen von Dateien, den Handel mit Aktien oder das Reparieren von Code), aufhören müssen zu fragen: „Ist diese Aktion gültig?" und anfangen müssen zu fragen: „Ist diese Aktion kausal bewiesen?"

CIVeX ist das erste System, das sagt: „Ich werde Ihnen nicht erlauben, den Knopf zu drücken, es sei denn, Sie können mit einem mathematischen Zertifikat beweisen, dass das Drücken tatsächlich das Gute bewirkt, das Sie wollen, und nicht das Schlechte, vor dem Sie Angst haben."

Technische Zusammenfassung: CIVeX – Kausale Interventionsverifikation für Sprachagenten

1. Problemstellung

Aktuelle Sicherheitsmechanismen für sprachbasierte Agenten, die Werkzeuge nutzen (z. B. Schemavalidatoren, Richtliniendfilter, Zustandsprädiktoren und Selbstverifizierungs-Prompts), stellen sicher, dass eine Aktion wohlgeformt, erlaubt und logisch konsistent ist. Diese Schutzmaßnahmen versagen jedoch bei einem kritischen Ausfallmodus in konfundierten Umgebungen: Ein gültiger Werkzeugaufruf ist nicht notwendigerweise eine gültige Intervention.

In Beobachtungsprotokollen kann eine Aktion aufgrund latenter, dem Agenten unbekannter konfundierender Faktoren mit einem hohen Nutzen korrelieren. Bei Ausführung kann diese Aktion einen geringen Nutzen erzeugen oder Schaden anrichten, da die historische Korrelation nicht den wahren kausalen Effekt widerspiegelt. Bestehende Sicherheitsstapel verifizieren nicht, ob eine vorgeschlagene zustandsändernde Aktion einen identifizierbaren kausalen Effekt auf das Zielereignis hat. Die Arbeit argumentiert, dass Agenten ohne Verifizierung der Identifizierbarkeit das Risiko eingehen, Aktionen auszuführen, die „schädliche Fallen" darstellen – Fälle, in denen das Beobachtungssignal einen Nutzen suggeriert, der wahre kausale Effekt jedoch schädlich ist.

2. Methodik: CIVeX

Die Autoren führen CIVeX (Causal Intervention Verification) ein, einen Laufzeitverifizierer, der die Werkzeugausführung als Problem der kausalen Inferenz behandelt. Anstatt Aktionen vorherzusagen, steuert CIVeX sie, indem es vor der Ausführung ein annahmenspezifisches kausales Zertifikat verlangt.

2.1 Das Kausale Zertifikat

Eine gültige Ausführung erfordert ein Zertifikat $C = (G, A, \pi, \hat{\theta}, LCB_\alpha, prov, risk)$ , bestehend aus:

$G$ : Einem festgelegten kausalen Graphen über Aktions- und Zustandsvariablen (einschließlich latenter Konfundierung durch bidirektionale Kanten).
$A$ : Eine Menge expliziter Annahmen (z. B. SUTVA, Korrektheit des Graphen).
$\pi$ : Ein maschinenprüfbarer Identifizierungsbeweis (z. B. Backdoor-Anpassung, Frontdoor-Zerlegung oder instrumentelle Variablen).
$\hat{\theta}$ : Der Punktschätzer des kausalen Effekts $E[Y \mid do(T=t^*)]$ .
$LCB_\alpha$ : Eine einseitige untere Konfidenzgrenze für $\hat{\theta}$ auf dem Niveau $1-\alpha$ .
$prov$: Herkunftsmetadaten (Hash) der verwendeten Daten.
$risk$: Eine Obergrenze für potenziellen Schaden.

2.2 Der Triage-Algorithmus

CIVeX ordnet eine vorgeschlagene Aktion einer strukturellen kausalen Abfrage zu und leitet sie in eine von vier überprüfbaren Urteile weiter:

AUSFÜHREN: Wird nur ausgestellt, wenn die Abfrage unter dem festgelegten Graphen identifizierbar ist, die einseitige $LCB_\alpha$ einen Nutzen-Schwellenwert ( $\tau_u$ ) überschreitet und die Kosten innerhalb eines Risikolimits ( $\tau_r$ ) liegen.
ABLEHNEN: Wird ausgestellt, wenn die Abfrage identifizierbar ist, aber die $LCB_\alpha$ unzureichend ist oder die Kosten das Risikolimit überschreiten.
EXPERIMENTIEREN: Wird ausgestellt, wenn der Effekt nicht identifizierbar ist (z. B. aufgrund unblockierter Konfundierungspfade), die Aktion jedoch reversibel und kostengünstig ist. Dies löst eine Anforderung nach experimentellen Daten (z. B. ein RCT-artiger Datensatz) aus, um den Graphen aufzulösen.
ENTHALTEN: Wird ausgestellt, wenn der Effekt nicht identifizierbar ist und die Aktion irreversibel oder zu kostspielig ist.

2.3 Theoretische Garantien

Die Arbeit liefert zwei zentrale Propositionen:

Proposition 1: Nicht-kausale Verifizierer (die sich ausschließlich auf Beobachtungssignale stützen) erleiden eine Falsch-Ausführungsrate, die mindestens dem Anteil der „schädlichen Fallen" in konfundierten Umgebungen entspricht.
Proposition 2: Unter korrekten Graphenfestlegungen und gültigen Schätzern ist die Wahrscheinlichkeit von CIVeX, eine schädliche Aktion auszuführen, durch das einseitige Konfidenzniveau $\alpha$ begrenzt. Diese Schranke gilt pro Instanz, nicht nur asymptotisch.

3. Hauptbeiträge

Formalisierung des Kausalen Zertifikats: Die Arbeit definiert ein rigoroses, überprüfbares Objekt, das eine vorgeschlagene Aktion mit einer strukturellen kausalen Abfrage, einem Identifizierungsargument und einer Unsicherheitsschranke verknüpft.
Der CIVeX-Verifizierer: Ein Triage-Algorithmus, der Identifizierbarkeit und Risikobeschränkungen durchsetzt und zwischen gültigen Werkzeugaufrufen und gültigen Interventionen unterscheidet.
Causal-ToolBench: Ein neuer Benchmark, der 1.890 Instanzen über sechs Werkzeug-Workflow-Familien hinweg umfasst (z. B. Datenbankindizierung, Neustarts von Diensten). Er verfügt über:
- Explizit parametrisierte Strukturelle Kausale Modelle (SCMs).
- Zwei Regime: Moderate Konfundierung und Adversarische Konfundierung (bei denen latente Konfundierer so kalibriert sind, dass sie das Beobachtungssignal relativ zum wahren kausalen Effekt umkehren).
- Gepaarte RCT-artige Daten zur Evaluierung des Verzweigungspunkts „EXPERIMENTIEREN".
Theoretische Charakterisierung: Beweise, die zeigen, dass Beobachtungsverifikation in konfundierten Settings inhärent unsicher ist und dass CIVeX eine bedingte Falsch-Ausführungsrate bietet, die von der Graphkorrektheit abhängt.

4. Experimentelle Ergebnisse

Die Evaluation vergleicht CIVeX mit einem Oracle, 12 Baselines (einschließlich Richtliniengates, heuristischer Klassifikatoren und LLM-basierter Verifizierer) sowie Ablationsstudien.

4.1 Leistung in Konfundierungsregimen

Adversarische Konfundierung: CIVeX erreichte 0 % Falsch-Ausführungen und 84,9 % Genauigkeit, was einen Nutzen von +2,23 ergab. Im Gegensatz dazu erzielte die Baseline „Immer-Enthalten" +0,99, und die beste LLM-Baseline (Chain-of-Thought Opus) sank auf +1,65 (74 % des Nutzens von CIVeX) bei 0 % Falsch-Ausführungen, aber übermäßiger Enthaltung.
Moderate Konfundierung: CIVeX erreichte einen Nutzen von +2,29 bei 0 % Falsch-Ausführungen.
Robustheit: Unter einer harten Null-Falsch-Ausführungs-Beschränkung war CIVeX die einzige Nicht-Oracle-Methode, die den „Immer-Enthalten"-Boden zu überschreiten vermochte.

4.2 LLM-Baselines

Die Arbeit testete Chain-of-Thought (CoT) LLMs (Claude Opus und Sonnet) als Verifizierer.

Während CoT die Falsch-Ausführungen im Vergleich zu knappen Prompts reduzierte, gelang es nicht, die pro-Instanz-Garantie von CIVeX zu bieten.
Unter adversarischer Konfundierung sank der Nutzen von CoT-Opus erheblich aufgrund übermäßiger Enthaltung, und CoT-Sonnet behielt eine Rest-Falsch-Ausführungsrate (1,0 %) bei, wodurch die harte Sicherheitsbedingung verfehlt wurde.
Fazit: Starke Prompting-Strategien verbessern das Schlussfolgern, ersetzen aber keine algorithmischen Identifizierungsprüfungen für harte Sicherheitsbeschränkungen.

4.3 Ablationsstudien

Verzweigung EXPERIMENTIEREN: Das Entfernen der Möglichkeit, experimentelle Daten anzufordern (Abbildung von EXPERIMENTIEREN auf ENTHALTEN) ließ den Nutzen von CIVeX in adversarischen Settings auf den „Immer-Enthalten"-Boden (+0,99) kollabieren. Dies zeigt, dass dieser Zweig entscheidend ist, um Nutzen zu erfassen, wenn die Identifizierbarkeit zunächst blockiert ist.
Fehlspezifikation des Graphen: Wenn beobachtete Konfundierer als latent umetikettiert wurden (was unblockierbare Pfade einführt), scheiterte CIVeX korrekt an der Identifizierung und leitete Instanzen zu EXPERIMENTIEREN oder ENTHALTEN weiter, wobei 0 % Falsch-Ausführungen beibehalten wurden, während die korrekten Ausführungen reduziert wurden (wie erwartet).

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass die Identifizierbarkeit der Intervention, nicht die Gültigkeit der Aktion, das fehlende Primitive für eine zuverlässige Werkzeugnutzung ist.

Sicherheitsgarantie: CIVeX bietet eine bedingte Sicherheitsgarantie: Wenn der festgelegte Graph korrekt ist und die Infrastruktur dies unterstützt, ist die Wahrscheinlichkeit einer Falsch-Ausführung durch $\alpha$ begrenzt.
Überprüfbarkeit: Jede Entscheidung wird von einem Zertifikat oder einer Ablehnung begleitet, die die fehlende Annahme erklärt, was eine nachträgliche Prüfung ermöglicht.
Bescheidener Umfang: Die Autoren stellen ausdrücklich fest, dass CIVeX allein keine Sicherheit garantiert; die Garantie ist bedingt durch eine Infrastruktur für Graphenfestlegungen (Versionsverwaltung, Signierung, Drift-Monitoring), die außerhalb des Umfangs der Arbeit liegt, aber für den produktiven Einsatz notwendig ist.
Einschränkungen: Die Ergebnisse basieren auf synthetischen SCMs (Causal-ToolBench) und beanspruchen keine asymptotischen Regret-Schranken. Die Falsch-Ausführungsraten sind empirische Beobachtungen am Benchmark, die theoretisch durch das Konfidenzniveau $\alpha$ begrenzt sind.

Zusammenfassend schlägt CIVeX einen Wandel vor von der „Validierung des Werkzeugaufrufs" zur „Validierung der Intervention" unter Verwendung von Mechanismen der kausalen Inferenz, um zu verhindern, dass Agenten Aktionen ausführen, die beobachtungsmäßig mit Erfolg korrelieren, aber kausal schädlich sind.