Correct Is Not Governed: Provenance Integrity in Agentic Workflows

Die unsichtbare Papierspur

Stellen Sie sich vor, Sie beobachten ein Team von unglaublich schnellen, superintelligenten Robotern, die versuchen, ein Rätsel zu lösen. Sie können in einer Sekunde Millionen von Büchern lesen, die perfekten Hinweise finden und eine brillante Lösung formulieren. In der Welt der künstlichen Intelligenz nennen wir das meist einen „Erfolg“, wenn der Roboter die richtige Antwort findet. Aber was wäre, wenn der Roboter die richtige Antwort aus den falschen Gründen gefunden hätte? Was wäre, wenn er einen Hinweis verwendet hätte, der eigentlich nur ein falscher Entwurf war, oder eine Regel, die bereits gestern abgelaufen ist, oder ein Beweisstück, das er sich einfach selbst ausgedacht hat? Im echten Leben – etwa in Krankenhäusern, Banken oder Gerichten – reicht es nicht aus, die richtige Antwort zu haben. Man muss wissen, warum die Antwort richtig ist, wer die Erlaubnis gegeben hat, sie auszusprechen, und welcher Beweis sie stützt. Das ist die Welt der „Governance“. Es ist der Unterschied zwischen einem Magier, der ein Kaninchen aus einem Hut zieht (der Trick funktioniert!) und einem Wissenschaftler, der Ihnen exakt zeigt, wie das Kaninchen dorthin gelangt ist (der Beweis ist solide). Dieses Paper stellt eine einfache, aber knifflige Frage: Können wir ein System bauen, in dem KI-Agenten nicht nur die Aufgabe erledigen, sondern auch ein perfektes, unveränderliches Tagebuch darüber führen, wie sie es genau getan haben, damit wir ihnen vertrauen können?

Die Geschichte des Papers: Die „Matrix“ des Vertrauens

Der Autor dieses Papers, ein unabhängiger Forscher namens Jesus Salas, stellt ein neues System namens Matrix vor. Stellen Sie sich Matrix nicht als Science-Fiction-Film vor, sondern als einen superstrengen, unblinkenden Schiedsrichter und einen digitalen Notar in einem. Das Paper argumentiert, dass ein KI-Agent ein korrektes Geschäftsergebnis erzielt, das noch lange nicht bedeutet, dass die Arbeit „governed“ (gesteuert) wurde. Ein „governed“ Workflow ist einer, bei dem jede Entscheidung, jedes Beweisstück und jede Reaktion auf Veränderungen so aufgezeichnet wird, dass sie von einem Außenstehenden überprüft und verifiziert werden kann.

Um dies zu testen, stellten die Forscher eine Reihe von „Match-ups“ auf. Sie ließen einen Standard-KI-Workflow (nennen wir ihn den „Direkten Pfad“) gegen ihren neuen „Governed Path“ unter Verwendung des Matrix-Systems antreten. Sie verwendeten ein spezifisches KI-Modell namens Phi-4 und erstellten synthetische Szenarien, wie etwa ein Unternehmen, das versucht, einen neuen Lieferanten einzustellen oder ein Datenschutzupdate zu handhaben.

Hier ist das, was sie fanden, unterteilt in drei große Geschichten:

1. Die richtige Antwort, der falsche Beleg
Im ersten Test wählten sowohl der Direkte Pfad als auch der Governed Path exakt dieselbe korrekte Aktion 15 Mal von 15 Mal. Sie waren beim Endergebnis unentschieden! Doch als die Forscher die „Quittungen“ (die Beweise, die die KI für ihre Entscheidung nutzte) untersuchten, war der Direkte Pfad chaotisch. In 6 von 15 Durchläufen zitierte der Direkte Pfad Beweise, die eigentlich gar nicht verwendet werden durften – wie etwa ein Entwurfsdokument oder eine abgelaufene Regel. Der Governed Path hingegen machte diesen Fehler nie. Er weigerte sich, schlechte Beweise zu verwenden.
Das Faz-it: Man kann die richtige Antwort geben, während man eine falsche Karte in der Hand hält. Das Matrix-System stellt sicher, dass man nur die richtige Karte verwendet, selbst wenn das Ziel dasselbe ist.

2. Die „Ich bin fertig!“-Lüge
Im zweiten Test wurde die KI gebeten, eine Aufgabe abzuschließen und dies zu beweisen. Dem Direkten Pfad wurde erlaubt, einfach zu sagen: „Ich bin fertig!“, und das System akzeptierte dies. Selbst wenn die KI behauptete, eine Aufgabe abgeschlossen zu haben, aber keinen tatsächlichen Beweis lieferte (wie etwa eine fehlende Unterschrift auf einem Vertrag), schloss der Direkte Pfad die Akte trotzdem. Das Matrix-System jedoch agierte wie ein hartnäckiger Türsteher. Es prüfte den Beweis, sah, dass dieser fehlte, und sagte: „Nö, noch nicht fertig. Geh zurück und behebe es.“ Es zwang die KI, es erneut zu versuchen, bis sie echte, verifizierbare Beweise vorweisen konnte.
Das Faz-it: Eine KI, die sagt „Ich habe fertig“, ist kein Beweis. Das Matrix-System zwingt die KI, ihre Hausaufgaben zu zeigen, bevor sie ein Sternchen bekommt.

3. Der Dominoeffekt der Veränderung
Im dritten Test änderten sich die Regeln mitten im Prozess (wie das Erscheinen eines neuen Datenschutzgesetzes). Beide Systeme aktualisierten ihre Arbeit, um auf dem neuesten Stand zu bleiben. Aber der Direkte Pfad war tollpatschig: Er warf alles, was er bisher getan hatte, weg und begann von vorne, wodurch 18 Aufgaben neu bearbeitet werden mussten. Das Matrix-System war wie ein Chirurg: Es betrachtete seine Map der Abhängigkeiten, sah exakt, welche 3 Aufgaben durch die neue Regel betroffen waren, und erledigte nur diese 3 neu.
Das Faz-it: Wenn sich Dinge ändern, weiß ein gesteuertes System genau, was es reparieren und was es unberührt lassen muss, was eine Menge verschwendeter Mühe spart.

Der Twist: Der Vertrag, der scheiterte

Das Paper enthält auch eine sehr ehrliche „Fehlergeschichte“. Die Forscher versuchten, einen Satz von Regeln (einen „Completeness Contract“), den sie für eine spezifische Art von Aufgabe geschrieben hatten, auf einen völlig anderen Satz synthetischer Pakete anzuwenden, die durch einen anderen Prozess erstellt worden waren. Das Ergebnis? Das System folgte den Regeln perfekt, aber die Regeln selbst waren falsch für die neue Situation. Das System blockierte 100 % der gültigen Pakete, weil der Vertrag für den neuen Kontext zu streng war.
Das Faz-it: Dies beweist, dass ein System perfekt gehorsam gegenüber einer Regel sein kann, selbst wenn die Regel selbst fehlerhaft ist. Das Matrix-System ist großartig darin, Regeln durchzusetzen, aber es kann eine schlechte Regel nicht magisch korrigieren.

Das große Ganze

Der Autor ist vorsichtig damit, zu behaupten, dass Matrix die KI „schlauer“ macht oder genauer darin wird, die richtige Antwort zu erraten. Tatsächlich erhielt die KI in vielen Fällen auch ohne Matrix die richtige Antwort. Stattdessen argumentieren sie, dass Matrix eine Integritätsschicht ist. Es ist, als würde man einen Notar zu einem Händedruck hinzufügen. Der Händedruck findet vielleicht immer noch statt, aber jetzt hat man eine unterzeichnete, datierte und bezeugte Aufzeichnung darüber, was genau vereinbart wurde, wer unterschrieben hat und welcher Beweis verwendet wurde.

Das Paper kommt zu dem Schluss, dass für Institutionen (wie Regierungen oder große Unternehmen) die Fähigkeit, das „Warum“ und das „Wie“ zu prüfen, genauso wichtig ist wie das Endergebnis. Das System macht die Arbeit der KI transparent, verhindert, dass sie über ihre Fertigstellung lügt, und hilft ihr, sich von Veränderungen zu erholen, ohne gute Arbeit wegzuwerfen. Der Autor warnt jedoch, dass dieses System darauf basiert, dass die Regeln korrekt geschrieben sind; wenn die Regeln schlecht sind, wird das System die schlechten Regeln treu durchsetzen. Es ist ein Werkzeug für Vertrauen und Rechenschaftspflicht, kein Zauberstab, um KI perfekt zu machen.