Beyond Task Success: An Evidence-Synthesis Framework for Evaluating, Governing, and Orchestrating Agentic AI
Diese Arbeit schließt die Lücke zwischen Bewertung und Governance bei Agentic AI durch die Einführung eines vierstufigen Rahmens, eines ODTA-Tests für die Laufzeitplatzierung und eines Mindestbündels an Handlungsnachweisen, um die vertrauenswürdige Steuerung von KI-Agenten über die reine Aufgabenerfüllung hinaus zu gewährleisten.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie stellen einen hochintelligenten, aber sehr impulsiven digitalen Assistenten ein. Dieser Assistent soll für Sie einkaufen gehen, Verträge abschließen und Rechnungen bezahlen.
Früher war es einfach: Wenn der Assistent die richtige Antwort auf eine Frage gab, war er gut.
Heute ist es komplizierter: Der Assistent muss Handlungen ausführen. Er muss Geld bewegen, Daten ändern und Entscheidungen treffen. Wenn er nur die „richtige Antwort" gibt, aber dabei versehentlich Ihr ganzes Bankkonto leerräumt, war er trotzdem ein schlechter Assistent.
Dieses Papier sagt: „Nur das Endergebnis zu prüfen, reicht nicht mehr."
Hier ist die einfache Erklärung der Kernideen, übersetzt in eine Alltagssprache mit ein paar bildhaften Vergleichen:
1. Das Problem: Die Lücke zwischen „Soll" und „Tun"
Stellen Sie sich vor, Sie haben ein Gesetzbuch (Governance), das sagt: „Du darfst keine teuren Autos kaufen."
Dann haben Sie einen Fahrer (den KI-Agenten), der ein Auto kaufen soll.
Und dazwischen gibt es eine Lücke: Das Gesetzbuch sagt nur, was verboten ist. Es sagt dem Fahrer aber nicht genau, wann und wie er die Bremse ziehen muss, bevor er den Kaufvertrag unterschreibt.
Das Papier nennt dies die „Governance-to-Action Closure Gap" (die Lücke zwischen Regel und Handlung).
- Die Regel sagt: „Keine teuren Autos."
- Die Handlung passiert: Der Fahrer kauft das Auto.
- Das Problem: Niemand hat in dem Moment dazwischen gestanden und gesagt: „Stopp! Das ist zu teuer!"
2. Die Lösung: Ein neues 4-Ebenen-System
Um diese Lücke zu schließen, schlagen die Autoren ein System aus vier Ebenen vor. Stellen Sie sich das wie den Bau und Betrieb einer Zugstrecke vor:
- Ebene 1: Evaluation (Die Prüfung)
- Frage: „Hat der Zug das Ziel erreicht?"
- Neue Idee: Es reicht nicht zu schauen, ob er am Ziel war. Wir müssen auch schauen, ob er auf dem Weg die Schranken eingehalten hat, ob er pünktlich war und ob er keine anderen Züge angefahren hat. Wir prüfen den gesamten Fahrweg, nicht nur das Ende.
- Ebene 2: Governance (Das Gesetz)
- Frage: „Was darf passieren?"
- Neue Idee: Das sind die Regeln. „Maximal 100 km/h", „Nur auf Schienen fahren". Aber ein Gesetz allein hält einen Zug nicht auf. Es braucht jemanden, der die Regeln in die Tat umsetzt.
- Ebene 3: Orchestration (Der Lokführer & die Ampeln)
- Frage: „Was passiert gerade?"
- Neue Idee: Das ist der wichtigste Teil! Hier sitzen die Ampeln und Bremsen. Bevor der Zug (die KI) eine Aktion ausführt (z. B. Geld überweisen), prüft diese Ebene: „Ist das erlaubt? Ist der Fahrer autorisiert?" Wenn nicht, wird der Zug sofort gestoppt. Das ist der Ort, an dem die Regeln wirklich greifen.
- Ebene 4: Assurance (Der schwarze Kasten)
- Frage: „Können wir beweisen, dass alles okay war?"
- Neue Idee: Wenn später jemand sagt: „Der Zug hat doch die Schranken ignoriert!", müssen wir den Flugschreiber (die Aufzeichnungen)拿出来. Wir müssen beweisen können, dass die Ampel grün war und die Bremse funktioniert hat. Ohne diesen Beweis ist die ganze Sicherheit nur Behauptung.
3. Der ODTA-Test: Wann müssen wir sofort eingreifen?
Nicht jede Regel muss sofort von einer Ampel gestoppt werden. Die Autoren geben einen einfachen Test, um zu entscheiden, wo eine Regel sitzt:
- Observability (Sichtbarkeit): Kann man das Ereignis sehen, bevor es passiert?
- Decidability (Entscheidbarkeit): Ist die Regel so klar, dass ein Computer sie sofort versteht? (z. B. „Nicht über 500 Euro")
- Timeliness (Zeit): Muss es sofort passieren, oder reicht es später?
- Attestability (Nachweisbarkeit): Können wir es später beweisen?
Das Ergebnis des Tests:
- Wenn eine Regel klar und sofort sichtbar ist (z. B. „Nur autorisierte Lieferanten"), dann muss sie von der Ampel (Orchestration) gestoppt werden.
- Wenn eine Regel kompliziert ist und viel menschliches Urteilsvermögen braucht (z. B. „Ist dieser Preis fair?"), dann sollte sie nicht von der KI gestoppt werden, sondern von einem Menschen geprüft werden, bevor der Zug weiterfährt.
4. Der „Mindest-Beweis-Paket" (MAEB)
Wenn die KI eine wichtige Aktion macht (z. B. einen Vertrag unterschreibt), muss sie einen digitalen Rucksack mitnehmen. Dieser Rucksack muss enthalten:
- Wer hat es getan? (Identität)
- Welche Regel wurde geprüft? (Der Grund)
- Wie sah die Welt vor der Aktion aus? (Der Kontext)
- Was genau wurde getan? (Die Aktion)
- Wer hat es genehmigt? (Die Erlaubnis)
Ohne diesen Rucksack ist die Aktion wie ein Brief ohne Absender und ohne Poststempel – man kann ihn nicht nachvollziehen.
Zusammenfassung in einem Satz
Vertrauenswürdige KI ist nicht mehr nur eine Frage davon, ob die KI die richtige Antwort gibt, sondern davon, ob wir jeden Schritt ihres Weges überwachen, steuern und später beweisen können, dass sie sich an die Regeln gehalten hat.
Es geht also nicht mehr nur um das Ziel, sondern um den gesamten Fahrweg und die Beweise, dass der Fahrer nicht durchgebrannt ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.