Technische Zusammenfassung: Verantwortungsvolle Agentic-KI erfordert explizite Provenienz

1. Problemstellung

Die rasante Verbreitung von Agentic-KI – Systeme, die in der Lage sind, in realen Umgebungen autonome Planung, Werkzeugnutzung und mehrstufige Ausführung durchzuführen – hat die Entwicklung von Verantwortlichkeitsstrukturen überholt. Während einzelne Komponenten (z. B. Fähigkeiten, Werkzeuge, Modelle) Sicherheitsaudits bestehen können, führt ihre Zusammensetzung innerhalb eines Agenten häufig zu emergenten Schäden, Verstößen gegen Vorschriften und verwässerter Verantwortung.

Derzeitige Ansätze für „vertrauenswürdige KI" verlassen sich auf Benchmarking auf Komponentenebene und nachträgliche Audits. Diese Methoden versagen aus folgenden Gründen:

• Kompositionelles Risiko: In Isolation verifizierte Sicherheitseigenschaften überstehen Interaktionen nicht.
• Verwässerte Verantwortlichkeit: Schäden entstehen aus Trajektorien mit langem Zeithorizont und verteilten kausalen Ketten, die kein einzelner Akteur end-to-end gestaltet oder kontrolliert.
• Fehlende Berechenbarkeit: Verantwortung bleibt ein subjektives, nicht durchsetzbares Konzept, da es keine explizite, nachverfolgbare Aufzeichnung (Provenienz) gibt, die spezifische Schäden mit spezifischen Parteien und kausalen Beiträgen verknüpft.

Die Arbeit argumentiert, dass ohne explizite Provenienz über den gesamten agenticen Lebenszyklus hinweg Verantwortung nicht berechenbar, handlungsleitend oder durchsetzbar gemacht werden kann.

2. Methodik und Formalisierung

Die Autoren schlagen ein Framework vor, das auf expliziter Provenienz basiert, um Verantwortung berechenbar zu machen. Dies umfasst die Formalisierung der notwendigen Beweise und strukturellen Schichten, die zur Zuweisung von Verantwortung erforderlich sind.

2.1 Kern-Definitionen

• Agentic Trajektorie ($\tau$): Eine endliche Sequenz von Umweltzuständen und gemeinsamen Agentenaktionen.
• Kausaler Beitrag ($\kappa$): Ein Maß für den kausalen Einfluss einer Partei auf ein Schadensereignis $\omega$. Es ist definiert als die Differenz in der Wahrscheinlichkeit des Eintretens eines Schadens mit den Entscheidungen der Partei im Vergleich zu einer kontrafaktischen Trajektorie, bei der diese Entscheidungen neutralisiert werden:
  $$\kappa(p, \omega, \tau) = \Pr[\omega | \tau] - \Pr[\omega | \tau_{-p}]$$
• Epistemische Position ($\varepsilon$): Ein Maß dafür, was eine Partei wusste oder bei ihrer Rolle und den verfügbaren Informationen zum Zeitpunkt $t$ vernünftigerweise voraussehen sollte.
• Berechenbare Verantwortung ($\rho$): Eine Funktion, die jeder Partei $p$ für einen Schaden $\omega$ ein Verantwortungsgewicht zuweist und folgende Bedingungen erfüllt:
  1. Proportionalität: $\rho \propto \kappa \cdot \mathbb{1}[\text{vorhersehbar}]$.
  2. Vollständigkeit: Die Summe der individuellen Verantwortlichkeiten plus die verbleibende institutionelle Verantwortung ergibt 1.
  3. Nicht-Umgehbarkeit: Parteien können der Verantwortung für vorhersehbare Beiträge nicht durch Systemkomplexität entgehen.
• Verantwortungstensor ($R$): Eine mehrdimensionale Struktur $R \in [0, 1]^{|P| \times |\Omega| \times |D|}$, die Verantwortung über Parteien, Schadensereignisse und sozio-technische Dimensionen (z. B. Standards, Regulierung, Professionalität) kodiert.

2.2 Die Vier-Schichten-Lebenszyklus-Agenda

Um diese Definitionen zu operationalisieren, skizziert die Arbeit eine Forschungsagenda mit vier Schichten:

1. L1 (Design): Etablierung eines kausalen Abhängigkeitsgraphen ($G$), der Parteien, Modelle und Fähigkeiten vor dem Einsatz repräsentiert. Dies stellt sicher, dass das System so gestaltet ist, dass es die notwendige Provenienz erzeugt.
2. L2 (Engineering): Implementierung von Online-Trajektorien-Monitoring, um das Trajektorienrisiko ($\Pr[\omega | e_t, \alpha_{t:T}]$) in Echtzeit zu schätzen. Diese Schicht muss strukturierte, fehlungsorientierte Ausführungsprotokolle produzieren, die sowohl Rückverfolgbarkeit (retrospektiv) als auch Interventionsfähigkeit (prospektiv) unterstützen.
3. L3 (Einsatz): Übersetzung technischer Provenienz in normative Urteile. Dies umfasst die Definition von „Verantwortungsumhüllungen", Dimensionsgewichten ($w_k$) und Incident-Response-Plänen, um kausale Signale auf spezifische Parteien abzubilden.
4. L4 (Erfahrung): Behandlung kumulativer Schäden (z. B. Erosion der Autonomie, Verstärkung von Bias), die über lange Zeithorizonte auftreten, ohne einzelne Schwellenwerte zu überschreiten. Dies erfordert eine bevölkerungsweite Überwachung von Nutzer-Entscheidungsräumen und Glaubensdivergenz.

3. Wichtige Ergebnisse und Experimente

Die Arbeit präsentiert eine vorläufige experimentelle Validierung für die Schicht L2 (Engineering), mit einem spezifischen Fokus auf die Schätzbarkeit kausaler Signale online.

• Experimentelles Setup: Die Autoren nutzten eine Plug-in-Neuro-symbolische (NeSy)-Monitoring-Architektur, die an Agentic-Systeme angehängt wurde. Diese Architektur wandelt rohe Agenten-Spuren in kanonische Schritt-für-Schritt-Repräsentationen um und bewertet sie mithilfe verschiedener Monitorer (Neuronale Sequenzmodelle, Endliche-Zustands-Maschinen, Transformer, GRUs), ohne die Interna des Agenten zu modifizieren.
• Datensätze: Die Experimente wurden über vier Benchmarks durchgeführt: WebArena, TAU2Bench, SkillsBench und TerminalBench.
• Metrik: Die Fläche unter der Precision-Recall-Kurve (AUPRC) wurde verwendet, um zu messen, wie gut Monitorer fehlerhafte Trajektorien bevor ein Schaden eintritt identifizieren.
• Ergebnisse:
  • Gelernte Monitorer schnitten deutlich besser ab als zufällige Baselines und Zero-Shot-LLM-Baselines.
  • Varianten mit endlichen Zuständen gelang es, Warnverhalten in symbolische Zustände zu komprimieren, die für menschliche Auditor:innen lesbar sind und die für die Rückverfolgbarkeit erforderlichen überprüfbaren Beweise liefern.
  • Monitorer identifizierten Hochrisiko-Präfixe früh genug, um Interventionen vor der Anhäufung irreversibler Konsequenzen zu unterstützen, und validierten damit die Anforderung der Interventionsfähigkeit.
• Fallstudie: Die Autoren demonstrierten, wie diese symbolischen Zustände (z. B. „fehlgeleitete Suchanfrage", „Umleitung zu externer Suche") auf spezifische Parteien der Einsatzkette (z. B. Entwickler von Fähigkeiten, Plattformbetreiber) zurückgeführt werden können, um den Verantwortungstensor zu füllen und subjektive Schuldzuweisung in eine berechenbare Zuteilung zu verwandeln.

4. Bedeutung und Behauptungen

Die Arbeit positioniert explizite Provenienz nicht als optionale Verfeinerung, sondern als notwendige Bedingung für verantwortungsvolle Agentic-KI.

• Strukturelle Notwendigkeit: Die Autoren argumentieren, dass das aktuelle „Vertrauensdefizit" bei der KI-Adoption struktureller und nicht lediglich technischer Natur ist. Verantwortungslücken bestehen, weil keine Partei die quantifizierbaren, nachverfolgbaren und intervenierbaren Aufzeichnungen produziert, die erforderlich sind, um Schuld zuzuweisen, wenn Schäden aus kompositorischem Verhalten entstehen.
• Paradigmenwechsel: Die Arbeit verschiebt das Feld von einer „benchmarkgetriebenen Evaluation" (die Fähigkeiten in Isolation bewertet) hin zu einer „provenienzgestützten Verantwortlichkeit" (die Verantwortung über den gesamten Lebenszyklus hinweg bewertet).
• Handlungsleitendheit: Durch die Formalisierung von Verantwortung als berechenbare Funktion basierend auf kausalem Beitrag und Vorhersehbarkeit beansprucht die Arbeit, das Konzept der Verantwortung für Regulierungsbehörden, Entwickler und Institutionen handlungsleitend zu machen.
• Institutionelles Vertrauen: Die Autoren vertreten die Auffassung, dass der Engpass für die Adoption von Agentic-KI nicht ein Mangel an Fähigkeiten, sondern ein Mangel an Vertrauen ist. Explizite Provenienz-Infrastruktur wird als Mechanismus präsentiert, um das institutionelle Vertrauen aufzubauen, das für die Delegation von Autorität im großen Maßstab erforderlich ist.

Die Arbeit schließt, dass die Schließung der Lücke zwischen raschem technologischem Fortschritt und Verantwortlichkeitsstrukturen eine gemeinsame Verpflichtung darstellt, die eine nachhaltige Zusammenarbeit zwischen Informatik, Recht, Ethik und Sozialwissenschaften erfordert, um die Verantwortlichkeitsinfrastruktur zu gestalten, die Agentic-KI verlangt.