Post-Deployment Accountability in AI Governance: A Cross-Regulatory Empirical Analysis of AI Incidents

Stellen Sie sich die Welt der Künstlichen Intelligenz (KI) als eine riesige, geschäftige Stadt vor, in der Roboter eingestellt werden, um alles zu erledigen – von der Diagnose von Krankheiten bis hin zur Genehmigung von Krediten. Lange Zeit war die große Sorge lediglich, wie diese Roboter gebaut wurden – also sicherzustellen, dass sie klug, fair und frei von schlechtem Code in ihren Gehirnen sind. Doch vor kurzem haben Wissenschaftler und Juristen erkannt, dass der Bau eines Roboters nur die halbe Geschichte ist. Die eigentliche Herausforderung liegt darin, was passiert, nachdem der Roboter angefangen hat zu arbeiten. Dieses Feld wird als „Post-Deployment-Governance“ (Regulierung nach dem Einsatz) bezeichnet. Denken Sie an den Unterschied zwischen dem Bau eines Autos und dem tatsächlichen Fahren auf der Straße. Man kann in einer Fabrik ein perfektes Auto bauen, aber wenn man keinen Mechaniker hat, der täglich die Bremsen prüft, einen Tacho, der tatsächlich funktioniert, und einen klaren Plan, was zu tun ist, wenn der Motor Feuer fängt, ist das Auto eine Gefahr für alle.

Dieses Paper taucht in diese „Nach der Fabrik“-Phase ein. Es untersucht drei große Regelwerke, die Regierungen und Organisationen erstellt haben, um KI sicher zu halten: den EU AI Act (ein strenges Gesetz aus Europa), das NIST AI Risk Management Framework (ein freiwilliger Leitfaden aus den USA) und die DSGVO (ein Regelbuch zum Schutz personenbezogener Daten). Die große Frage ist nicht nur: „Existieren diese Regeln?“, sondern: „Funktionieren sie tatsächlich, wenn etwas schiefgeht?“ Die Autoren wollten herausfinden, ob die Verantwortlichen, wenn ein KI-System einen Fehler macht, tatsächlich aufpassen, das Problem melden und es beheben, oder ob sie einfach nur hoffen, dass es niemand bemerkt.

---

Der große KI-Realitätscheck

Stellen Sie sich vor, Sie sind ein Detektiv, der eine Stadt untersucht, in der zwischen 2020 und 2026 480 verschiedene Roboter Unfälle verursacht haben. Einige Roboter gaben schlechte medizinische Ratschläge, einige lehnten Kreditanträge unfair ab und einige verursachten Staus. Ihr Job ist es, die Polizeiberichte zu prüfen und zu sehen, ob die Roboterbesitzer die Regelbücher befolgt haben, die sie eigentlich hätten haben müssen.

Die Autoren dieses Papers haben genau das getan. Sie haben 480 reale KI-Katastrophen untersucht und diese gegen neun spezifische Regeln aus den drei oben genannten großen Regelwerken geprüft. Sie suchten nach „Beweisen“ – wie etwa einem Logbuch, das zeigt, dass jemand den Roboter beobachtet hat, einem Bericht, der erstattet wurde, als der Roboter defekt war, oder einem Plan, ihn abzuschalten.

Die große Überraschung: Die „Geister“-Regeln
Die Ergebnisse waren etwas erschreckend. Es stellte sich heraus, dass die Sicherheitsregeln bei den meisten dieser Unfälle im Grunde Geister waren. Sie existierten auf dem Papier, aber man konnte im realen Leben keine Spur von ihnen finden.

• Der EU AI Act: Dieses Regelwerk besagt, dass Hochrisiko-Roboter einen „Post-Market Monitor“ benötigen – im Grunde eine Sicherheitskamera, die den Roboter nach der Markteinführung 24/7 überwacht. Die Studie fand heraus, dass es bei 77,1 % der Unfälle absolut keine Beweise dafür gab, dass überhaupt jemand zugesehen hat. Es war, als würde man ein Auto ohne Bremsen fahren und niemand würde das Armaturenbrett kontrollieren.
• Die DSGVO (Datenschutz): Diese Regel besagt, dass man eine „Datenschutz-Folgenabschätzung“ (eine Sicherheitsprüfung vor dem Start) durchführen muss, wenn man personenbezogene Daten auf riskante Weise verwendet. Die Studie fand heraus, dass bei 99,6 % der Vorfälle kein Beleg dafür existierte, dass diese Sicherheitsprüfung jemals durchgeführt wurde.
• Das NIST-Framework: Dieser Leitfaden schlägt vor, dass man einen Plan haben sollte, um Dinge zu beheben, wenn sie schiefgehen. Obwohl einige Unternehmen die defekten Roboter schließlich abschalteten (in etwa 57,5 % der Fälle), taten sie dies meist erst, nachdem der Schaden bereits entstanden war und die Nachricht bereits im Fernsehen lief. Sie haben nicht proaktiv repariert; sie haben lediglich die Besen zusammengekehrt.

Der „systemische“ Fehler
Die Autoren prüften auch, ob diese Ausfälle zufällige Fehler waren oder ob das gesamte System defekt war. Sie fanden heraus, dass 9,8 % der Unfälle Fehler unter zwei oder mehr Regelwerken gleichzeitig waren. Dies deutet darauf hin, dass das Problem nicht nur ist, dass ein einzelnes Regelwerk schlecht ist, sondern dass die gesamte Art und Weise, wie wir KI-Sicherheit verwalten, einige entscheidende Zahnräder vermissen lässt. Es ist wie ein Auto, das gleichzeitig keine Bremsen, kein Lenkrad und keine Sicherheitsgurte hat.

Die Geheimwaffe: Der „interne Detektiv“
Hier ist der interessanteste Teil der Geschichte. Die Forscher bemerkten einen riesigen Unterschied zwischen Unfällen, die vom eigenen Team des Unternehmens gefunden wurden, und Unfällen, die von der Außenwelt (wie Journalisten, wütenden Nutzern oder Forschern) entdeckt wurden.

• Interne Detektion: Wenn ein Unternehmen das Problem selbst fand, war es viel wahrscheinlicher, dass es die Regeln befolgt hatte. Für den EU AI Act zeigten 87,5 % dieser selbst entdeckten Unfälle eine Compliance (Regeltreue).
• Externe Detektion: Wenn die Außenwelt das Problem fand, sank die Compliance-Rate auf winzige 5,3 %.

Dies deutet darauf hin, dass die Unternehmen, die tatsächlich einen „Detektiv“ in ihrem Büro haben, der den Roboter jeden Tag beobachtet, diejenigen sind, die die Probleme frühzeitig erkennen und die Regeln befolgen. Die Unternehmen, die warten, bis die Nachrichten über das Problem berichten, bevor sie wissen, dass es ein Problem gibt, sind diejenigen, die bei den Sicherheitsprüfungen versagen. Die Autoren schlagen vor, dass das Vorhandensein eines internen Überwachungssystems ein großer Hinweis darauf ist, dass ein Unternehmen gute Arbeit leistet, obwohl sie einräumen, dass sie nicht beweisen können, dass dies die Ursache für das gute Verhalten ist (vielleicht haben gute Unternehmen einfach zufällig beides).

Der Lösungsvorschlag: Der PAGCF
Da das aktuelle System hauptsächlich reaktiv ist (man behebt Dinge, nachdem sie kaputtgegangen sind), schlagen die Autoren einen neuen Plan namens Proactive AI Governance Compliance Framework (PAGCF) vor. Stellen Sie sich dies als ein neues Handbuch für Roboterfahrer vor. Anstatt nur auf Unfälle zu reagieren, umfasst dieser Plan vier Schritte:

1. Pre-Deployment Assessment (Bewertung vor dem Einsatz): Prüfen Sie vor dem Start des Roboters dessen Sicherheitsausrüstung und erstellen Sie einen Plan.
2. Continuous Monitoring (Kontinuierliche Überwachung): Behalten Sie eine Live-Kamera 24/7 auf den Roboter gerichtet, um Probleme zu erkennen, bevor sie zu Unfällen werden.
3. Incident Preparedness (Vorsorge für Zwischenfälle): Haben Sie eine „Feuerübung“ bereit. Wissen Sie genau, wen Sie anrufen müssen und was zu sagen ist, wenn der Roboter einen Fehler macht.
4. Cross-Framework Verification (Rahmenübergreifende Verifizierung): Stellen Sie sicher, dass Sie alle Regelwerke gleichzeitig befolgen, nicht nur eines.

Was das für uns bedeutet
Das Paper kommt zu dem Schluss, dass wir nicht einfach mehr Regeln schreiben und hoffen können, dass sie funktionieren. Die Regeln sind bereits da, aber niemand nutzt sie. Die wichtigste Lektion ist, dass wir aufhören müssen zu warten, bis die Nachrichten uns sagen, dass eine KI defekt ist. Wir müssen Systeme bauen, die die KI beobachten, während sie arbeitet. Die Autoren schlagen vor, dass, wenn Unternehmen zuerst mit dieser „internen Überwachung“ beginnen, sie von einer fast nicht vorhandenen Compliance zu über 85 % Compliance springen könnten.

Es ist kein Zauberstab, und die Autoren betonen vorsichtig, dass dies auf dem basiert, was sie in den Daten gesehen haben, nicht auf einer garantierten Lösung. Aber die Botschaft ist klar: Wenn wir wollen, dass KI sicher ist, müssen wir aufhören, die Menschen zu sein, die den Schmutz wegmachen, und statfangen, die Menschen zu sein, die den Schmutz verhindern.