Evidence for Whom? Contestability and Socio-Technical Assurance in High-Risk AI Governance
Dieses Paper argumentiert, dass aktuelle Governance-Frameworks für Hochrisiko-KI (NIST, EU AI Act, ISO/IEC 42001) eine kritische Evidenzlücke schaffen, indem sie artefaktzentrierte Evidenz gegenüber der für die Anfechtbarkeit erforderlichen prozessbasierten Evidenz priorisieren, ein struktureller Fehler, der durch die inhärente Ambiguität bei der Interpretation dieser Anforderungen hervorgehoben wird und letztlich die prozeduralen und epistemischen Rechte der regulierten Stakeholder untergräbt.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der ein Computerprogramm entscheidet, wer einen Job bekommt, wer einen Kredit erhält oder ob jemandem die Bewährung gewährt wird. Diese Systeme sind nicht nur Code, der in einem Vakuum läuft; sie sind Teil eines größeren menschlichen Ökosystems, das aus den Unternehmen besteht, die sie entwickeln, den Organisationen, die sie nutzen, und den Menschen, deren Leben durch ihre Ergebnisse verändert wird. Wenn diese Systeme einen Fehler machen, wird die Frage, wer die Verantwortung trägt und wie man diesen nachweist, dringlich. Dies ist das Feld der Governance für Künstliche Intelligenz (KI-Governance), ein Bereich, der sich der Aufgabe widmet, sicherzustellen, dass diese mächtigen Werkzeuge sicher, fair und rechenschaftspflichtig sind. Ein zentraler Gedanke in diesem Feld ist die „Anfechtbarkeit“ – die Fähigkeit einer von einer Entscheidung betroffenen Person, diese zu hinterfragen, zu verstehen, warum sie zustande kam, und eine Korrektur zu erwirken. Damit dies funktioniert, muss es Beweise geben – Beweise dafür, dass das System überprüft wurde, dass es wie beabsichtigt funktioniert und dass ein Mensch eingreifen kann, wenn etwas schiefgeht. Doch eine entscheidende Frage bleibt: Wer darf diese Beweise sehen, und sind die Beweise tatsächlich nützlich für die Person, die sie am dringendsten benötigt?
Ein Forschungsteam von Universitäten aus den USA und Indien machte sich daran, genau dieses Problem zu untersuchen. Sie untersuchten drei bedeutende Regelwerke und Leitlinien, die hochriskante Künstliche Intelligenz regeln: einen freiwilligen Rahmen aus den Vereinigten Staaten, ein verbindliches Gesetz der Europäischen Union und einen internationalen Standard für das Management von KI-Systemen. Ihr Ziel war es, eine detaillierte Karte, oder einen „Crosswalk“, zu erstellen, der spezifische Anforderungen in diesen Dokumenten mit den tatsächlichen technischen Methoden verknüpft, die zum Testen von KI verwendet werden. Sie wollten sehen, ob die von den Regeln geforderten Beweise die Art von Beweisen sind, die einer Person tatsächlich helfen könnten, eine Entscheidung anzufechten, oder ob es sich lediglich um eine Sammlung technischer Berichte handelt, die nur von Unternehmen und Regulierungsbehörden gelesen werden können.
Die Forscher begannen mit der Zusammenstellung einer umfangreichen Sammlung technischer Evaluationsmethoden. Sie identifizierten zwölf verschiedene Familien von Tests, die von der Überprüfung der Genauigkeit eines Modells bei neuen Daten über die Untersuchung, ob es durch bösartige Eingaben getäuscht werden kann, bis hin zur Analyse der Qualität der für das Training verwendeten Daten oder der Untersuchung, wie gut Menschen das System überwachen können, reichten. Dann verglichen sie diese zwölf Familien mit zweiundzwanzig spezifischen Anforderungen aus den drei reglementierenden Dokumenten. Sie stellten für jede Paarung eine einfache, aber tiefgreifende Frage: Liefert dieser spezifische Test den wesentlichen Beweis, der nötig ist, um diese spezifische Regel zu erfüllen?
Was sie fanden, war ein frappierendes Ungleichgewicht. Die Regeln, die Beweise über das KI-Modell selbst forderten – wie etwa dessen Genauigkeit, seine Robustheit gegenüber Angriffen oder seine statistische Fairness –, waren gut abgesichert. Es gab reichlich technische Tests, um die notwendigen Berichte zu generieren. Die Regeln jedoch, die Beweise darüber forderten, wie das System in der realen Welt arbeitet, nachdem es implementiert wurde, waren weitgehend ungestützt. Diese Regeln betrafen Dinge wie die Frage, ob ein menschlicher Aufseher tatsächlich einen Fehler entdecken könnte, ob die Protokolle des Systems detailliert genug waren, um eine spezifische Entscheidung zu rekonstruieren, und ob die Organisation nachweisen konnte, dass sie die Auswirkungen des Systems auf das Leben der Menschen überwacht. Für diese entscheidenden Fragen stellten die Forscher fest, dass die verfügbaren technischen Methoden entweder gänzlich fehlten oder nur schwache, sekundäre Unterstützung boten.
Die Studie zeigte, dass die Beweise, die generiert werden, um zu belegen, dass ein KI-System sicher ist, primär für Intermediäre konzipiert sind: die Unternehmen, die die Software entwickeln, die Prüfer, die sie kontrollieren, und die Regulierungsbehörden, die das Gesetz durchsetzen. Die Menschen, die tatsächlich diesen Entscheidungen unterliegen – der Bewerber, der abgelehnt wurde, der Kreditnehmer, dem der Kredit verweigert wurde – haben keinen direkten Weg zu diesen Beweisen. Sie mögen zwar eine Erklärung darüber erhalten, was das System getan hat, aber sie können nicht auf die zugrunde liegenden Datensätze zugreifen, die es ihnen ermöglichen würden, zu verifizieren, ob diese Erklärung wahr ist, oder genau zu verstehen, wie die Entscheidung zustande kam. Die Forscher argumentieren, dass dies nicht nur eine technische Lücke oder ein fehlendes Puzzleteil ist; es ist ein grundlegender Fehler im System der Gerechtigkeit. Indem man den betroffenen Menschen den Zugang zu den Beweisen verweigert, die nötig sind, um eine Entscheidung anzufechten, behandelt das derzeitige Framework sie als passive Subjekte statt als aktive Teilnehmer an einem Prozess, der über ihre Zukunft entscheidet.
Die Forscher merkten vorsichtig an, dass sich ihre Ergebnisse auf eine spezifische Analyse der verfügbaren technischen Literatur und der Texte der Gesetze beziehen. Sie behaupteten nicht, dass Unternehmen diese Prüfungen intern nicht durchführen, sondern vielmehr, dass die Methoden, um den Beweis für die Wirksamkeit dieser Prüfungen zu erbringen, noch nicht standardisiert oder in einer Form weit verbreitet sind, die den Regeln genügt. Sie hoben auch hervor, dass ihre eigene Arbeit ein gewisses Maß an Interpretation beinhaltete. Als sie unabhängige Experten baten, ihre Zuordnung zu überprüfen, stimmten die Experten in den Grundzügen überein, waren sich aber in den Details manchmal uneinig, was darauf hindeutet, dass die Regeln selbst Spielraum für unterschiedliche Auslegungen lassen. Diese Uneinigkeit, so die Autoren, ist ein Merkmal des Problems, kein Fehler: Sie zeigt, dass die aktuellen Anforderungen nicht klar genug sind, um zu garantieren, dass die richtige Art von Beweis produziert wird.
Letztlich kommt das Paper zu dem Schluss, dass der aktuelle Ansatz der KI-Governance unvollständig ist. Er stützt sich stark auf Beweise, die innerhalb der Entwicklungspipeline eines Unternehmens erzeugt werden können, wie Testergebnisse und technische Dokumentation, vernachlässigt aber die Beweise, die nur durch die Beobachtung der Interaktion des Systems mit Menschen in der realen Welt gewonnen werden können. Die Autoren schlagen vor, dass die Regeln sich weiterentwickeln müssen, damit KI wirklich rechenschaftspflichtig ist; sie müssen Beweise fordern, die sich nicht nur auf die Maschine beziehen, sondern auf das gesamte soziotechnische System. Dies beinhaltet den Beweis dafür, dass die menschliche Aufsicht effektiv ist, dass Protokolle ausreichen, um Ereignisse zu rekonstruieren, und dass die Auswirkungen des Systems auf die Gesellschaft überwacht werden. Oh ohne diese Änderungen bleibt das Versprechen der KI-Rechenschaftspflichtchaft ein Versprechen, das nur gegenüber den Mächtigen gemacht wird und diejenigen, die am stärksten von der Technologie betroffen sind, ohne die Werkzeuge zurücklässt, um sich zu verteidigen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.