AI Governance - Social Contestability Framework-vFinal
Dieses Paper argumentiert, dass legitime KI-Governance eine Verlagerung des Fokus von internen Compliance-Artefakten hin zur „sozialen Anfechtbarkeit“ erfordert – der Fähigkeit betroffener Personen, KI-gestützte Entscheidungen zu verstehen, anzufechten und zu korrigieren – und schlägt fünf institutionelle Bedingungen sowie einen Lebenszyklus-Test vor, um diesen Rahmen über die wichtigsten Governance-Instrumente und realen Anwendungsfälle hinweg zu operationalisieren.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der ein Computerprogramm darüber entscheidet, ob Sie einen Job bekommen, einen Kredit erhalten oder eine medizinische Behandlung bekommen. In den letzten Jahren haben Regierungen und Unternehmen ein weitreichendes System von Regeln aufgebaut, um sicherzustellen, dass diese Programme gut funktionieren. Sie erstellen Checklisten, schreiben Berichte und führen Audits durch, um zu beweisen, dass ihre Software sicher und fair ist. Diese Regeln sind wichtig, aber sie konzentrieren sich oft darauf, was das Unternehmen innerhalb seiner eigenen Büros tut. Sie prüfen, ob die Dokumentation vollständig ist, aber sie fragen selten, ob die Person auf der Empfängerseite tatsächlich die Möglichkeit hat, sich zu Wort zu melden, wenn etwas schiefgeht. Diese Lücke ist das Herzstück einer neuen Studie von Shiraz Aslam, einem Forscher bei der Banque Saudi Fransi, der argumentiert, dass ein Regelwerk nicht ausreicht, wenn die betroffenen Personen eine Entscheidung nicht anfechten können.
Die Kernidee, die die Arbeit untersucht, wird als „soziale Anfechtbarkeit“ (social contestability) bezeichnet. Vereinfacht ausgedrückt bedeutet dies: Wenn ein Computer eine Entscheidung trifft, die Ihr Leben verändert, müssen Sie eine echte Möglichkeit haben, herauszufinden, dass dies geschehen ist, zu verstehen, warum es geschehen ist, und einen Menschen mit tatsächlicher Entscheidungsbefugnis zu kontaktieren, um die Entscheidung zu korrigieren, falls sie falsch ist. Es reicht nicht aus, wenn ein Unternehmen sagt: „Wir haben einen Menschen im Prozess“, wenn dieser Mensch nur ein bloßer Stempelknecht ist, der nicht „Nein“ sagen kann. Die Studie legt nahe, dass wahre Fairness eine direkte Kommunikationslinie zwischen der geschädigten Person und einer Institution erfordert, die in der Lage ist, die Entscheidung rückgängig zu machen. Ohne dies kann ein Unternehmen alle Gesetze perfekt einhalten und dennoch eine Person ohne Handhabe zurücklassen.
Um herauszufinden, wie man dieses Sicherheitsnetz baut, untersuchte der Forscher vier große Regelwerke, die heute weltweit verwendet werden: den AI Act der Europäischen Union, einen Risikomanagement-Leitfaden des US National Institute of Standards and Technology, die Prinzipien der Organisation für wirtschaftliche Zusammenarbeit und Entwicklung sowie einen Entwurf der US-Regierung für eine AI Bill of Rights. Die Studie verglich diese Dokumente, um zu sehen, was sie einem normalen Menschen tatsächlich ermöglichen. Die Analyse ergab ein wiederkehrendes Problem: Diese Rahmenwerke sind exzellent darin, Unternehmen zu erklären, wie sie ihre eigenen Risiken managen sollen, aber sie schweigen oft darüber, wie eine Person gegen ein schlechtes Ergebnis vorgehen kann. Ein Unternehmen mag über eine perfekte Audit-Spur verfügen, die zeigt, dass es seine Arbeit überprüft hat, doch die Person, der der Kredit verweigert wurde, hat dennoch keinen klaren Weg zu einem autorisierten Menschen, der seine Meinung ändern kann.
Der Forscher untersuchte daraufhin fünf reale Beispiele, in denen automatisierte Systeme Schaden angerichtet haben, um genau zu sehen, an welcher Stelle das System versagte. Ein Fall betraf ein Einstellungstool, das weibliche Bewerberinnen ablehnte, weil es aus verzerrten Vergangenheitsdaten lernte. Ein anderer Fall betraf einen Gesundheitsalgorithmus, der schwarze Patienten diskriminierte, weil er medizinische Kosten als Abkürzung für den medizinischen Bedarf nutzte. Es gab auch ein Bewertungssystem im Vereinigten Königreich, das das Urteil von Lehrkräften durch eine statistische Formel ersetzte, und ein staatliches Schuldenprogramm in Australien, das Bürger dazu zwang, ihre Unschuld gegenüber Fehlern zu beweisen, die sie nicht begangen hatten. In jedem Fall verfügte die Institution über Regeln und Dokumentationen, aber die betroffenen Personen konnten die Entscheidung nicht effektiv hinterfragen. Die Studie stellte fest, dass in jedem dieser Fälle das System nicht über eine spezifische Reihe von Bedingungen verfügte, die es der Person ermöglicht hätten, das Ergebnis anzufechten.
Aus diesen Fehlern leitet die Arbeit fünf spezifische Bedingungen ab, die erfüllt sein müssen, damit ein System wirklich anfechtbar ist. Erstens müssen die Regeln strenger sein für Entscheidungen, die größeren Schaden verursachen; ein einfacher Chatbot-Fehler benötigt weniger Schutz als eine Entscheidung, jemandem die Gesundheitsversorgung zu verweigern. Zweitens müssen die Menschen, die diese Entscheidungen überprüfen, über die echte Macht, Zeit und Informationen verfügen, um dem Computer widersprechen zu können. Drittens muss das Unternehmen die Entscheidung in einer einfachen Sprache erklären, die der Person genau mitteilt, was zu tun ist, wenn sie nicht einverstanden ist. Viertens muss klar sein, wer für den Fehler verantwortlich ist, damit die Person nicht zwischen verschiedenen Abteilungen hin- und hergeschoben wird. Schließlich muss das System überprüft werden, um sicherzustellen, dass die Last der Fehlerbehebung nicht unfairerweise auf vulnerable Gruppen fällt.
Die Studie führt einen praktischen Test ein, den Organisationen in jeder Phase eines Projekts anwenden können, von der ersten Idee bis zum fertigen Produkt. Dieser Test stellt spezifische Fragen wie: „Haben wir einen Plan, um Menschen die Möglichkeit zur Berufung zu geben?“ und „Verfügen unsere Prüfer über die Autorität, das System zu überstimmen?“ Als der Forscher diesen Test auf den australischen Schulden-Skandal anwandte, zeigte sich, dass die Regierung zwar viele interne Regeln befolgt hatte, aber den Contestability-Test in fast jedem Schritt durchgefallen war. Sie hatten nicht getestet, ob Menschen die Benachrichtigungen verstehen konnten, sie hatten den Menschen nicht die Macht gegeben, die Schuldenbescheide zu stoppen, bevor sie versandt wurden, und sie hatten keine klare Verantwortung zugewiesen, als das System begann, Probleme zu verursachen. Der Test zeigte, dass das Problem nicht ein Mangel an Regeln war, sondern ein Mangel an einer funktionierenden Verbindung zwischen der Person und der Behörde, die das Problem lösen könnte.
Das Papier kommt zu dem Schluss, dass das Ziel der KI-Governance nicht nur darin bestehen sollte, zu beweisen, dass ein System auf dem Papier sicher ist, sondern die menschliche Fähigkeit zu bewahren, „Nein“ zu sagen. Es argumenttiert, dass wir unseren Fokus von internen Unternehmensdokumenten auf die Beziehung zwischen der Institution und dem Bürger verlagern müssen. Wenn ein System nicht von den Menschen, die es betreffen, angefochten, korrigiert oder gestoppt werden kann, dann ist es nicht wirklich reguliert, egal wie viele Checklisten das Unternehmen ausgefüllt hat. Die Studie behauptet nicht, alle Probleme der künstlichen Intelligenz gelöst zu haben, aber sie bietet einen klaren, praktischen Weg, um zu prüfen, ob die Menschen am anderen Ende des Bildschirms eine Stimme haben. Sie legt nahe, dass das wahre Maß eines fairen Systems nicht darin liegt, ob es die Regeln befolgt, sondern ob es denjenigen, die es betreffen, erlaubt, es zur Rechenschaft zu ziehen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.