Counterfactual Explanations and the Scope of Contestability
Dieses Paper argumentiert, dass kontrafaktische Erklärungen die Handlungsfähigkeit in der automatisierten Entscheidungsfindung wiederherstellen können, indem es Anfechtbarkeit als das Recht definiert, die Aufhebung einer Entscheidung zu verlangen, analysiert, wie solche Erklärungen bei der Erkennung algorithmischer Fehler helfen, und einen Multi-Shot-Abfrageansatz vorschlägt, um deren Wirksamkeit zu erhöhen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der modernen Welt treffen Computer zunehmend die schwerwiegenden Entscheidungen, die unser Leben prägen. Sie entscheiden, wer einen Kredit erhält, wer für einen Job eingestellt wird und wer medizinische Versorgung erhält. Diese Systeme operieren oft als „Black Boxes“, was bedeutet, dass ihre interne Logik so komplex ist, dass selbst die Menschen, die sie gebaut haben, nicht ohne Weiteres erklären können, wie eine spezifische Entscheidung zustande kam. Diese Undurchsichtigkeit schafft ein Problem für die menschliche Handlungsfähigkeit: Wenn wir nicht verstehen, warum eine Entscheidung getroffen wurde, können wir sie nicht effektiv anfechten, wenn wir glauben, dass sie falsch ist. Um dies zu beheben, haben viele Experten ein „Recht auf Erklärung“ vorgeschlagen, mit dem Argument, dass uns ein Algorithmus, der uns ablehnt, auch sagen muss, warum. Eine populäre Methode zur Bereitstellung dieser Erklärungen ist das „Kontrafaktische“. Dies ist eine einfache, hypothetische Aussage, die einer Person mitteilt, welche kleine Änderung zu einem anderen Ergebnis geführt hätte, wie zum Beispiel: „Wenn Ihr Einkommen fünftausend Dollar höher gewesen wäre, wäre Ihr Kredit bewilligt worden.“ Während dies hilfreich klingt, stellt eine neue Arbeit der Philosophen und Informatiker Alice C.W. Huang und Thomas Grote eine kritische Frage: Gibt diese Art von Erklärung den Menschen tatsächlich die Macht, gegen unfaire automatisierte Entscheidungen vorzugehen?
Die Autoren beginnen damit, genau zu klären, was es bedeutet, eine Entscheidung anzufechten. Sie unterscheiden zwischen drei verschiedenen Zielen, die Erklärungen dienen können. Das erste ist die Rechtfertigung (Justification), bei der es darum geht, zu beweisen, dass das Computersystem als Ganzes zuverlässig und für alle fair ist. Das zweite ist die Rekursion (Recourse), die zukunftsorientiert ist; sie sagt einer Person, welche Schritte sie in der Zukunft unternehmen kann, um ein besseres Ergebnis zu erzielen, wie etwa mehr Berufserfahrung zu sammeln, um den Lebenslauf zu verbessern. Das dritte, und der Fokus dieser Arbeit, ist die Anfechtbarkeit (Contestability). Diese ist rückwärtsgewandt. Es ist die Fähigkeit einer Person, sich eine bereits getroffene Entscheidung anzusehen, einen Fehler zu finden und zu verlangen, dass die Entscheidung widerrufen wird. Die Forscher definieren Anfechtbarkeit eng gefasst: Sie erfordert die Bereitstellung von genügend Informationen, damit eine Person nachweisen kann, dass eine spezifische Entscheidung wahrscheinlich ein Fehler war, was ihr eine solide Grundlage gibt, eine Überprüfung zu fordern.
Als die Autoren testeten, ob kontrafaktische Erklärungen gut darin sind, diese Art von Anfechtbarkeit zu ermöglichen, waren die Ergebnisse überraschend pessimistisch. Sie untersuchten mehrere gängige Wege, wie automatisierte Entscheidungen schieflaufen. In Fällen von Diskriminierung könnte ein Kontrafaktum aufzeigen, dass eine Person eingestellt worden wäre, wenn sie eine andere Rasse oder ein anderes Geschlecht gehabt hätte. Obwohl dies wie ein starkes Beweismittel erscheint, fanden die Forscher eine große Hürde, das sogenannte „Rashomon-Problem“. Dies ist die Idee, dass es selten nur einen einzigen Grund für eine Entscheidung gibt. Ein Computer könnte sagen, ein Kredit sei wegen eines niedrigen Einkommens abgelehnt worden, aber es könnte auch wahr sein, dass der Kredit bewilligt worden wäre, wenn die Person eine andere Berufshistorie gehabt hätte. Da es viele verschiedene Möglichkeiten gibt, die Eingabe zu ändern, um ein anderes Ergebnis zu erzielen, könnte das Computersystem einfach die Erklärung auswählen, die für die Institution am wenigsten schädlich ist, und dabei diejenung ignorieren, die Diskriminierung beweist. Ohne eine Möglichkeit, das System dazu zu zwingen, alle möglichen Gründe aufzuzeigen, würde eine Person das spezifische Kontrafaktum, das beweist, dass sie unfair behandelt wurde, möglicherweise nie zu Gesicht bekommen.
Das Problem verschlimmert sich, wenn der Fehler nicht die Fairness betrifft, sondern wenn der Computer eine spezifische Situation einer Person missversteht. Stellen Sie sich ein Gesundheitsmodell vor, das vorhersagt, dass eine Person aufgrund einer veganen Ernährung einem Risiko für Müdigkeit ausgesetzt ist, unter der Annahme, dass die Ernährung einen Eisenmangel aufweist. Wenn diese Person tatsächlich eine seltene Bluterkrankung hat, die zu einem Eisenüberschuss führt, ist die Logik des Modells für sie falsch, selbst wenn sie für die meisten Menschen richtig ist. Eine kontrafaktische Erklärung könnte einfach sagen: „Wenn Sie nicht vegan wären, bestünde kein Risiko.“ Dies hilft der Person nicht, zu beweisen, dass sie eine Ausnahme von der Regel ist; es wiederholt lediglich die fehlerhafte Annahme des Modells. Um dies anzufechten, müsste die Person über tiefes medizinisches Wissen verfügen, um zu erklären, warum die allgemeine Regel des Modells auf ihre spezifische Biologie nicht zutrifft. Ähnlich verhält es sich, wenn eine Entscheidung aufgrund eines einfachen Schreibfehlers falsch ist, etwa wenn eine Bank die falsche Zahl für die Schulden einer Person hat. Das System könnte sagen: „Wenn Ihre Schulden niedriger wären, würden Sie genehmigt werden“, was zwar wahr, aber offensichtlich ist. Es sagt der Person nicht, dass die Unterlagen der Bank schlichtweg falsch sind, was der eigentliche Grund ist, den sie korrigieren müsste.
Die Forscher kommen zu dem Schluss, dass kontrafaktische Erklärungen zwar hervorragend geeignet sind, Menschen bei der Planung für die Zukunft zu helfen, sie aber oft zu schwach sind, um Menschen beim Kampf gegen vergangene Fehler zu unterstützen. Die Informationen, die nötig sind, um einen Fehler zu beweisen, sind häufig zu komplex, zu spezifisch für das Individuum oder werden durch die Fähigkeit des Systems, zu entscheiden, welche Erklärung gezeigt wird, zu leicht verborgen. Um dies zu beheben, schlagen die Autoren nicht vor, die Idee der Erklärungen aufzugeben, sondern die Art und Weise ihrer Bereitstellung zu ändern. Sie schlagen einen „Multi-Shot“-Ansatz vor. Anstatt einer Person eine einzige, vorgefertigte Antwort zu geben, würde das System es der Person ermöglichen, dem Computer mehrere Fragen zu stellen. Eine Person könnte verschiedene Ideen testen, wie zum Beispiel: „Was wäre, wenn ich mehr Erfahrung hätte?“ oder „Was wäre, wenn ich in einem anderen Stadtviertel wohnen würde?“ Dies macht den Nutzer vom passiven Empfänger von Informationen zum aktiven Ermittler.
Die Autoren warnen jedoch, dass dies allein nicht ausreicht. Die meisten Menschen wissen nicht, welche Fragen sie stellen oder wie sie die Antworten interpretieren sollen, insbesondere wenn sie über kein Fachwissen verfügen. Um dies zu lösen, schlagen sie vor, dass Menschen durch Fallarbeiter unterstützt werden sollten – Experten, die die rechtlichen und technischen Details des Systems verstehen. Diese Helfer könnten Einzelpersonen darin anleiten, welche Fragen sie stellen sollen und wie sie die Antworten nutzen können, um einen Fall aufzubauen. Das Paper argumentiert, dass ohne diese Art von menschlicher Unterstützung und die Fähigkeit, mehrere Fragen zu stellen, das Versprechen, eine automatisierte Entscheidung anfechten zu können, ein leeres Versprechen bleibt. Die Technologie zur Generierung dieser Erklärungen existiert, aber die derzeitige Art der Anwendung ist unzureichend, um den betroffenen Menschen die wahre Handlungsfähigkeit zurückzugeben.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.