Same System, Opposite Verdicts: Metric Discretion in AI Ethics Audits and the Limits of Disclosure
Dieses Paper zeigt auf, dass das Fehlen standardisierter Fairness-Metriken in der KI-Ethik willkürliche und widersprüchliche Audit-Ergebnisse ermöglicht, wobei argumentiert wird, dass die Implementierung von Offenlegungspflichten, die alternativen Leistungsmaßen aus dem Finanzwesen ähneln – anstatt eine einzige korrekte Metrik vorzuschreiben –, diesen Ermessensspielraum erheblich reduzieren und die Transparenz verbessern kann.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Richter in einem Gerichtssaal, aber anstatt über Schuld oder Unschuld zu entscheiden, beurteilen Sie, ob ein Computerprogramm fair ist. In der Welt der Künstlichen Intelligenz (KI) ist „Fairness“ kein einzelner, einfacher Wert wie eine Körpergröße oder ein Gewicht. Es ist eher wie ein Rezept. Man kann einen Kuchen backen, der süß schmeckt, oder einen, der sauer schmeckt, oder einen, der perfekt ausbalanciert ist, je nachdem, welche Zutaten man wählt und wie viel man von jeder hinzufügt. Genauso wie man entscheiden muss, welches mathematische Rezept man verwendet, um zu messen, ob eine KI fair ist. Man muss entscheiden, wer als „Gruppe“ gilt, die man vergleichen soll, welcher Wert als „Bestanden“ zählt und welche spezifische mathematische Formel man ausführt.
Lange Zeit stritten Experten darüber, welches Rezept das „richtige“ sei. Einige sagten: „Wir sollten darauf schauen, wie viele Menschen eingestellt werden“, während andere sagten: „Nein, wir sollten darauf schauen, wie viele Menschen abgelehnt werden.“ Dieses Paper betritt diese chaotische Küche, um zu sehen, was passiert, wenn verschiedene Köche verschiedene Rezepte mit exakt denselben Zutaten verwenden. Die große Frage ist: Spielt es eine Rolle, welches Rezept man wählt? Die Antwort ist ein lautes, durchschlagendes „Ja“. Wenn man das Rezept ändert, kann man das Urteil von „Diese KI ist fair“ zu „Diese KI ist voreingenommen“ drehen, obwohl der Computer nicht ein einziges Detail geändert hat. Das ist wichtig, weil Regierungen und Unternehmen nun diese Fairness-Scores fordern, um große Entscheidungen darüber zu treffen, wer einen Kredit, einen Job oder sogar die Freiheit vor Gericht erhält. Wenn der Score völlig davon abhängt, welches Rezept man gewählt hat, und niemand sagt, welches Rezept verwendet wurde, dann ist der Score bedeutungslos.
Der große AI-Fairness-Switcheroo
Dieses Paper ist wie ein riesiges Experiment, bei dem der Autor, Shay Tsaban, als ein extrem gewissenhafter Auditor agiert. Er nahm vier verschiedene KI-Systeme – ein reales Werkzeug, das in einem Gefängnis in Florida eingesetzt wird, um vorherzusagen, ob jemand rückfällig wird, und drei berühmte Test-Datensätze, die Wissenschaftler nutzen, um Bias in Einkommen, Krediten und Jobs zu prüfen. Dann führte er nicht nur einen Test durch. Er führte 91.572 verschiedene Versionen des Tests durch.
Stellen Sie sich das so vor: Stellen Sie sich vor, Sie haben eine riesige Kiste mit Legos, die ein KI-System repräsentieren. Der Autor baute eine Maschine, die jede mögliche Kombination von „Fairness-Regeln“ zusammenstecken konnte, um zu sehen, was für einen Turm sie bauen würde. Er probierte jede vertretbare Art aus, Fairness zu messen: Er änderte die mathematische Formel, änderte den Grenzwert für ein „Bestanden“, änderte die Gruppen von Menschen, die verglichen wurden, und änderte sogar das spezifische Jahr der Daten.
Das schockierende Ergebnis: Das Urteil kippt
Das Erstaunlichste, was das Paper fand, ist, dass das Ergebnis für jedes getestete System hin und her schwankte. In allen 7 spezifischen Fällen, die sie untersuchten (wie „Schwarze vs. Weiße Angeklagte“ oder „Männer vs. Frauen“), konnte die KI unter einem Satz von Regeln als „fair“ und unter einem anderen als „unfair“ deklariert werden.
Es wird noch verrückter: Manchmal wechselte sogar die Gruppe, die als „benachteiligt“ (also diejenige, die ungerecht behandelt wurde) bezeichnet wurde! Unter einem Rezept war die KI gegen Gruppe A benachteiligt. Unter einem anderen, ebenso gültigen Rezept war sie gegen Gruppe B benachteiligend. Das Paper fand heraus, dass die berichteten Zahlen um das 6- bis 30-fache weiter schwanken konnten als der normale „Stichprobenfehler“ (der winzige Spielraum, den wir allein durch den Zufall erwarten). Tatsächlich war die Wahl der mathematischen Formel für 45 % des Unterschieds im Endergebnis verantwortlich, während der Zufall den Ausschlag nur um einen winzigen Bruchteil bewegte.
Das Problem des „Fairwashing“
Das Paper untersuchte auch, was Unternehmen und Regierungen aktuell tun. Die Autoren lasen 6.797 öffentliche Dokumente, in denen Organisationen behaupteten, ihre KI auditiert zu haben. Das Ergebnis? Fast niemand spielt mit Informationen fair.
- Nur 38 jener fast 7.000 Dokumente gaben tatsächlich eine spezifische Zahl für Fairness an.
- Von diesen 38 erklärten keine, warum sie genau dieses mathematische Rezept gewählt haben.
- Keines erwähnte, welche anderen Rezepte sie in Betracht gezogen und abgelehnt haben.
- Keines verglich den aktuellen Score mit einem Score aus dem Vorjahr, um zu sehen, ob es besser oder schlechter wird.
Es ist, als würde ein Koch Ihnen sagen: „Dieser Kuchen ist köstlich“, aber sich weigern zu sagen, ob er Zucker oder Salz verwendet hat oder ob er ihn 10 Minuten oder eine Stunde lang gebacken hat. Sie können nicht wissen, ob der Kuchen wirklich gut ist oder ob sie nur Glück mit dem Rezept hatten.
Die Lösung: Die „Rezeptkarten“-Regel
Wie lösen wir das also? Das Paper schlägt vor, einen Trick aus der Finanzwelt zu entlehnen. In der Buchhaltung dürfen Unternehmen „bereinigte Gewinne“ (ihre eigene Version des Profits) melden, müssen aber eine „Abgleichstabelle“ (Reconciliation) vorlegen, die genau erklärt, wie sie zu dieser Zahl gekommen sind.
Der Autor führte eine Simulation durch, um zu sehen, was passieren würde, wenn KI-Auditoren dasselbe tun müssten. Er fand heraus, dass es ausreichen würde, wenn Auditoren lediglich vier Dinge dokumentieren müssten:
- Welche mathematische Familie sie gewählt haben (das Rezept).
- Die spezifischen Regeln, die sie verwendet haben (die Zutaten).
- Wen sie verglichen haben (die Gäste).
- Ob sie die Regeln über die Zeit hinweg gleich gehalten haben (Konsistenz).
...dass diese einfache Offenlegung bereits 78 % des „Spielraums“ schließen würde. Dies würde die Ergebnisse viel konsistenter und ehrlicher machen, ohne dass man sich auf ein einziges „richtiges“ Rezept einigen müsste. Noch besser: Wenn sie zusätzlich berichteten, wie sich der Score im Laufe der Zeit verändert hat, würde dies 82 % des Spielraums schließen.
Das Fazit
Das Paper kommt zu dem Schluss, dass wir nicht das unmögliche mathematische Problem lösen müssen, die eine „perfekte“ Definition von Fairness zu finden, um dieses Chaos zu beheben. Wir müssen einfach aufhören, die Entscheidungen zu verstecken. Wenn ein KI-System als „fair“ oder „unfair“ beurteilt werden kann, nur indem man das Lineal ändert, mit dem man es misst, dann muss das Lineal selbst Teil des Berichts sein.
Momentan liegt das „Residuum-Problem“ – der winzige Rest an Spielraum, der bleibt, selbst wenn wir Menschen zwingen, ihre Entscheidungen offenzulegen – bei etwa 0,16 auf der Skala. Das ist die Grenze dessen, was Transparenz korrigieren kann. Aber das Paper zeigt, dass der Großteil der Verwirrung dadurch entsteht, dass die Leute uns nicht sagen, nach welchen Regeln sie gespielt haben. Wenn wir sie zwingen, ihren Rechenweg offenzulegen, können wir das Spiel „Gleiches System, gegensätzliches Urteil“ beenden und echte Antworten erhalten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.