"Trust Junk" Leads to Unjustified Support for Highly Discriminatory Predictive Models
Diese Arbeit zeigt durch eine Crowdsourcing-Studie auf, dass das Einbeziehen korrekter, aber irrelevanter Daten in Visualisierungen für erklärbare KI ein unberechtigtes Vertrauen und positive Wahrnehmungen hochgradig diskriminierender Modelle fördern kann, was die Notwendigkeit unterstreicht, dass Designer von XAI die rhetorische Wirkung ihrer Visualisierungen kritisch bewerten müssen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie wandern durch ein Museum der Zukunft, in dem Roboter und intelligente Computer große Entscheidungen über Ihr Leben treffen – etwa darüber, ob Sie einen Job bekommen, einen Kredit erhalten oder einen Platz an einer juristischen Fakultät ergattert. Dieses Feld nennt sich Erklärbare KI (Explainable AI, XAI). Das Ziel von XAI ist es, ehrlich zu sein: Es versucht uns zu zeigen, warum ein Computer eine Entscheidung getroffen hat, so ähnlich wie ein Lehrer, der seinen Rechenweg an einem Whiteboard vorführt, damit man sehen kann, ob er das richtige Ergebnis berechnet hat. Aber hier liegt der knifflige Teil: Manchmal hilft uns die „Erklärung“ gar nicht dabei, die Mathematik zu verstehen. Stattdessen wirkt sie wie ein Zaubertrick. Genau wie ein Magier, der einen glitzernden Umhang und eine laute Trommel benutzt, um Sie abzulenken, während er eine Karte austauscht, kann ein Computer uns eine Menge schicker Diagramme und Zahlen präsentieren, um uns dazu zu bringen, ihm zu vertrauen, selbst wenn der Computer eine schreckliche oder ungerechte Entscheidung trifft. Diese Arbeit stellt eine beängstigende Frage: Wenn wir genug hübsche, komplizierte und „wissenschaftlich aussehende“ Diagramme sehen, werden wir dann aufhören zu fragen, ob der Roboter fair ist, und stattdessen einfach anfangen, ihm zu glauben?
Die Forscher, ein Team der Northeastern University, beschlossen, diese Idee mit einem kleinen Experiment zu testen. Sie bauten ein Computermodell, das absichtlich unfair war. Stellen Sie sich einen Zulassungsbeauftragten für Jurastudien vor, der im Geheimen rassistisch und sexistisch ist: Dieser Computer wurde so programmiert, dass er jeden einzelnen schwarzen männlichen Kandidaten durchfallen ließ und alle anderen bestehen ließ. Es war ein schreckliches, voreingenommenes Modell. Aber hier ist der Clou: Da es in der Testgruppe viel mehr nicht-schwarze Kandidaten gab, konnte der Computer immer noch behaupten, er sei „93,7 % genau“, indem er einfach fast jedem das „Bestanden“ zuschied. Es war eine Lüge, gehüllt in eine Statistik.
Das Team zeigte die Entscheidungen dieses unfairen Computers echten Menschen im Internet. Sie teilten die Menschen in drei Gruppen auf. Die erste Gruppe sah eine einfache Erklärung: „Hier ist der Kandidat, und hier ist die Entscheidung des Computers.“ Die zweite Gruppe sah dieselbe einfache Erklärung, aber mit ein paar zusätzlichen Diagrammen, die zeigten, wie genau der Computer war. Die dritte Gruppe, die „Alles“-Gruppe, erhielt die einfache Erklärung plus eine massive Menge an Zusatzdaten: Histogramme, Profile ähnlicher Studenten und schicke Grafiken, die super intelligent aussah, aber Ihnen eigentlich nicht erklärten, warum der Computer rassistisch war.
Die Ergebnisse waren ein wenig wie ein Zaubertrick, der schiefging. Die Menschen, die die meisten Daten sahen – die „Alles“-Gruppe – vertrauten dem unfairen Computer am meisten. Sie stimmten den unfairen Entscheidungen des Computers häufiger zu als die anderen Gruppen. Noch schlimmer war, dass sie weniger wahrscheinlich bemerkten, dass der Computer unfair war. Es ist, als ob die zusätzlichen Diagramme wie ein „Betäubungsmittel“ wirkten, das die Menschen so sehr mit all der „Wissenschaft“ überforderte, dass sie aufhörten zu prüfen, ob die Antwort überhaupt Sinn ergab. Die Forscher fanden heraus, dass, wenn Menschen mehr „Vertrauensmüll“ (trust junk) sahen – ein Fachbegriff für Daten, die nützlich aussehen, aber eigentlich irrelevant sind –, sie das unfaire Modell als fairer und vertrauenswürdiger bewerteten.
Die Studie legt nahe, dass wir sehr vorsichtig sein müssen. Nur weil ein Computer uns ein wunderschönes, komplexes Dashboard mit vielen Zahlen zeigt, bedeutet das nicht, dass er die Wahrheit sagt. Tatsächlich gilt: Je mehr „Müll“-Daten sie uns zeigen, desto wahrscheinlicher ist es, dass wir blind einem kaputten System vertrauen. Die Autoren warnen davor, dass Designer dieser Systeme aufhören müssen, uns mit der Menge ihrer Daten zu beeindrucken, und statfangen müssen, sich darüber Gedanken zu machen, ob diese Daten uns tatsächlich helfen, die Wahrheit zu sehen. Wenn wir zulassen, dass uns hübsche Diagramme ablenken, könnten wir am Ende dabei zusehen, wie unfaire Roboter Entscheidungen über unser Leben treffen, ohne es überhaupt zu merken.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.