What is Human in Judgment? Comparing Automation Bias and Algorithm Aversion Between the United States Military Academy and the General Public
Diese Studie vergleicht den Automatisierungsbias und die Algorithmusaversion zwischen Kadetten der United States Military Academy und der allgemeinen Bevölkerung und stellt fest, dass militärische Ausbildung ein besser abgestimmtes Vertrauen in KI-Entscheidungsunterstützungssysteme fördert, wodurch potenziell die Risiken von Fehlern und Fehleinschätzungen in zukünftigen Konflikten verringert werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Pilot, der ein Flugzeug steuert. Neben Ihnen sitzt ein Co-Pilot, der tatsächlich ein hochintelligentes Computerprogramm ist. Dieser Computer kann Dinge sehen, die Sie nicht sehen können, und Dinge berechnen, die schneller sind als Ihre eigenen. Doch hier liegt der Haken: Manchmal liegt der Computer falsch, und manchmal hat er recht.
Die große Frage, die diese Arbeit stellt, lautet: Wenn der Computer Ihnen Ratschläge erteilt, folgen Sie ihm blind, selbst wenn er falsch liegt? Oder ignorieren Sie ihn sogar dann, wenn er recht hat?
Die Forscher wollten herausfinden, ob zukünftige Militärführer (speziell Kadetten der Militärakademie West Point) damit anders umgehen als normale Menschen. Dazu haben sie ein Spiel entwickelt.
Das Spiel: Das feindliche Flugzeug erkennen
Die Forscher forderten zwei Gruppen von Personen auf, ein schnelles Spiel zu spielen:
- Die Spieler: Eine Gruppe bestand aus 236 zukünftigen Offizieren (Kadetten der West Point). Die andere Gruppe umfasste 702 normale Menschen aus der breiten Öffentlichkeit, die nach Alter und Bildungsstand abgeglichen wurden.
- Die Aufgabe: Sie mussten ein unscharfes Bild eines Flugzeugs betrachten und entscheiden: „Ist dies ein Freund oder ein Feind?"
- Der Twist: Nachdem sie ihre Vermutung angestellt hatten, gab ein „Helfer" ihnen Ratschläge. Manchmal war dieser Helfer ein menschlicher Analyst, manchmal ein KI-Algorithmus. Manchmal klang der Helfer sehr zuversichtlich („Ich bin zu 100 % sicher!"), manchmal unsicher („Ich teste dies noch...").
- Die Wahl: Die Spieler konnten bei ihrer ursprünglichen Vermutung bleiben oder ihre Meinung basierend auf dem Ratschlag ändern.
Die zwei großen Probleme
Die Arbeit konzentriert sich auf zwei Arten, wie Menschen beim Umgang mit Computern Fehler machen:
- Automatisierungs-Bias (Die Falle „Der Roboter ist Gott"): Dies ist der Fall, wenn man dem Computer so sehr vertraut, dass man die eigenen Augen ignoriert. Selbst wenn der Computer falsch liegt, folgen Sie ihm. Es ist wie ein Fahrgast in einem Auto, der einem GPS blind folgt, das ihn auffordert, in einen See zu fahren, weil er glaubt, das GPS wisse es besser als er selbst.
- Algorithmische Aversion (Die Falle „Ich hasse Roboter"): Dies ist der Fall, wenn man dem Computer überhaupt nicht vertraut, selbst wenn er recht hat. Sie bleiben bei Ihrem eigenen Bauchgefühl, weil Sie denken: „Ich bin ein Mensch, ich bin besser als eine Maschine." Es ist wie die Weigerung, eine Karten-App zu nutzen, weil man glaubt, die Nachbarschaft besser zu kennen, obwohl die App Ihnen eine Abkürzung zeigt, die Sie übersehen haben.
Was sie herausfanden
Die Ergebnisse waren überraschend und zeigten einen klaren Unterschied zwischen den beiden Gruppen:
1. Die West Point Kadetten waren „kalibriert" (Genau richtig)
Die zukünftigen Offiziere waren viel besser darin zu wissen, wann sie dem Computer vertrauen und wann sie sich auf sich selbst verlassen sollten.
- Sie folgten dem Roboter nicht blind: Wenn die KI schlechte Ratschläge gab, waren die Kadetten viel weniger wahrscheinlich bereit, ihre Antwort zu ändern, um sie an den Roboter anzupassen. Die Wahrscheinlichkeit, diesen Fehler zu machen, lag bei nur etwa 4 %, verglichen mit 9 % bei normalen Menschen.
- Sie hörten auf das „Vertrauensniveau": Die Kadenten achteten darauf, wie der Ratschlag gegeben wurde. Wenn die KI sagte: „Ich teste dies noch", ignorierten die Kadetten sie. Wenn die KI sagte: „Ich wurde tausende Male getestet", hörten die Kadetten zu. Sie behandelten die KI als Werkzeug, nicht als Chef.
- Sie hassten den Roboter nicht: Interessanterweise ignorierten sie die KI nicht nur, weil sie eine Maschine war. Wenn die KI recht hatte, waren sie bereit, sie zu nutzen.
2. Die breite Öffentlichkeit war stärker „verzerrt"
Normale Menschen waren anfälliger für die Falle „Der Roboter ist Gott".
- Sie waren eher bereit, ihre Antwort nur deshalb zu ändern, weil ein Computer es ihnen sagte, selbst wenn der Computer falsch lag.
- Sie schienen weniger darauf zu achten, ob der Ratschlag von einem Menschen oder einem Computer kam oder wie zuversichtlich die Quelle klang. Sie neigten einfach häufiger dazu, der Maschine zu folgen.
3. Alle hassten den Roboter ein wenig (aber gleichermaßen)
Hier kommt eine Wendung: Beide Gruppen waren gleichermaßen wahrscheinlich bereit, den Computer zu ignorieren, wenn er tatsächlich recht hatte. Dies wird als „Algorithmische Aversion" bezeichnet. Die Ausbildung, die die Kadetten erhielten, hinderte sie nicht daran, der Maschine skeptisch gegenüberzustehen; sie hinderte sie lediglich daran, ihr blind zu gehorchen, wenn die Maschine falsch lag.
Die große Erkenntnis
Die Arbeit legt nahe, dass Ausbildung wirkt.
Die West Point Kadetten sind keine „Supermenschen", die von Natur aus besser in Mathematik oder Logik sind. Sie sind einfach Menschen, die gelernt haben, wie man mit Technologie arbeitet. Ihre Ausbildung lehrte sie zu fragen: „Ist dieses Werkzeug gerade zuverlässig?" anstatt nur: „Ist das ein Roboter?"
Die Autoren kommen zu dem Schluss, dass wir zwar nicht alle Fehler im Krieg oder in Krisen verhindern können, aber dass das Unterrichten von Menschen im Umgang mit KI sie davon abhalten kann, den spezifischen Fehler zu begehen, einem Computer blind zu vertrauen, der sie anlügt. Die Kadetten lernten, ihren „Mensch-im-Loop"-Gehirnmodus eingeschaltet zu halten, während die breite Öffentlichkeit eher bereit war, dem Computer das Steuer zu überlassen.
Kurz gesagt: Die zukünftigen Soldaten lernten, die KI als hilfreichen Co-Piloten zu nutzen, während die breite Öffentlichkeit eher bereit war, die KI das Auto von einer Klippe fahren zu lassen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.