What is Human in Judgment? Comparing Automation Bias and Algorithm Aversion Between the United States Military Academy and the General Public
Deze studie vergelijkt automatiseringsbias en algoritme-aversie tussen kadetten van de United States Military Academy en het grote publiek en komt tot de bevinding dat militaire opleiding een beter gekalibreerd vertrouwen in AI-beslissingssteunsystemen bevordert, waardoor de risico's op fouten en verkeerde inschattingen in toekomstige conflicten mogelijk worden verminderd.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je piloot bent die een vliegtuig bestuurt. Je hebt een copiloot naast je zitten die eigenlijk een superintelligente computer is. Deze computer kan dingen zien die jij niet kunt zien en berekeningen sneller uitvoeren dan jij. Maar hier zit de vangst: soms heeft de computer het verkeerd, en soms heeft hij het juist.
De grote vraag die dit artikel stelt is: Wanneer de computer je advies geeft, volg je het dan blindelings, zelfs als het verkeerd is? Of negeer je het zelfs als het juist is?
De onderzoekers wilden weten of toekomstige militaire leiders (specifiek kadetten van West Point) hier anders mee omgaan dan gewone mensen. Ze hebben een spel opgezet om dit uit te zoeken.
Het Spel: Het vijandelijke vliegtuig opsporen
De onderzoekers vroegen twee groepen mensen om een snel spel te spelen:
- De Spelers: Eén groep bestond uit 236 toekomstige officieren (West Point-kadetten). De andere groep bestond uit 702 gewone mensen uit de algemene bevolking, die op leeftijd en opleidingsniveau waren gematcht.
- De Taak: Ze moesten naar een wazige foto van een vliegtuig kijken en beslissen: "Is dit een vriend of een vijand?"
- De Twist: Nadat ze hun gok hadden gedaan, gaf een "hulpverlener" hen advies. Soms was de hulpverlener een menselijk analist, en soms een AI-algoritme. Soms klonk de hulpverlener zeer zelfverzekerd ("Ik ben 100% zeker!"), en soms klonk hij onzeker ("Ik test dit nog...").
- De Keuze: De spelers konden bij hun oorspronkelijke gok blijven of hun mening wijzigen op basis van het advies.
De Twee Grote Problemen
Het artikel richt zich op twee manieren waarop mensen het misdoen bij het omgaan met computers:
- Automatiseringsbias (De "Robot is God"-valstrik): Dit is wanneer je de computer zo veel vertrouwt dat je je eigen ogen negeert. Zelfs als de computer het verkeerd heeft, volg je hem. Het is als een passagier in een auto die blindelings een GPS volgt die hen vertelt het meer in te rijden, omdat ze denken dat de GPS het beter weet dan zij.
- Algoritme-aversie (De "Ik haat robots"-valstrik): Dit is wanneer je de computer helemaal niet vertrouwt, zelfs als hij het juist heeft. Je blijft bij je eigen ingeving omdat je denkt: "Ik ben mens, ik ben beter dan een machine." Het is als weigeren een navigatie-app te gebruiken omdat je denkt dat je de buurt beter kent, zelfs als de app je een kortere route toont die je hebt gemist.
Wat Ze Vonden
De resultaten waren verrassend en toonden een duidelijk verschil tussen de twee groepen:
1. De West Point-kadetten waren "Gecalibreerd" (Precies Goed)
De toekomstige officieren waren veel beter in het weten wanneer ze de computer moesten vertrouwen en wanneer ze op zichzelf moesten vertrouwen.
- Ze volgden de robot niet blindelings: Wanneer de AI slecht advies gaf, was het voor de kadetten veel minder waarschijnlijk dat ze hun antwoord veranderden om bij de robot aan te sluiten. Ze maakten deze fout met slechts ongeveer 4% kans, vergeleken met 9% voor gewone mensen.
- Ze luisterden naar het "Zekerheidsniveau": De kadetten letten op hoe het advies werd gegeven. Als de AI zei: "Ik test dit nog", negeerden de kadetten het. Als de AI zei: "Ik ben duizenden keren getest", luisterden de kadetten. Ze behandelden de AI als een hulpmiddel, niet als een baas.
- Ze haatten de robot niet: Interessant genoeg negeerden ze de AI niet alleen omdat het een machine was. Als de AI het juist had, waren ze bereid om hem te gebruiken.
2. Het Algemeen Publiek Was Meer "Gedistorteerd"
Gewone mensen waren vatbaarder voor de "Robot is God"-valstrik.
- Ze veranderden hun antwoord vaker alleen maar omdat een computer hen dat vertelde, zelfs als de computer het verkeerd had.
- Ze leken er minder om te geven of het advies van een mens of een computer kwam, of hoe zelfverzekerd de bron klonk. Ze neigden er gewoon vaker toe om de machine te volgen.
3. Iedereen Haatte de Robot Iets (Maar Evenveel)
Hier is een draai: Beide groepen waren even waarschijnlijk om de computer te negeren wanneer deze eigenlijk juist had. Dit heet "Algoritme-aversie". De training die de kadetten ontvingen, stopte hen er niet van om sceptisch te zijn over de machine; het stopte hen er alleen van om de machine blindelings te gehoorzamen wanneer de machine het verkeerd had.
De Grote Les
Het artikel suggereert dat training werkt.
De West Point-kadetten zijn geen "supermensen" die van nature beter zijn in wiskunde of logica. Ze zijn gewoon mensen die zijn geleerd hoe ze met technologie moeten werken. Hun opleiding leerde hen te vragen: "Is dit hulpmiddel op dit moment betrouwbaar?" in plaats van alleen maar: "Is dit een robot?"
De auteurs concluderen dat hoewel we niet alle fouten in oorlog of crisis kunnen voorkomen, het leren van mensen hoe ze met AI moeten omgaan hen kan behoeden voor de specifieke fout om blindelings een computer te vertrouwen die tegen hen liegt. De kadetten leerden hun "mens in de lus"-brein aan te houden, terwijl het algemene publiek waarschijnlijker de computer het stuur liet overnemen.
Kortom: De toekomstige soldaten leerden de AI gebruiken als een behulpzame copiloot, terwijl het algemene publiek waarschijnlijker de AI liet de auto van een klif rijden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.