Programmers Are Poor and Overconfident Judges of LLM-Generated Assertions
Deze studie onthult dat programmeurs significant overmoedig maar onnauwkeurig zijn bij het evalueren van onjuiste door AI gegenereerde beweringen, een probleem dat niet wordt gemitigeerd — en zelfs kan worden verergerd — door verklaringen in natuurlijke taal, wat suggereert dat huidige AI-tools de codebegrip of -review mogelijk niet betrouwbaar verbeteren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een junior detective bent in een hoogtechnologische stad waar een superintelligente robotassistent (een AI) je helpt bij het oplossen van misdaden. De robot schrijft niet alleen het verhaal van de misdaad; hij schrijft ook een "regelboek" van wat er had moeten gebeuren, een zogenaamde assertie. Jouw taak is om naar het regelboek van de robot te kijken en te zeggen: "Ja, dat komt overeen met het verhaal," of "Wacht even, dat klopt niet!"
Je zou denken dat het de robot veel makkelijker maakt als hij zijn regelboek in gewone mensentaal uitlegt, toch? Alsof er een vriendelijke gids naast je staat die fluistert: "Hé, kijk hier eens!"
Nou, een team van onderzoekers heeft 86 echte programmeurs (onze detectives) getest om te zien hoe goed ze hierin zijn. Ze kwamen tot enkele verrassende, bijna grappige waarheden over hoe ons brein werkt wanneer er AI bij betrokken is.
Het "Ja-knikker"-probleem
Dit is de grote ontdekking: Onze detectives zijn goed in het herkennen wanneer de robot het goed heeft, maar ze zijn slecht in het herkennen wanneer de robot het fout heeft.
Wanneer de robot een correct regelboek schreef, hadden de programmeurs het in ongeveer 74% van de gevallen goed. Maar wanneer de robot een fout regelboek schreef, ontdekten de programmeurs de fout slechts in 49% van de gevallen. Dat is nauwelijks beter dan een muntje opgooien!
Nog vreemder? De detectives voelden zich net zo zelfverzekerd over hun foute antwoorden als over hun goede antwoorden. Of ze nu gelijk hadden of niet, ze gaven hun zelfvertrouwen een score van ongeveer 4 uit 5. Het is als een leerling die 100% zeker is van een goed antwoord bij een wiskundeprobleem, zelfs als hij het eigenlijk fout heeft. De onderzoekers vonden dat dit verschil statistisch significant was (wat betekent dat het geen toeval was), waarbij de kans om een correct regelboek te herkennen bijna drie keer zo groot was als het herkennen van een foutief een.
De "Verwarrende Gids"-val
Laten we het hebben over de uitleg van de robot. De onderzoekers dachten: "Misschien als de robot uitlegt waarom hij de regel heeft geschreven, doen de detectives het beter." Ze testten dit door de programmeurs vier soorten uitleg te geven:
- Perfect: De uitleg komt exact overeen met het regelboek.
- Te kieskeurig: De uitleg voegt extra regels toe die niet in het regelboek stonden.
- Te vaag: De uitleg laat belangrijke regels weg.
- Totaal fout: De uitleg zegt iets dat er compleet naast zit.
Het resultaat? De uitleg hielp helemaal niet. Sterker nog, het maakte de boel soms zelfs erger.
Wanneer de uitleg te vaag was (ondergespecificeerd), waren de programmeurs zelfs minder accuraat dan wanneer ze helemaal geen uitleg hadden gehad. Maar hier komt de echte verrassing: die vage uitleg zorgde ervoor dat de programmeurs zich zelfverzekerder voelden (ze gaven hun zelfvertrouwen een 4,25/5 vergeleken met 3,99/5 zonder opmerking). Het is alsof een gids je een wazige, halfware kaart geeft die je het gevoel geeft dat je de stad perfect kent, terwijl je eigenlijk in cirkels loopt. De onderzoekers suggereren dat deze slechte uitleg je denken eerder verstoort dan dat het helpt.
Hoe de detectives het oplosten (en faalden)
Om te begrijpen waarom dit gebeurde, interviewden de onderzoekers 10 programmeurs terwijl zij de puzzels hardop oplosten (een "think-aloud" studie). Ze ontdekten dat de meeste detectives een "top-down" aanpak gebruikten: ze lazen eerst de Engelse uitleg van de robot en controleerden daarna de code.
Ze gebruikten vijf belangrijke trucs:
- Clausulevergelijking: Controleren of de woorden in de regel overeenkwamen met de code.
- Logische doorloop: De stappen in hun hoofd nagaan.
- Positieve voorbeelden: Een "goed" voorbeeld proberen om te zien of het werkte.
- Negatieve voorbeelden: Een "slecht" voorbeeld proberen om te zien of het de regel verbrak.
- Intuïtie: Gewoon gokken op basis van een "onderbuikgevoel."
De studie toonde aan dat wanneer een regel gemakkelijk woord-voor-woord te controleren was (clausulevergelijking), de detectives veel beter presteerden. Maar wanneer ze vertrouwden op intuïtie, hadden ze het vaker fout dan goed (7 van de 12 keer). Ook kostte het detecteren van een fout regelboek aanzienlijk meer tijd (ongeveer 123 seconden) dan het accepteren van een fout regelboek als correct (ongeveer 97 seconden). Het lijkt erop dat ons brein lui is; het is makkelijker om mee te knikken dan om naar fouten te graven.
Wat dit betekent voor de toekomst
De onderzoekers suggereren dat we niet simpelweg kunnen vertrouwen op AI om deze regelboeken te schrijven en verwachten dat we de fouten gemakkelijk zullen ontdekken. We zijn verrassend slecht in het opsporen van AI-fouten, en slechte uitleg kan ons zelfs een vals gevoel van zelfvertrouwen geven over onze fouten.
Ze ontdekten ook dat hoewel we moeite hebben met het vinden van logische fouten, we wel het verschil kunnen zien tussen een "sterk" en een "zwak" regelboek. Als een regelboek meer potentiële bugs vangt, beoordelen we het als completer, zelfs als we de specifieke logische fout niet kunnen aanwijzen.
Dus, de volgende keer dat een AI-assistent een regel voor je schrijft, knik dan niet alleen maar en zeg "Goed gedaan!" De onderzoekers waarschuwen dat je de fouten misschien over het hoofd ziet, en dat een verwarrende uitleg je misschien juist het gevoel geeft dat je het té zeker weet. De echte uitdaging is niet alleen het genereren van de regels, maar het helpen van mensen om ze daadwerkelijk te verifiëren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.