Programmers Are Poor and Overconfident Judges of LLM-Generated Assertions
Diese Studie zeigt auf, dass Programmierer bei der Bewertung fehlerhafter KI-generierter Behauptungen signifikant übermäßig selbstbewusst, aber dennoch ungenau sind, ein Problem, das durch Erklärungen in natürlicher Sprache nicht gemildert – und möglicherweise sogar verschlimmert – wird, was darauf hindeutet, dass aktuelle KI-Werkzeuge das Code-Verständnis oder die Code-Überprüfung möglicherweise nicht zuverlässig verbessern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Junior-Detektiv in einer hochtechnisierten Stadt, in der Ihnen ein superintelligenter Roboter-Assistent (eine KI) hilft, Verbrechen aufzuklären. Der Roboter schreibt nicht nur die Geschichte des Verbrechens auf, sondern erstellt auch ein „Regelbuch“ dessen, was hätte passieren sollen, eine sogenannte Assertion. Ihre Aufgabe ist es, in das Regelbuch des Roboters zu schauen und zu sagen: „Ja, das passt zur Geschichte“ oder „Huch, das ist falsch!“
Man würde denken, dass es unsere Arbeit super einfach macht, wenn der Roboter sein Regelbuch in einfachem Englisch erklärt, oder? Wie ein freundlicher Führer, der einem zuflüstert: „Hey, schau hierher!“
Nun, ein Team von Forschern hat 86 echte Programmierer (unsere Detektive) getestet, um zu sehen, wie gut sie darin sind. Sie fanden einige überraschende, fast schon amüsante Wahrheiten darüber heraus, wie unser Gehirn arbeitet, wenn eine KI involviert ist.
Das „Ja-Sager“-Problem
Hier ist die große Entdeckung: Unsere Detektive sind großartig darin, zu erkennen, wenn der Roboter recht hat, aber sie sind schrecklich darin, zu erkennen, wenn er unrecht hat.
Wenn der Roboter ein korrektes Regelbuch geschrieben hatte, hatten die Programmierer in etwa 74 % der Fälle recht. Aber wenn der Robot ein falsches Regelbuch geschrieben hatte, erkannten die Programmierer den Fehler nur in 49 % der Fälle. Das ist kaum besser als ein Münzwurf!
Noch seltsamer? Die Detektive fühlten sich bei ihren falschen Antworten genauso sicher wie bei ihren richtigen. Ob sie nun richtig oder falsch lagen, bewerteten sie ihr Vertrauen mit etwa 4 von 5. Es ist wie ein Schüler, der zu 100 % sicher ist, eine Matheaufgabe richtig gelöst zu haben, selbst wenn er sie eigentlich falsch gelöst hat. Die Forscher fanden heraus, dass dieser Unterschied statistisch signifikant war (das heißt, es war kein Zufall), wobei die Chancen, ein korrektes Regelbuch zu erkennen, fast dreimal höher waren als, ein falsches zu erkennen.
Die Falle des „Verwirrenden Führers“
Lassen Sie uns über die Erklärungen des Roboters sprechen. Die Forscher dachten: „Vielleicht wird der Detektiv besser, wenn der Roboter erklärt, warum er die Regel geschrieben hat.“ Sie testeten dies, indem sie den Programmierern vier Arten von Erklärungen gaben:
- Perfekt: Die Erklärung passt exakt zum Regelbuch.
- Zu pingelig: Die Erklärung fügt zusätzliche Regeln hinzu, die nicht im Regelbuch standen.
- Zu vage: Die Erklärung lässt wichtige Regeln weg.
- Völlig falsch: Die Erklärung sagt etwas völlig anderes aus.
Das Ergebnis? Die Erklärungen halfen überhaupt nicht. Tatsächlich machten sie die Dinge manchmal sogar noch schlimmer.
Wenn die Erklärung zu vage (unterbestimmt) war, wurden die Programmierer tatsächlich weniger genau als wenn sie gar keine Erklärung gehabt hätten. Aber hier ist der Clou: Diese vagen Erklärungen ließen die Programmierer zuversichtlicher werden (sie bewerteten ihr Vertrauen mit 4,25/5 im Vergleich zu 3,99/5 ohne Notiz). Es ist, als würde ein Reiseführer Ihnen eine unscharfe, halbwahre Karte geben, die Ihnen das Gefühl gibt, die Stadt perfekt zu kennen, während Sie eigentlich im Kreis laufen. Die Forscher vermuten, dass diese schlechten Erklärungen Ihr Denken eher stören als es zu unterstützen.
Wie die Detektive es lösten (und scheiterten)
Um zu verstehen, warum das passierte, interviewten die Forscher 10 Programmierer, während diese die Rätsel laut lösten (eine „Think-Aloud“-Studie). Sie fanden heraus, dass die meisten Detektive einen „Top-Down“-Ansatz verfolgten: Sie lasen zuerst die englische Erklärung des Roboters und prüften dann den Code.
Sie nutzten fünf Haupttricks:
- Klausel-Vergleich: Prüfen, ob die Wörter in der Regel mit dem Code übereinstimmten.
- Logik-Durchlauf: Die Schritte im Kopf nachvollziehen.
- Positive Beispiele: Ein „gutes“ Beispiel ausprobieren, um zu sehen, ob es funktioniert.
- Negative Beispiele: Ein „schlechtes“ Beispiel ausprobieren, um zu sehen, ob es die Regel bricht.
- Intuition: Einfach nach einem „Bauchgefühl“ raten.
Die Studie ergab, dass die Detektive viel besser abschnitten, wenn ein Regelbuch leicht Wort für Wort überprüfbar war (Klausel-Vergleich). Wenn sie sich jedoch auf ihre Intuition verließen, lagen sie öfter falsch als richtig (7 von 12 Mal). Außerdem dauerte das Erkennen eines falschen Regelbuchs signifikant länger (etwa 123 Sekunden) als ein falsches Regelbuch als korrekt zu akzeptieren (etwa 97 Sekunden). Es scheint, als sei unser Gehirn faul; es ist einfacher, zuzustimmen, als nach Fehlern zu graben.
Was das für die Zukunft bedeutet
Die Forscher schlagen vor, dass wir uns nicht einfach darauf verlassen können, dass die KI diese Regelbücher schreibt und wir erwarten können, die Fehler leicht zu finden. Wir sind überraschend schlecht darin, KI-Fehler zu entdecken, und schlechte Erklärungen können uns dazu verleiten, uns über unsere Fehler zu sicher zu fühlen.
Sie fanden auch heraus, dass wir zwar Schwierigkeiten haben, logische Fehler zu finden, aber wir doch den Unterschied zwischen einem „starken“ und einem „schwachen“ Regelbuch erkennen können. Wenn ein Regelbuch mehr potenzielle Bugs abdeckt, bewerten wir es als vollständiger, selbst wenn wir den spezifischen Logikfehler nicht bemerken können.
Wenn also das nächste Mal ein KI-Assistent eine Regel für Sie schreibt, nicken Sie nicht einfach nur und sagen Sie „Tolle Arbeit!“. Die Forscher warnen davor, dass Sie die Fehler vielleicht übersehen und eine verwirrende Erklärung Sie vielleicht nur zu sicher fühlen lässt. Die wahre Herausforderung besteht nicht nur darin, die Regeln zu generieren, sondern dabei zu helfen, dass Menschen sie tatsächlich verifizieren.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.