Artificial Effort
Diese Studie zeigt, dass die meisten kanonischen Real-Effort-Aufgaben, die in der experimentellen Ökonomie verwendet werden, nun von verschiedenen Large Language Models präzise und kostengünstig gelöst werden können, wodurch die Validität dieser Aufgaben in unüberwachten Settings untergraben wird, in denen Teilnehmer die Arbeit an KI auslagern könnten.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind eine Lehrerin, die einer Klasse eine Reihe von Rätseln zur Lösung vorlegt. Sie möchten wissen, wie sehr sich die Schüler anstrengen, und geben ihnen daher Aufgaben, die echte geistige Anstrengung erfordern, wie das Zählen spezifischer Gegenstände in einem unordentlichen Bild oder das Lösen eines Matheproblems. Dies wird als „Real-Effort-Aufgabe" bezeichnet. Das gesamte System beruht auf einer großen Annahme: Ein Mensch führt tatsächlich die Arbeit aus.
Dieser Artikel stellt eine beunruhigende Frage für Forscher: Was, wenn die Schüler gar keine Menschen sind? Was, wenn es KI-Roboter sind?
Hier ist die Geschichte dessen, was die Forscher herausfanden, einfach erklärt:
1. Der „Roboterschüler"-Test
Die Forscher nahmen 8 klassische Rätsel, die in Wirtschaftsexperimenten verwendet werden (wie das Addieren von Zahlen, das Zählen von Nullen in einem Gitter oder das Lösen eines Mini-Sudoku), und gaben sie 23 verschiedenen KI-Modellen (den „Gehirnen" hinter Tools wie ChatGPT, Gemini und Claude). Sie behandelten die KI wie einen Schüler, der eine Prüfung ablegt.
Das Ergebnis: Die KI bestand nicht nur; sie meisterte die meisten einfachen Tests mit Bravour.
- Die leichten Sachen: Bei Aufgaben wie dem Addieren von drei Zahlen oder dem Entschlüsseln eines einfachen Buchstaben-Codes erreichte die KI nahezu 100 % Korrektheit. Es war, als würde man einem Taschenrechner einen Mathe-Test geben; er funktionierte einfach perfekt.
- Die schweren Sachen: Die KI hatte Schwierigkeiten mit Aufgaben, die das „Zählen" vieler kleiner Dinge erfordern (wie das Zählen von Nullen in einem riesigen Gitter) oder das Erkennen von Mustern in unordentlichen, verzerrten Bildern. Es ist, als wäre die KI großartig in der Logik, aber manchmal verwirrt, wenn sie jeden einzelnen Sandkorn an einem Strand zählen muss.
2. Die Regel „Neuer ist besser"
Die Forscher testeten ältere und neuere KI-Modelle.
- Der Trend: Jedes Mal, wenn ein Unternehmen eine neuere Version seiner KI veröffentlichte, wurde sie intelligenter.
- Die Überraschung: Die „Mittelklasse"-Modelle (die günstigeren, häufigeren) holten die super-teuren, Top-Modelle sehr schnell ein. Es ist, als würde eine Budget-Automarke plötzlich Autos herstellen, die fast so gut fahren wie ein Luxus-Sportwagen. Das bedeutet, dass Sie nicht die teuerste KI benötigen, um bei diesen Tests zu betrügen; eine günstigere funktioniert genauso gut.
3. Das Problem mit dem „Kleingeld"
Hier ist der wichtigste Teil für die Forscher. In diesen Experimenten erhalten Menschen einen kleinen Geldbetrag (eine „Stückzahl") für jedes gelöste Rätsel.
- Die Kosten: Die Forscher berechneten, wie viel es kostet, eine KI zu bezahlen, damit sie diese Rätsel löst.
- Die Mathematik: Es kostet einen Bruchteil eines Cents, eine KI die Arbeit erledigen zu lassen. Selbst die teuersten KI-Modelle kosten weniger als 25 Cent, um einen ganzen Satz von Rätseln zu lösen.
- Die Schlussfolgerung: Wenn eine Person, die online Geld verdienen möchte, eine KI beauftragen könnte, die Arbeit zu erledigen, würde sie einen enormen Gewinn erzielen. Die KI ist nicht nur schneller und genauer, sondern auch günstiger als ein Mensch. Es ist, als würde man einen Roboter dafür bezahlen, Ihren Rasen für 0,05 $ zu mähen, anstatt einem Nachbarn 20 $ zu zahlen.
4. Der „Bestechungsversuch", der nicht funktionierte
In menschlichen Experimenten sagen Forscher oft: „Wenn Sie das richtig machen, erhalten Sie einen Bonus!" Menschen arbeiten normalerweise härter, wenn sie vom Bonus hören.
- Der Test: Die Forscher sagten der KI: „Sie sind ein menschlicher Teilnehmer" und „Sie erhalten 0,50 $ für jede richtige Antwort."
- Das Ergebnis: Die KI kümmerte sich nicht darum. Ihre Leistung änderte sich überhaupt nicht.
- Warum? Eine KI hat keine „Stimmung" oder kein Verlangen nach Geld. Sie verarbeitet einfach die Anfrage. Sie zu sagen „versuchen Sie es härter" oder „sei ein Mensch", ist, als würde man einem Taschenrechner sagen, er solle „schneller addieren", indem man ihm einen Keks verspricht. Es funktioniert einfach nicht.
Das große Fazit
Der Artikel kommt zu dem Schluss, dass die alte Methode, menschliche Anstrengung zu testen, im Zeitalter der KI kaputt ist.
Wenn Sie ein Online-Experiment durchführen, bei dem Menschen ihre Telefone oder Computer ohne Aufsicht nutzen können, können Sie nicht mehr sicher sein, dass die Person, die das Rätsel löst, tatsächlich ein Mensch ist. Sie könnten einfach eine günstige KI verwenden, um die Arbeit für sie zu erledigen.
Die Autoren schlagen drei Wege vor, um die „Roboterschüler" zu erkennen:
- Schwierigere Rätsel wählen: Verwenden Sie Aufgaben, die visuelles Zählen oder das Erkennen unordentlicher Bilder erfordern, bei denen KIs immer noch schlecht sind.
- Die Motivation beobachten: Wenn die Leistung eines Teilnehmers sich nicht ändert, wenn Sie einen Bonus anbieten, könnte er ein Roboter sein (da Menschen sich normalerweise um Boni kümmern).
- Die Ermüdung beobachten: Menschen werden müde oder lernen im Laufe der Zeit; Roboter bleiben vom ersten bis zum letzten Frage genau auf demselben Leistungsniveau.
Kurz gesagt: Die „Real Effort" (echte Anstrengung) in diesen Experimenten könnte nun „Artificial Effort" (künstliche Anstrengung) sein, und sie kostet fast nichts.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.