Can LLMs Replace Economic Choice Prediction Labs? The Case of Language-based Persuasion Games
Diese Arbeit zeigt, dass Large Language Models effektiv als menschliche Probanden beim Generieren von Trainingsdaten für die Vorhersage ökonomischer Entscheidungen innerhalb sprachbasierter Überzeugungsspiele dienen können, wobei sie oft Modelle übertreffen, die auf tatsächlichen menschlichen Daten trainiert wurden, und gleichzeitig verdeutlichen, dass die Erfassung geschichtshängiger Entscheidungsmuster entscheidend für eine präzise Vorhersage ist.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der digitalen Wirtschaft ist jeder Klick und jedes Scrollen eine Entscheidung. Wenn ein Reisender eine Hotelbewertung auf einer Buchungsseite liest, wägt er Informationen gegen seine eigenen Wünsche ab und versucht zu entscheiden, ob ein Zimmer den Preis wert ist. Dies ist ein klassisches ökonomisches Rätsel: Wie entscheiden Menschen, wenn sie mit unvollständigen Informationen und der Möglichkeit konfrontiert sind, getäuscht zu werden? Seit Jahrzehnten untersuchen Ökonomen diese Momente, indem sie echte Menschen bitten, Spiele zu spielen, bei denen eine Person versucht, eine andere zu überzeugen. Diese Experimente sind schwierig durchzuführen; sie erfordern die Rekrutierung von Teilnehmern, die Entwicklung spezieller Software und das Warten darauf, dass Menschen Entscheidungen treffen – ein Prozess, der langsam, teuer und oft begrenzt in der Größe ist.
Kürzlich ist ein neues Werkzeug aufgetaucht, das verspricht, die Art und Weise, wie wir diese Entscheidungen untersuchen, zu verändern: das Large Language Model. Dies sind Systeme der künstlichen Intelligenz, die auf riesigen Mengen an Text trainiert wurden und in der Lage sind, die menschliche Sprache mit bemerkenswerer Flüssigkeit zu verstehen und zu generieren. Forscher haben begonnen, sich zu fragen, ob diese Maschinen mehr können als nur zu chatten. Könnten sie als Stellvertreter für echte Menschen in Wirtschaftsexperimenten fungieren? Wenn eine Maschine das menschliche Verhalten gut genug imitieren kann, könnte sie die massiven Datenmengen generieren, die benötigt werden, um bessere Vorhersagemodelle zu trainen, und damit das Problem knapper menschlicher Daten lösen. Die Frage ist nicht nur, ob Maschinen wie Menschen sprechen können, sondern ob sie auch wie sie denken und in Situationen mit hohem Einsatz entscheiden können.
Ein Forscherteam am Technion in Israel setzte sich zum Ziel, diese Frage zu beantworten, indem es Agenten der künstlichen Intelligenz in ein komplexes Spiel der Überzeugung setzte. In ihrem Versuchsaufbau versucht ein Spieler, der als Experte agiert, einen zweiten Spieler – den Entscheidungsträger – davon zu überzeugen, ein bestimmtes Hotel zu besuchen. Der Experte kennt die wahre Qualität des Hotels, kann aber nur eine einzige schriftliche Bewertung aus einer Liste von Optionen teilen. Der Entscheidungsträger muss dann entscheiden, ob er das Hotel basierend auf dieser Bewertung und seinen bisherigen Erfahrungen mit dem Experten besucht. Wenn das Hotel tatsächlich gut ist, gewinnt der Entscheidungsträger; wenn es schlecht ist, verliert er. Der Experte hingegen gewinnt immer, wenn der Entscheidungsträger sich für den Besuch entscheidet, unabhängig von der tatsächlichen Qualität des Hotels. Dies erzeugt eine strategische Spannung, bei der der Experte lügen könnte, um ein besseres Ergebnis zu erzielen, und der Entscheidungsträger lernen muss, die Täuschung im Laufe der Zeit zu erkennen.
Die Forscher sammelten zunächst Daten von Hunderten echter menschlicher Spieler, die sich über viele Runden hinweg an diesem Spiel beteiligten. Dann ersetzten sie die menschlichen Entscheidungsträger durch verschiedene Large Language Models und wiesen die Maschinen an, das Spiel nach denselben Regeln und gegenüber denselben Hotelbewertungen zu spielen. Um die Simulationen realistischer zu gestalten, gaben die Forscher jeder Maschine eine spezifische Persönlichkeit, wie etwa einen optimistischen Reisenden, der immer das Positive sieht, oder einen preisbewussten Käufer, dem Kosten sehr wichtig sind. Durch das Durchführen tausender dieser simulierten Spiele erstellte das Team einen massiven Datensatz von Entscheidungen, die von Maschinen getroffen wurden, den sie wiederum nutzten, um ein Computerprogramm zu trainieren, das vorhersagt, wie ein Mensch in derselben Situation handeln würde.
Die Ergebnisse waren überraschend. Als die Forscher ein Vorhersagemodell trainierten, das ausschließlich auf den von den KI-Spielern generierten Daten basierte, wurde das Modell besser darin, menschliches Verhalten vorherzusagen, als ein Modell, das auf den tatsächlichen menschlichen Daten trainiert wurde – vorausgesetzt, der Datensatz der Maschinen war groß genug. Tatsächlich übertraf das maschinengenerierte Datenmaterial das menschliche Datenmaterial in fast allen getesteten Szenarien. Dies deutet darauf hin, dass die KI-Agenten nicht nur die Worte von Menschen imitierten, sondern die tieferen strategischen Muster davon erfassten, wie Menschen während wiederholter Interaktionen lernen und sich anpassen. Die Maschinen lernten, die Historie vergangener Bewertungen und das über die Zeit aufgebaute Vertrauen abzuwägen, anstatt nur auf die unmittelbaren Worte auf dem Bildschirm zu reagieren.
Dennoch offenbarte die Studie auch einen erheblichen Mangel beim ausschließlichen Vertrauen auf Maschinen. Obwohl die auf künstlichen Daten trainierten Modelle hochgradig genau waren, waren sie schlecht kalibriert. Vereinfacht ausgedrückt bedeutet dies, dass das Modell, wenn es eine Vorhersage mit hoher Zuversicht tätigte, oft häufiger falsch lag, als ein Modell, das auf echten Menschen trainiert wurde. Die Maschinendaten waren so reichlich vorhanden, dass sie dem Modell die richtige Antwort meistens beibrachten, aber es versäumten, dem Modell beizubringen, wie es seine eigene Gewissheit einschätzt. Um dies zu beheben, stellten die Forscher fest, dass das Mischen einer kleinen Menge echter menschlicher Daten mit der riesigen Menge an Maschinendaten die perfekte Balance schuf. Dieser hybride Ansatz produzierte ein Modell, das sowohl hochgradig präzise als auch in seinen Konfidenzniveaus vertrauenswürdig war.
Die Forscher gruben tiefer, um zu verstehen, warum die Maschinen so erfolgreich waren. Sie entdeckten, dass der Schlüssel zur Vorhersage menschlichen Verhaltens nicht die Stimmung der Bewertung selbst war, sondern die Historie der Interaktion. Als die KI-Agenten in der Lage waren, sich an viele vergangene Runden des Spiels zu erinnern, generierten sie Daten, die eng mit menschlichen Entscheidungsmustern übereinstimmten. Aber als ihr Gedächtnis auf nur die letzten ein oder zwei Züge beschränkt wurde, brach ihre Fähigkeit, menschliches Verhalten zu simulieren, zusammen. Dieser Befund unterstreicht, dass menschliche Entscheidungsfindung in diesen Spielen fundamental auf Strategie und Geschichte basiert, nicht nur auf dem Lesen des emotionalen Tons einer einzelnen Nachricht. Die Maschinen waren erfolgreich, weil sie lernten, das langfristige Spiel zu spielen, genau wie Menschen es tun.
Um sicherzustellen, dass ihre Erkenntnisse nicht nur auf Hotelbewertungen beschränkt waren, testete das Team ihren Ansatz in einem anderen, abstrakteren Überzeugungsspiel, bei dem die Spieler beliebige Nachrichten schreiben konnten, anstatt eine feste Liste zu nutzen. Selbst in dieser freieren Umgebung, in der die Regeln weniger starr waren, erwiesen sich die von KI-Spielern generierten Daten als effektiv beim Training von Modellen zur Vorhersage menschlicher Entscheidungen. Dies deutet darauf hin, dass die Fähigkeit von Maschinen, nützliche Trainingsdaten zu generieren, ein robustes Phänomen ist, das über einen einzigen Arten von Experiment hinausgeht.
Die Studie kommt zu dem Schluss, dass künstliche Intelligenz die Nuancen menschlichen Verhaltens zwar noch nicht perfekt ersetzen kann, aber als leistungsstarker Motor für die Generierung der Daten dienen kann, die nötig sind, um dieses zu verstehen. Indem Forscher Maschinen nutzen, um die strategischen Komplexitäten menschlicher Interaktion zu simulieren, können sie die Engpässe traditioneller Wirtschaftsexperimente überwinden. Der Weg nach vorn besteht in einer sorgfältigen Partnerschaft: die Nutzung der Skalierbarkeit künstlicher Intelligenz, um breite Verhaltensmodelle aufzubauen, während diese Modelle mit gerade genug realer menschlicher Daten fundiert werden, um sicherzustellen, dass sie zuverlässig und lebensnah bleiben. Dieser Ansatz bietet eine neue Möglichkeit, den komplizierten Tanz von Vertrauen, Täuschung und Entscheidungsfindung zu untersuchen, der unsere Wirtschaftswelt definiert.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.