💬 NLP

Comparing Exploration-Exploitation Strategies of LLMs and Humans: Insights from Standard Multi-armed Bandit Experiments

Diese Studie vergleicht die Explorations-Exploitations-Strategien von großen Sprachmodellen, Menschen und Algorithmen bei Multi-Armed-Bandit-Aufgaben und stellt fest, dass zwar die Ermöglichung von „Denken" große Sprachmodelle in stationären Umgebungen menschlicher macht, sie jedoch immer noch Schwierigkeiten haben, die menschliche Anpassungsfähigkeit und gerichtete Exploration in komplexen, nicht-stationären Umgebungen zu erreichen.

Ursprüngliche Autoren: Ziyuan Zhang, Darcy Wang, Ningyuan Chen, Rodrigo Mansur, Vahid Sarhangian

Veröffentlicht 2026-05-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ziyuan Zhang, Darcy Wang, Ningyuan Chen, Rodrigo Mansur, Vahid Sarhangian

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie wandern durch einen riesigen, mysteriösen Wald mit vier verschiedenen Pfaden. Sie wissen nicht, welcher Pfad zu einer Schatzkiste (eine hohe Belohnung) führt und welcher zu einer Sackgasse (eine niedrige Belohnung). Um den besten Pfad zu finden, müssen Sie alle paar Minuten eine Wahl treffen:

Ausnutzen (Exploit): Bleiben Sie auf dem Pfad, den Sie bereits gegangen sind und der in Ordnung schien, in der Hoffnung, dass er der beste ist.
Erforschen (Explore): Probieren Sie einen neuen, unbekannten Pfad aus, um zu sehen, ob er besser sein könnte.

Dies ist der „Explorations-Ausnutzungs"-Tradeoff. Es ist ein grundlegendes Rätsel der Entscheidungsfindung, das Menschen intuitiv lösen, oft durch eine Mischung aus zufälligen Vermutungen und klugen, kalkulierten Risiken.

Diese Arbeit stellt eine einfache Frage: Können Large Language Models (LLMs) – die KI-Gehirne hinter Tools wie ChatGPT – dieses Waldrätsel auf die gleiche Weise lösen wie Menschen?

Das Experiment: Eine digitale Spielmaschine

Die Forscher haben die KI nicht nur gebeten zu raten; sie haben sie in ein „Multi-Armed Bandit"-Spiel versetzt. Stellen Sie sich dies als eine Reihe von Spielautomaten vor.

Das einfache Spiel: Zwei Maschinen. Eine zahlt etwas mehr aus als die andere, aber die Beträge sind zufällig. Sie ziehen den Hebel 10 Mal.
Das schwierige Spiel: Vier Maschinen. Die „beste" Maschine ändert sich im Laufe der Zeit (wie ein Spielautomat, der seine Gewinnchancen alle paar Minuten zurücksetzt). Sie ziehen den Hebel 300 Mal.

Sie testeten drei Gruppen:

Menschen: Echte Personen, die im Labor spielten.
Standard-KI: Die „basischen" Versionen führender Modelle (wie GPT-4o-mini oder Gemini), die einfach eine Antwort ausspucken.
„Denkende" KI: Die „intelligenten" Versionen (wie GPT-o3-mini oder DeepSeek-R1), die gezwungen werden, ihre Denkprozesse vor der Antwort aufzuschreiben, oder die einen speziellen „Denkmodus" aktiviert haben.

Die Ergebnisse: Wie die KI abschneidet

1. Die „basische" KI ist ein nervöser Spieler

Wenn die Standard-KI-Modelle spielten, verhielten sie sich ein wenig wie ein nervöser Spieler.

Zu viel zufälliges Raten: Sie sprangen wild zwischen den Maschinen hin und her, ohne einen klaren Plan.
Zu wenig intelligentes Suchen: Sie nutzten selten „gerichtete Exploration". Dies ist der Moment, in dem ein Mensch denkt: „Ich habe Maschine C schon eine Weile nicht ausprobiert, und ich bin mir nicht sicher, wie es ihr geht, also werde ich sie ausprobieren, um mehr Informationen zu erhalten." Die basische KI riet meist einfach zufällig oder blieb bei dem, was sie kannte.
Das Ergebnis: Im einfachen Spiel schafften sie es ganz gut. Aber im komplexen, sich verändernden Spiel verloren sie sich, machten weiterhin Fehler und landeten am Ende mit viel weniger „Schatz" (höheres Bedauern) als Menschen.

2. Die „denkende" KI ist ein besserer Detektiv

Als die Forscher die „denkenden" Funktionen aktivierten (die KI dazu brachten, ihre Gedanken aufzuschreiben oder eine Denkengine zu nutzen), änderte sich das Verhalten dramatisch.

Die Verschiebung: Die KI begann mehr wie ein Mensch zu handeln. Sie hörte auf, zufällig zu raten, und begann „gerichtete Exploration" zu nutzen. Sie fing an, Dinge zu sagen wie: „Ich bin mir bei dieser Maschine nicht sicher, also werde ich sie testen, um mehr zu lernen."
Das einfache Spiel: Im einfachen Zwei-Maschinen-Spiel wurde die „denkende" KI fast nicht mehr von Menschen zu unterscheiden. Sie fand die beste Maschine schnell heraus und blieb dabei.
Das schwierige Spiel: Im komplexen Vier-Maschinen-Spiel verbesserte sich die „denkende" KI erheblich und näherte sich der menschlichen Leistung an, war aber immer noch nicht perfekt. Sie hatte Schwierigkeiten, sich so schnell wie Menschen anzupassen, wenn sich die Regeln des Spiels änderten.

3. Die „Bedauern"-Punktzahl

Die Forscher maßen das „Bedauern", was einfach die Menge an Geld (oder Punkten) ist, die der Spieler verloren hat, indem er nicht jedes einzelne Mal die beste Maschine gewählt hat.

Menschen: Hatten durchgehend das niedrigste Bedauern. Sie waren am besten darin, den Ausgleich zwischen dem Ausprobieren neuer Dinge und dem Festhalten am Gewinner zu finden.
Basische KI: Hatte im komplexen Spiel ein hohes Bedauern. Sie verschwendete viel Zeit an schlechten Maschinen.
Denkende KI: Hatte ein viel niedrigeres Bedauern. Indem sie „dachte", bevor sie handelte, machten sie weniger Fehler und kamen der menschlichen Leistungsniveau näher.

Die große Erkenntnis

Die Arbeit kommt zu dem Schluss, dass KI auf natürliche Weise nicht menschlich darin ist, wie sie erkundet. Standardmäßig neigt sie dazu, entweder zu zufällig oder zu starr zu sein.

Allerdings wirkt das Geben eines „Denkpfads" an die KI (sie dazu zu bringen, laut zu reasoning) wie eine Superkraft. Es zwingt die KI, langsamer zu werden, Unsicherheit zu berechnen und auf eine intelligentere, menschlichere Weise zu erkunden.

In einfachen, stabilen Situationen: Kann denkende KI Menschen perfekt imitieren.
In komplexen, sich verändernden Situationen: Wird denkende KI viel besser, aber Menschen haben immer noch einen leichten Vorteil in der Anpassungsfähigkeit.

Die Forscher betonen, dass dies nicht bedeutet, dass KI bereit ist, Menschen bei jeder komplexen Entscheidung zu ersetzen, aber es zeigt, dass die Aufforderung an eine KI zu „denken" eine kraftvolle Methode ist, ihre Entscheidungsstrategien zuverlässiger und menschlicher zu machen.

1. Problemstellung

Das Paper adressiert eine kritische Lücke im Verständnis, ob Large Language Models (LLMs) menschliches Entscheidungsfindungsverhalten in komplexen, sequenziellen Umgebungen unter Unsicherheit zuverlässig simulieren können. Konkret untersucht es den Exploration-Exploitation (E&E)-Tradeoff, eine fundamentale kognitive Herausforderung, bei der Agenten das Nutzen bekannter belohnender Optionen (Exploitation) gegen das Suchen neuer Möglichkeiten, die bessere Ergebnisse liefern könnten (Exploration), abwägen müssen.

Obwohl LLMs zunehmend als „digitale Zwillinge" zur Simulation menschlichen Verhaltens eingesetzt werden, bleibt unklar, ob sie dieselben adaptiven, zielgerichteten und kognitiv fundierten Strategien wie Menschen zeigen, insbesondere in nicht-stationären Umgebungen. Die Autoren fragen: Können LLMs menschliches E&E-Verhalten zuverlässig simulieren, und wie beeinflussen „Denk"-Fähigkeiten (z. B. Chain-of-Thought, interne Denkspuren) diese Strategien?

2. Methodik

Experimentelles Design

Die Autoren setzten zwei kanonische Multi-Armed Bandit (MAB)-Experimente ein, die in der Kognitionswissenschaft und Psychiatrie weit verbreitet sind, um die Vergleichbarkeit mit menschlichen Daten sicherzustellen:

Stationärer 2-Armed Bandit: Ein einfaches Setting mit 20 Durchläufen à 10 Runden. Die Belohnungen sind stochastisch, aber stationär (fester Mittelwert).
Nicht-stationärer 4-Armed Bandit: Ein komplexes Setting mit 300 Runden, bei dem die Mittelwerte der Belohnungen einem abklingenden Gaußschen Random Walk (Diffusionsprozess) folgen. Dies testet die Anpassungsfähigkeit an sich verändernde Umgebungen.

Agenten und Bedingungen

Die Studie verglich drei Kategorien von Agenten:

Menschliche Teilnehmer: Daten aus kontrollierten Laborexperimenten (Gershman 2018; Chakroun et al. 2020a) mit jeweils 45 und 31 Teilnehmern.
LLM-Agenten: Drei kommerzielle Modellfamilien (ChatGPT, Gemini, DeepSeek), getestet in zwei Konfigurationen:
- Basis-Modelle: Standard-Inferenz (z. B. GPT-4o-mini, Gemini-2.0-flash, DeepSeek-V3).
- Denk-Modelle: Modelle mit expliziten Reasoning-Fähigkeiten (z. B. GPT-o3-mini, Gemini-2.5-flash, DeepSeek-R1).
- Prompting-Variationen: Für Basis-Modelle testeten die Autoren Chain-of-Thought (CoT)-Prompting („laut denken") im Vergleich zur direkten Beantwortung. Bei Denk-Modellen schalteten sie interne Denkmodi ein oder passten die Denk-Budgets an.
Algorithmische Baselines: Standard-MAB-Algorithmen, darunter Upper Confidence Bound (UCB), Thompson Sampling (TS) und $\epsilon$ -greedy.

Verhaltensmodellierung und Schätzung

Zur Charakterisierung von Entscheidungsstrategien verwendeten die Autoren interpretierbare Wahlmodelle aus der Kognitionswissenschaft:

Lernregel: Ein Bayes'scher Lerner (Kalman-Filter) zur Schätzung der erwarteten Belohnungen ( $Q$ ) und der Unsicherheit ( $S$ ) für jeden Arm.
Wahlregeln:
- Softmax-basierte Modelle (SM-1, SM-2, SM-3): Enthalten Parameter für zufällige Exploration ( $\beta$ ), gerichtete Exploration/Unsicherheitsbonus ( $\phi$ ) und Wahlperseveration ( $\rho$ ).
- Probit-Regression: Für die 2-Armed-Aufgabe verwendet, um Wertunterschiede und Unsicherheit zu modellieren.
Schätzung: Ein hierarchischer Bayes'scher Ansatz wurde verwendet, um Parameter auf Bevölkerungsebene zu schätzen, während individuelle Heterogenität berücksichtigt wurde. Die Modellauswahl erfolgte mittels Leave-One-Out Cross-Validation (LOO-CV).

3. Hauptbeiträge

Direkter Mensch-LLM-Vergleich in komplexen Settings: Im Gegensatz zu früheren Studien, die auf einfache 2-Armed-Settings oder algorithmische Benchmarks beschränkt waren, bietet diese Arbeit den ersten direkten Vergleich von LLMs und Menschen in sowohl stationären als auch nicht-stationären 4-Armed-Bandit-Aufgaben unter abgestimmten experimentellen Bedingungen.
Entwirrung von „Denk"-Fähigkeiten: Die Studie isoliert systematisch den Einfluss von Reasoning, indem sie Basis-Modelle mit CoT-Prompting mit nativen „Denk"-Modellen mit umschaltbarer interner Reasoning-Funktion vergleicht. Dies geht über einfache Leistungsmetriken hinaus, um den Mechanismus der Entscheidungsfindung zu analysieren.
Verhaltensparametrisierung: Anstatt nur Reue (Regret) zu messen, ordnen die Autoren das LLM-Verhalten etablierten kognitiven Parametern ( $\beta, \phi, \rho$ ) zu, was eine differenzierte Analyse erlaubt, wie LLMs explorieren (zufällig vs. gerichtet) und nicht nur, wie gut sie performen.
Analyse der Modellspezifikation: Die Autoren zeigen, dass diese kognitiven Modelle, selbst wenn sie auf nicht-menschliche Agenten (Algorithmen/LLMs) angewendet werden, als gültiges „Projektionsframework" dienen, um interpretierbare Verhaltenssignaturen zu extrahieren.

4. Hauptergebnisse

Explorationsstrategien

Basis-LLMs: Zeigen im Vergleich zu Menschen signifikant höhere zufällige Exploration und geringere gerichtete Exploration. Ihnen fehlt die konsistente „Wahlperseveration" (Wiederholung einer Wahl), die bei Menschen zu beobachten ist.
Einfluss des Denkens: Das Aktivieren von Denkprozessen (via CoT oder interne Reasoning) verschiebt das LLM-Verhalten hin zu menschenähnlichen Mustern:
- Stationäres Setting: Denk-fähige LLMs erhöhen die gerichtete Exploration ( $\phi$ ) signifikant und reduzieren die zufällige Exploration ( $\beta$ ), oft auf menschlichem Niveau oder sogar darüber.
- Nicht-stationäres Setting: Obwohl das Denken die Leistung verbessert, haben LLMs immer noch Schwierigkeiten, die menschliche Anpassungsfähigkeit zu erreichen. Sie scheitern daran, in komplexen, sich verändernden Umgebungen eine effektive gerichtete Exploration zu betreiben, zeigen negative oder nahe-null $\phi$ -Werte, während Menschen eine positive gerichtete Exploration aufrechterhalten.

Leistungsmetriken (Regret und Exploitation)

Stationär (2-Armed): Basis-LLMs erreichen Reue-Niveaus, die mit denen von Menschen und Algorithmen vergleichbar sind. Denk-Modelle performen ähnlich oder leicht besser.
Nicht-stationär (4-Armed):
- Menschen: Erzielen die niedrigste kumulative Reue und zeigen eine überlegene Anpassungsfähigkeit an sich verändernde Belohnungsstrukturen.
- Basis-LLMs: Akkumulieren viel schneller Reue als Menschen und zeigen volatile Exploitation-Raten (übermäßiges Festhalten an frühen Armen).
- Denk-Modelle: Reduzieren die Reue im Vergleich zu Basis-Modellen signifikant und bringen die Leistung näher an menschliche Niveaus heran (z. B. Gemini-2.5-flash und DeepSeek-R1), bleiben jedoch in den komplexesten Szenarien hinter der menschlichen Anpassungsfähigkeit zurück.

Langfristige Dynamiken

In verlängerten stationären Aufgaben (300 Runden) stabilisieren Denk-Modelle ihre Verhaltensparameter im Laufe der Zeit, während Basis-Modelle eine hohe Varianz aufweisen.
Eine Analyse mit dem QCARE-Framework zeigt, dass Basis-Modelle oft unter „Über-Exploration" leiden (kein Abklingen strukturellen Rauschens), während Denk-Modelle einen besseren Trade-off erreichen, der näher am theoretischen Optimum liegt ( $\alpha \approx 0.5$ ).

5. Bedeutung und Implikationen

Grenzen der Menschensimulation: Obwohl LLMs menschliche E&E-Strategien in einfachen, statischen Umgebungen nachahmen können, wenn sie zum „Denken" aufgefordert werden, fehlt es ihnen derzeit an der robusten Anpassungsfähigkeit, die für komplexe, nicht-stationäre reale Szenarien erforderlich ist. Sie haben Schwierigkeiten, eine zielgerichtete Exploration aufrechtzuerhalten, wenn sich die Umgebung ändert.
Rolle des Reasoning: Die Studie liefert empirische Belege dafür, dass Reasoning-Fähigkeiten (nicht nur Generierungszufälligkeit) der Haupttreiber für verbesserte E&E-Strategien in LLMs sind. Das Aktivieren von Denkspuren ist eine kostengünstige, effektive Methode, um das LLM-Verhalten an menschenähnliche Entscheidungsfindung anzupassen, ohne architektonische Änderungen vorzunehmen.
Praktische Anwendungen: Für automatisierte Entscheidungssysteme (z. B. wissenschaftliche Entdeckung, dynamische Ressourcenallokation) kann die reliance auf Basis-LLMs in nicht-stationären Umgebungen zu suboptimalen Ergebnissen führen. Die Integration expliziter Reasoning-Module oder Prompt-Engineering kann diese Risiken jedoch erheblich mindern.
Zukünftige Richtungen: Das Paper schlägt vor, dass zukünftige Arbeiten darauf fokussieren sollten, LLMs durch Feinabstimmung besser mit Nicht-Stationarität umgehen zu lassen und demografische/individuelle Variabilität in Simulations-Prompts zu integrieren, um die Genauigkeit von „digitalen Zwillingen" zu verbessern.

Zusammenfassend stellt das Paper fest, dass LLMs zwar leistungsfähige Simulatoren menschlichen Verhaltens sind, ihre aktuellen „Denk"-Fähigkeiten jedoch ein zweischneidiges Schwert darstellen: Sie überbrücken die Lücke bei einfachen Aufgaben, offenbaren aber eine fundamentale Einschränkung bei der Anpassung an komplexe, dynamische Unsicherheit im Vergleich zur menschlichen Intuition.