Humans use a dual policy to improve inferences during epistemic information seeking

Die Studie zeigt, dass Menschen beim reinen Wissenserwerb eine zweistufige Strategie anwenden, bei der sie zunächst durch wiederholtes Testen („Streaking") und anschließend durch unsicherheitsgesteuerte Exploration ihre Inferenzgenauigkeit verbessern, was über das klassische Belohnungsbasierte Explorations-Exploitations-Modell hinausgeht.

Das Wesentliche

Das große Rätsel: Warum wir manchmal stur bleiben, bevor wir wechseln

Stell dir vor, du stehst vor zwei unbekannten Automaten. Du weißt nicht, welcher davon die besseren Bonbons hat.

• Szenario A (Der "Gewinn-Modus"): Du musst so viele Bonbons wie möglich sammeln. Hier suchst du sofort den Automaten, der gerade am besten funktioniert, und bleibst dabei.
• Szenario B (Der "Wissens-Modus"): Du bekommst keine Bonbons. Deine Aufgabe ist es nur herauszufinden, welcher Automat welche Art von Bonbons bevorzugt. Hier geht es nur um das Lernen.

Die Forscher haben herausgefunden, dass Menschen in Szenario B (dem Wissens-Modus) einen ganz besonderen Trick anwenden, den Computer nicht automatisch lernen: Sie machen "Streaks" (Streifen).

Was ist ein "Streak"? (Die Analogie des Probierens)

Stell dir vor, du probierst zwei neue Gerichte in einem Restaurant.

• Ein perfekter, rechnerischer Roboter würde das eine Gericht probieren, dann sofort das andere, dann wieder das erste, um den Geschmack beider sofort zu vergleichen. Er wechselt ständig.
• Ein Mensch macht es anders: Er probiert das erste Gericht. Es schmeckt gut. Er probiert es noch einmal. Und noch einmal. Er isst drei Portionen hintereinander, um sicherzugehen: "Okay, ich habe verstanden, wie dieses Gericht schmeckt." Erst dann probiert er das zweite Gericht drei Mal hintereinander.

Dieses wiederholte Probieren eines einzigen Dings, bevor man zum nächsten wechselt, nennen die Forscher "Streaking".

Die zwei Phasen des menschlichen Lernens

Die Studie zeigt, dass unser Gehirn beim Lernen (ohne Belohnung) zwei Phasen durchläuft:

1. Phase 1: Der "Streak" (Das gründliche Testen):
   Wir konzentrieren uns zuerst auf eine Option und testen sie wiederholt. Das klingt vielleicht ineffizient, aber es hilft uns, ein klares Bild von dieser einen Sache zu bekommen, bevor wir unser Gehirn mit Informationen über die zweite Sache überfluten. Es ist wie beim Lesen eines Buches: Man liest ein Kapitel ganz durch, bevor man zum nächsten springt, um den Plot nicht zu verwirren.

2. Phase 2: Die "Unsicherheits-Steuerung" (Das gezielte Suchen):
   Sobald wir die erste Sache "verstanden" haben, wechseln wir zur zweiten. Aber hier wird es clever: Wir wählen dann genau die Option, über die wir am wenigsten wissen, um unsere Wissenslücken zu füllen.

Warum machen wir das? (Der Rauschen-Effekt)

Warum tun wir das, wenn ein Computer es besser könnte?
Stell dir vor, dein Gehirn ist wie ein Radio mit etwas Rauschen (Störgeräuschen). Wenn du ständig zwischen zwei Kanälen hin- und herschaltest (A-B-A-B), ist das Signal so schwach und verrauscht, dass du nie genau hörst, was auf welchem Kanal läuft.

Wenn du aber Streaks machst (A-A-A-A), baust du das Signal auf. Du "lautstärkst" die Information für eine Sache auf, bis das Rauschen im Hintergrund verschwindet und du ein klares Bild hast. Erst dann schaltest du um.

• Die Erkenntnis: Dieser scheinbar "dumme" Trick (wiederholt das Gleiche tun) macht uns actually schlauer, weil er unser verrauschtes Gehirn beruhigt.

Was haben Computer und Menschen gemeinsam?

Die Forscher haben künstliche Intelligenzen (Neuronale Netze) trainiert, um genau diese Aufgabe zu lösen.

• Das Ergebnis: Die Computer haben gelernt, die zweite Phase (die kluge Suche nach Unsicherheit) perfekt zu meistern. Sie wissen genau, wann sie wechseln müssen, um zu lernen.
• Das Versagen: Aber die Computer haben niemals den "Streak" entwickelt. Sie wechseln sofort. Sie haben nicht gelernt, dass es manchmal gut ist, stur bei einer Sache zu bleiben, um das Rauschen zu überwinden.

Das zeigt: Der "Streak" ist ein sehr menschlicher Zug, der durch unsere biologischen Grenzen (wie das Rauschen im Gehirn) entstanden ist.

Persönlichkeit spielt eine Rolle

Die Studie untersuchte auch, warum manche Menschen mehr "streaken" als andere:

• Menschen, die es lieben, schnelle Antworten zu haben (hoher "Bedürfnis nach kognitiver Abschlusssicherheit"), machen weniger Streaks. Sie wollen schnell zum Ergebnis kommen und springen zu oft zwischen den Optionen hin und her.
• Menschen mit hoher kognitiver Leistungsfähigkeit sind besser darin, die zweite Phase (die kluge Suche nach Unsicherheit) zu nutzen.

Fazit

Unsere Art zu lernen ist nicht perfekt, aber sie ist clever angepasst an unsere Grenzen. Wir nutzen eine doppelte Strategie:

1. Wir werden kurzzeitig "stur" und testen eine Sache gründlich durch (Streak), um das Rauschen in unserem Kopf zu beruhigen.
2. Dann werden wir strategisch und suchen genau das, was wir noch nicht wissen.

Es ist wie beim Lernen einer neuen Sprache: Man wiederholt ein Wort oft, bis es sitzt, bevor man zum nächsten übergeht. Das ist kein Fehler, sondern eine geniale menschliche Erfindung, um trotz "verrauschtem" Gehirn die Welt zu verstehen.

Technische Zusammenfassung

Titel: Menschen nutzen eine duale Politik zur Verbesserung von Inferenzen bei epistemischer Informationssuche

1. Problemstellung und Motivation

Die Forschung konzentriert sich auf das klassische „Explore-Exploit-Dilemma" in der Entscheidungsfindung. Bisherige Studien betrachten Exploration meist im Kontext der Belohnungsmaximierung (Reward Seeking), wobei Informationen als Mittel zum Zweck dienen, um zukünftige Belohnungen zu bewerten.
Das Paper adressiert jedoch eine weniger erforschte Form der Exploration: epistemische Informationssuche (reines Wissenserwerben), die von jeglicher direkter oder prospektiver Belohnung entkoppelt ist. Die zentrale Frage lautet: Wie gestalten Menschen ihre Suchstrategien (Policies), wenn das Ziel rein darin besteht, die Struktur der Umwelt zu verstehen, ohne dass dies mit einem unmittelbaren Nutzen verbunden ist?

2. Methodik

Die Studie umfasst drei Experimente mit insgesamt 702 Teilnehmern (420 in der Hauptanalyse nach Datenbereinigung).

• Aufgabendesign: Ein sequenzieller Sampling-Aufgabe („Bandit-Paradigma") mit zwei Optionen (Taschen), die jeweils eine dominante Farbe von Edelsteinen (z. B. blau oder orange) enthalten, jedoch mit einer Wahrscheinlichkeitsverteilung (ca. 2/3 dominante, 1/3 nicht-dominante Farbe).
  • MATCH-Bedingung (Belohnung): Teilnehmer mussten die Tasche auswählen, die der Ziel-Farbe entsprach, um die Anzahl passender Edelsteine zu maximieren (klassische Belohnungsmaximierung).
  • GUESS-Bedingung (Epistemisch): Es gab keine Ziel-Farbe. Teilnehmer sollten durch Sampling die dominante Farbe jeder Tasche lernen und am Ende des Spiels (nach 8–20 Zügen) raten, welche Farbe einer zufällig ausgewählten Tasche zugeordnet war. Hier wurde die Exploration von jeder Belohnungsmaximierung entkoppelt.
• Computational Modeling: Die Autoren entwickelten ein suboptimales Modell der Evidenzakkumulation. Dieses Modell kombiniert:
  • Eine globale Politik (Belohnungs- oder Unsicherheits-gesteuert).
  • Eine lokale, schwellenwertbasierte „Streaking"-Mechanik (wiederholtes Wählen derselben Option, bis ein Evidenzschwellenwert überschritten ist).
  • Parameter für Rauschen im Lernprozess (Learning Noise) und Gedächtnisverlust (Leak).
• Künstliche Neuronale Netze (RNNs): Es wurden rekurrente neuronale Netze trainiert, um zu testen, ob diese Strategien rein durch Optimierungsaufgaben (z. B. Maximierung der Inferenzgenauigkeit oder Meta-Kognition) emergieren oder ob sie spezifisch menschliche kognitive Einschränkungen widerspiegeln.
• Individuelle Unterschiede: Korrelation der Modellparameter mit psychologischen Merkmalen (Need for Cognitive Closure Scale - NFCS) und kognitiven Fähigkeiten (ICAR).

3. Wichtige Beiträge und Ergebnisse

A. Entdeckung einer dualen Politik (Dual Policy)
Im Gegensatz zu reinen Belohnungsszenarien (MATCH) zeigten Teilnehmer in der epistemischen Bedingung (GUESS) eine charakteristische zweistufige Strategie:

1. Streaking (Frühe Phase): Teilnehmer wählten in kurzen Sequenzen („Streaks") wiederholt dieselbe neue Option, bevor sie zur anderen wechselten (z. B. AAAAABBBBB statt ABABAB). Dies diente dem Testen vorläufiger Hypothesen.
2. Unsicherheits-gesteuerte Exploration (Späte Phase): Nach dieser initialen Phase wechselten sie zu einer Strategie, bei der sie die unsicherere Option wählten, um die Inferenzgenauigkeit zu maximieren.

• Ergebnis: Die „Streaking"-Phase war in der MATCH-Bedingung kaum vorhanden, aber in der GUESS-Bedingung stark ausgeprägt.

B. Funktionale Vorteile von Streaking unter Rauschen
Obwohl „Streaking" aus normativer (Bayesscher) Sicht suboptimal erscheint, verbesserte es die Inferenzgenauigkeit in der GUESS-Bedingung signifikant.

• Mechanismus: Simulationen zeigten, dass Streaking besonders vorteilhaft ist, wenn der Lernprozess verrauscht ist (Noisy Belief Updating). Durch das konzentrierte Sammeln von Evidenz für eine Option wird die Wirkung von Rauschen reduziert und die Glaubwürdigkeit der Hypothese schneller stabilisiert.
• RNN-Vergleich: Trainierte RNNs lernten zwar die optimale unsicherheitsgesteuerte Exploration, entwickelten aber kein „Streaking". Dies deutet darauf hin, dass Streaking eine spezifisch menschliche Strategie ist, die durch kognitive Einschränkungen (wie Rauschen) geformt wird und nicht durch reine Optimierung emergiert.

C. Dissoziation psychologischer Traits und Policies
Die Studie identifizierte eine klare Trennung zwischen den psychologischen Determinanten der beiden Strategien:

• Need for Cognitive Closure (NFCS): Ein höherer Bedarf an kognitiver Abschlusssicherheit (Wunsch nach schnellen Entscheidungen) korrelierte negativ mit der Neigung zum „Streaking". Menschen mit hohem NFCS neigten weniger dazu, Optionen systematisch zu testen, was ihre Gesamtleistung verschlechterte.
• Allgemeine kognitive Fähigkeit (ICAR): Korrelierte positiv mit der Effektivität der unsicherheitsgesteuerten Exploration ($\beta_c$).
• Befund: „Streaking" und „Unsicherheits-Exploration" sind zwar oft in denselben Personen vorhanden, basieren aber auf unterschiedlichen kognitiven Mechanismen und Persönlichkeitsmerkmalen.

4. Signifikanz und Implikationen

• Neues Verständnis von Exploration: Die Arbeit zeigt, dass menschliche Informationssuche nicht nur durch den Trade-off zwischen Belohnung und Exploration getrieben wird, sondern durch eine komplexe Architektur aus globalen (unsicherheitsgesteuerten) und lokalen (schwellenwertbasierten) Policies.
• Adaptivität von Suboptimalität: „Streaking" wird als adaptive Antwort auf die Unzulänglichkeiten menschlicher Kognition (Rauschen, begrenzte Rechenkapazität) interpretiert. Es ist eine Heuristik, die die Genauigkeit unter realistischen Bedingungen verbessert, auch wenn sie theoretisch suboptimal ist.
• Grenzen von KI-Modellen: Die Tatsache, dass RNNs die „Streaking"-Strategie nicht von selbst entwickeln, unterstreicht, dass Standard-Optimierungsziele nicht ausreichen, um menschliches Verhalten vollständig zu replizieren. Menschliche Strategien sind stark durch inhärente kognitive Constraints geprägt.
• Methodologischer Fortschritt: Die Entkopplung von epistemischer Suche und Belohnung bietet ein neues Paradigma, um die neuronalen und kognitiven Grundlagen des reinen Wissenserwerbs zu untersuchen, getrennt von motivationalen Faktoren.

Fazit: Menschen nutzen eine hybride Strategie, bei der sie zunächst durch wiederholtes Testen („Streaking") Hypothesen stabilisieren, bevor sie zu einer globalen Unsicherheitsminimierung übergehen. Diese Strategie ist besonders effektiv in verrauschten Umgebungen und wird durch spezifische Persönlichkeitsmerkmale (geringer Need for Closure) begünstigt, die sich von denen unterscheiden, die die allgemeine kognitive Leistungsfähigkeit antreiben.