Think-Aloud Reshapes Automated Cognitive Model Discovery Beyond Behavior

Dieser Beitrag zeigt, dass die Einbeziehung von Think-Aloud-Spuren in die automatische Entdeckung kognitiver Modelle die Vorhersageleistung erheblich verbessert und die identifizierten Modellstrukturen hin zu integrierten Nutzenmechanismen verschiebt, wodurch kognitive Prozesse aufgedeckt werden, die allein aus Verhaltensdaten nicht rekonstruierbar sind.

Das Wesentliche

Stellen Sie sich vor, Sie versuchen herauszufinden, wie ein Freund entscheidet, was er zum Abendessen isst. Sie haben zwei Möglichkeiten, etwas über seinen Prozess zu erfahren:

1. Das „Was" (Verhalten): Sie beobachten ihn beim Bestellen. Er wählt die Pizza. Sie sehen das Ergebnis.
2. Das „Wie" (Lautgedanken): Sie bitten ihn, seine Gedanken während der Entscheidung laut auszusprechen. Er sagt: „Hmm, ich habe Hunger, aber Pizza ist schwer. Vielleicht sollte ich zuerst die Kalorien prüfen und dann den Preis vergleichen."

Lange Zeit hatten Wissenschaftler, die computerbasierte Modelle menschlichen Denkens entwickelten, nur Zugang zum „Was". Sie beobachteten, wie Menschen Entscheidungen trafen (wie etwa die Wahl zwischen einem riskanten Glücksspiel oder einer sicheren Option), und versuchten, die dahinterstehende Mathematik zu rekonstruieren.

Das Problem ist, dass das „Was" oft ein nebliger Spiegel ist. Viele verschiedene interne mathematische Formeln können exakt dieselbe endgültige Entscheidung hervorbringen. Es ist, als würde man ein Auto eine Straße entlangfahren sehen; man weiß, dass es von A nach B bewegt wurde, aber man weiß nicht, ob der Fahrer ein GPS, eine Landkarte benutzte oder einfach nur ratete. Dies macht die Computermodelle „unterbestimmt" – es gibt zu viele mögliche Antworten, und der Computer könnte einfach die falsche auswählen, nur weil sie einigermaßen zu den Daten passt.

Der neue Ansatz: Dem inneren Monolog lauschen

Diese Arbeit stellt eine neue Methode zur Entwicklung dieser Modelle vor. Anstatt nur die endgültige Entscheidung zu beobachten, gaben die Forscher den Computermodellen auch das „Wie" – die tatsächlich gesprochenen Gedanken (Lautgedanken-Spuren), die Menschen während der Entscheidungsfindung äußerten.

Sie nutzten eine hochintelligente KI (ein Large Language Model), um als Detektiv zu fungieren. Die KI erhielt zwei Arten von Hinweisen:

• Hinweis A: Die Liste der Entscheidungen, die die Person traf.
• Hinweis B: Das Transkript dessen, was die Person sagte, während sie diese Entscheidungen traf.

Anschließend versuchte die KI, ein Computerprogramm zu schreiben, das sowohl die Entscheidungen als auch die gesprochenen Gedanken erklären konnte.

Was sie herausfanden

Die Forscher testeten dies an Menschen, die riskante Entscheidungen trafen (wie die Wahl zwischen einer sicheren kleinen Belohnung oder einer Chance auf eine große Belohnung). Folgendes geschah, als sie die „gesprochenen Gedanken" in die Mischung einbrachten:

1. Die Modelle wurden intelligenter (bessere Vorhersagen)
Wenn die KI nur die Entscheidungen nutzte, machte sie annehmbare Vorhersagen. Aber wenn sie die Entscheidungen zusammen mit den gesprochenen Gedanken nutzte, wurden die Modelle viel besser darin vorherzusagen, was die Person beim nächsten Mal tun würde. Es ist wie ein Detektiv, der einen Verbrechen aufklärt: Wenn Sie nur die Fußabdrücke sehen, könnten Sie den falschen Verdächtigen vermuten. Aber wenn Sie auch das Alibi des Verdächtigen hören, können Sie die Wahrheit viel genauer identifizieren.

2. Die Modelle änderten ihre „DNA" (strukturelle Verschiebung)
Dies ist der überraschendste Teil. Die KI passte nicht nur die Zahlen an; sie veränderte vollständig die Art der Logik, die sie verwendete, um den menschlichen Geist zu erklären.

• Ohne die gesprochenen Gedanken: Die KI ging überwiegend davon aus, dass Menschen eine „Seilzieh-Methode" anwenden. Sie nahm an, dass Menschen den Wert von Option A berechnen, den Wert von Option B berechnen und dann einfach die beiden Zahlen vergleichen, um zu sehen, welche größer ist.
• Mit den gesprochenen Gedanken: Die KI erkannte, dass bei den meisten Menschen (etwa 70 %) das Gehirn eher wie ein „Smoothie-Mixer" funktioniert. Anstatt nur zwei separate Zahlen zu vergleichen, mischten die Menschen die Zutaten (Risiko, Belohnung, Wahrscheinlichkeit) innerhalb jeder Option zunächst, blendeten sie zu einem einzigen Gefühl und trafen dann eine Entscheidung.

Die Arbeit ergab, dass bei fast 7 von 10 Menschen das Hinzufügen der gesprochenen Gedanken die KI dazu zwang, das „Seilzieh-Modell" aufzugeben und zum „Mixer-Modell" überzugehen.

Die große Erkenntnis

Der Hauptpunkt dieser Arbeit ist, dass das Zuhören, wie Menschen denken, die Karte verändert, die wir von ihren Köpfen zeichnen.

Wenn Sie nur das Ziel betrachten (die Entscheidung), könnten Sie eine Karte zeichnen, die wie eine gerade Linie aussieht. Aber wenn Sie dem Kommentar des Reisenden lauschen, erkennen Sie, dass er einen verschlungenen Weg nahm, an einer Aussicht hielt und vielleicht sogar zurückkehrte.

Durch das Hinzufügen von „Lautgedanken"-Daten erhielten die Forscher nicht nur eine etwas bessere Karte; sie entdeckten, dass das Gelände selbst anders war, als sie dachten. Die gesprochenen Worte wirkten als Einschränkung und zwangen den Computer, aufzuhören zu raten und zu beginnen, die tatsächlichen mentalen Mechanismen zu finden, die Menschen verwendeten – Mechanismen, die unsichtbar blieben, wenn man nur ihren Händen zusah.

Technische Zusammenfassung

Technische Zusammenfassung: Think-Aloud-Protokolle verändern die automatisierte Entdeckung kognitiver Modelle

Problemstellung
Reine auf Verhaltensdaten basierende rechnerische kognitive Modelle sind häufig unterbestimmt; unterschiedliche rechnerische Mechanismen können identische oder stark ähnliche Wahlmuster erzeugen, was zu erheblichen Mehrdeutigkeiten bei der Modellauswahl führt (Wilson & Collins, 2019). Während „Think-Aloud"-Protokolle seit langem genutzt werden, um prozessbezogene Schlussfolgerungen in natürlicher Sprache zu erfassen, konzentrierte sich die bisherige Forschung weitgehend auf die Validierung der Zuverlässigkeit dieser verbalen Berichte oder auf die Entwicklung von Methoden zu deren Analyse. Eine grundlegende Frage bleibt unerforscht: Können Think-Aloud-Schlussfolgerungsspuren die automatisierte Entdeckung rechnerischer Strukturen ermöglichen, die allein aus Verhaltensdaten nicht wiederherstellbar sind?

Methodik
Die Autoren nutzen ein automatisiertes Rahmenwerk zur Modellentdeckung namens GeCCo (Rmus et al., 2025), das ein Large Language Model (LLaMA-3.1-70B) verwendet, um iterativ Kandidaten für rechnerische Modelle zu generieren. Diese Modelle werden als ausführbare Funktionen definiert, die Eingaben der Aufgabe auf Entscheidungen abbilden. Das LLM wird aufgefordert, alternative Modellstrukturen vorzuschlagen, die das aktuell beste Modell verbessern, basierend auf deren Anpassung an zurückgehaltene Daten.

Die Studie wendet dieses Rahmenwerk auf einen Datensatz risikobehafteter Entscheidungsfindung an, der 72 Teilnehmer umfasst. In dieser Aufgabe treffen die Teilnehmer auf Basis des von Kahneman und Tversky (1979) etablierten Paradigmas binäre Entscheidungen über 19 Durchgänge hinweg. Das Experiment vergleicht zwei Bedingungen:

1. Nur Verhalten: Modelle werden ausschließlich unter Verwendung der Verhaltenswahldaten entdeckt.
2. Verhalten + Think-Aloud: Modelle werden unter Verwendung sowohl der Verhaltensdaten als auch der verbalisierten Schlussfolgerungsspuren der Teilnehmer als Eingabe für das LLM entdeckt.

Für jeden Teilnehmer wird der Entdeckungsprozess 10-mal mit identischen Datenaufteilungen wiederholt. Das bestpassende Modell für jede Bedingung wird basierend auf dem Bayesian Information Criterion (BIC) (Watanabe, 2013) ausgewählt, das an 10 zurückgehaltenen Durchgängen evaluiert wurde. Zur Analyse der Modellstruktur werden die entdeckten Programme in normalisierte Berechnungsgraphen umgewandelt, aus denen strukturelle Merkmale extrahiert und mittels HDBSCAN (McInnes et al., 2017) geclustert werden.

Hauptergebnisse

1. Verbesserte Vorhersageleistung: Modelle, die unter Einbeziehung von Think-Aloud-Daten entdeckt wurden, wiesen eine signifikant bessere Vorhersageleistung für Out-of-Sample-Daten auf. Ein gepaarter t-Test ergab, dass die zurückgehaltenen BIC-Werte für die Think-Aloud-Bedingung signifikant niedriger waren als für die Nur-Verhalten-Bedingung ($t(71) = -3.41, p = 0.001$). Konkret zeigten 59,7 % der Teilnehmer unter der Think-Aloud-Bedingung niedrigere BIC-Werte.
2. Systematische Umgestaltung der Modellstruktur: Die Einbeziehung von prozessbezogener Sprachdaten führte nicht lediglich zu einer Verfeinerung bestehender Modelle, sondern veränderte systematisch die strukturelle Klasse der entdeckten Mechanismen. Das Clustering identifizierte drei primäre Mechanismusfamilien: Integrierter Nutzen, Expliziter Comparator und Regelbasierter Operator.
   • Strukturelle Verschiebungen: 69,4 % der Teilnehmer wurden bei einem Wechsel von der Nur-Verhalten-Bedingung zur Think-Aloud-Bedingung verschiedenen Mechanismus-Clustern zugeordnet.
   • Spezifische Übergänge: Der auffälligste Übergang erfolgte vom Cluster Expliziter Comparator (der Nutzen berechnet und direkt vergleicht, z. B. $\Delta U = U_A - U_B$) zum Cluster Integrierter Nutzen (der Optionen transformiert und integriert, bevor ein Vergleich stattfindet).
   • Qualitative Unterschiede: Diese Übergänge repräsentieren fundamentale Änderungen in der rechnerischen Organisation (z. B. der Wechsel vom direkten Wertvergleich zu einem Prozess der Transformation und Integration von Gewinnen/Verlusten innerhalb jeder Option) und nicht nur oberflächliche Code-Variationen.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass prozessbezogene Sprachdaten eine funktionale Rolle bei der Einschränkung des Raums zulässiger rechnerischer Modelle spielen. Durch die Bereitstellung zusätzlicher Einschränkungen für die zugrunde liegenden kognitiven Mechanismen lösen Think-Aloud-Spuren die Indeterminiertheit auf, die in reinen Verhaltensdaten inhärent ist.

Die Autoren kommen zu dem Schluss, dass die Einbeziehung von Think-Aloud-Daten:

• Die Vorhersagequalität der automatisierten Modellentdeckung verbessert.
• Die Struktur entdeckter kognitiver Modelle systematisch umgestaltet, was zur Identifizierung von Mechanismusfamilien führt, die allein aus Verhalten nicht wiederherstellbar sind.
• Darauf hindeutet, dass verbale Berichte nicht nur ergänzende Daten sind, sondern entscheidend für die Aufdeckung der wahren rechnerischen Architektur menschlicher Entscheidungsfindung sind.

Die Arbeit zeigt, dass automatisierte Rahmenwerke zur Modellentdeckung natürliche Sprachspuren nutzen können, um über die Unterbestimmtheit von Verhalten hinauszugehen und distincte kognitive Mechanismen aufzudecken, die andernfalls verborgen blieben.