Meta-learning ecological priors from large language models explains human learning and decision making

Problemstellung
Die menschliche Kognition wird tiefgreifend durch die Umgebungen beeinflusst, in denen sie operiert, doch es bleibt eine offene Frage, ob Lernen und Entscheidungsfindung als eine prinzipielle Anpassung an die statistische Struktur realweltlicher Aufgaben erklärt werden können. Zwei dominante Frameworks versuchen dies zu adressieren: die rationale Analyse, welche optimale Strategien aus formalen Umweltmodellen ableitet, jedoch Schwierigkeiten mit komplexen, undefinierten Umgebungen hat, und die ökologische Rationalität, die auf handgefertigten Heuristiken basiert, welche auf spezifische Aufgabenstrukturen abgestimmt sind, aber keinen prinzipiellen Weg zur Ableitung dieser Heuristiken in neuartigen Domänen besitzt. Die zentrale Herausforderung besteht darin, ein computationales Framework zu entwickeln, das die normativen Grundlagen der rationalen Analyse mit der ökologischen Fundierung realer Aufgaben vereint, ohne dass Forscher manuelle Spezifikationen für Umweltverteilungen vornehmen oder spezifische Heuristiken entwerfen müssen.

Methodik: Ökologisch rationale Analyse und ERMI
Die Autoren führen die Ökologisch rationale Analyse ein, ein Framework, das Large Language Models (LLMs) und Meta-Lernen nutzt, um computationale Modelle der menschlichen Kognition abzuleiten. Der Ansatz besteht aus drei Hauptphasen:

1. Skalierbare Aufgaben-Generierung via LLMs: Die Autoren nutzen LLMs (speziell CLAUDE-V2) als generative Motoren, um skalierbare, ökologisch valide kognitive Aufgaben zu erstellen. Dies ist ein zweistufiger Prozess:

   • Feature-Synthese: Das LLM generiert plausible Aufgabenmerkmale (Features) und Zielgrößen (Targets) (z. B. die Abbildung von „Natrium, Fett, Protein“ auf die Kategorien „gesund/ungesund“).
   • Datengenerierung: Das LLM generiert entsprechende Input-Target-Paare, die konsistent mit diesen Merkmalen sind, wodurch Datensätze entstehen, welche die statistischen Regelmäßigkeiten natürlicher Problemlösungsräume approximieren.
   • Validierung: Die generierten Aufgaben werden statistisch mit Realwelt-Datensätzen (z. B. OpenML-CC18, reale Regressionsaufgaben) verglichen, um die ökologische Validität zu verifizieren. Zu den Metriken gehören Klassifikationsgenauigkeit, Feature-Korrelation, Sparsity (Gini-Koeffizient) und Linearität.

2. Meta-Lernen für In-Context-Inferenz: Die Autoren trainieren neuronale Netze (speziell Transformer-basierte Architekturen) auf diesen LLM-generierten Aufgaben mittels Meta-Lernens. Das Ziel ist die Ableitung von Modellen der Ecologically Rational Meta-learned Inference (ERMI). Diese Modelle lernen, In-Context-Learning zu betreiben: Sie passen sich der Struktur eines neuen Problems an, indem sie interne Aktivierungen basierend auf einer Sequenz von Input-Output-Beispielen modifizieren, ohne ihre Parameter zu aktualisieren. Dieser Prozess ermöglicht es den Modellen, die „ökologischen Priors“ (statistische Regelmäßigkeiten) der Trainingsverteilung zu internalisieren und somit eine Bayes-optimale Inferenz unter Berücksichtigung dieser Statistiken zu approximieren.

3. Evaluierung gegenüber menschlichem Verhalten: Die Performance von ERMI wird in 15 Experimenten über drei kognitive Domänen hinweg evaluiert: Funktionslernen, Kategorielernen und Entscheidungsfindung. Die Modelle werden auf ihre Fähigkeit getestet, charakteristische Verhaltenssignaturen (z. B. Lernkurven, Generalisierungsmuster, Strategiewechsel) zu replizieren, und werden gegen etablierte kognitive Modelle (z. B. Rational Model of Categorization, Generalized Context Model, regelbasierte Modelle) sowie Meta-Learned Inference-Modelle mit handgefertigten Priors (MI) verglichen.

Zentrale Beiträge

• Ein neues Framework: Der Vorschlag der „Ökologisch rationalen Analyse“, die rationale Analyse und ökologische Rationalität synthetisiert, indem sie die automatisierte Ableitung adaptiver Strategien aus der statistischen Struktur natürlicher Umgebungen ermöglicht.
• ERMI-Modelle: Die Entwicklung einer neuen Klasse von Lernalgorithmen (ERMI), die ökologische Priors durch Meta-Lernen auf LLM-generierten Aufgaben internalisieren und so die Notwendigkeit handgefertigter Heuristiken oder expliziter Parameter-Updates während der Inferenz eliminieren.
• Empirische Validierung: Der Nachweis, dass ERMI menschliches Verhalten über diverse Domänen hinweg erfasst, dabei etablierte kognitive Modelle in der Vorhersage von Trial-by-Trial-Daten übertrifft.
• Methodische Innovation: Die Nutzung von LLMs nicht als direkte Verhaltensmodelle, sondern als Werkzeuge zur Generierung der ökologischen Priors, die für das Training adaptiver computationaler Modelle notwendig sind.

Ergebnisse

• Ökologische Validität: LLM-generierte Aufgaben spiegelten erfolgreich die statistischen Eigenschaften von Realwelt-Daten wider, einschließlich der Verteilungen von Funktionstypen (linear, exponentiell etc.), Feature-Korrelationen und Sparsity.
• Funktionslernen: ERMI replizierte fünf charakteristische menschliche Befunde: (i) besseres Lernen positiver linearer Funktionen als negativer Funktionen; (ii) schnelleres Lernen linearer vs. nichtlinearer Funktionen; (iii) überlegenes Lernen monotoner vs. nicht-monotoner Funktionen; (iv) leichteres Lernen nicht-zyklischer vs. zyklischer Funktionen; und (v) bessere Leistung bei Interpolation im Vergleich zu Extrapolation. ERMI zeigte zudem den menschenähnlichen Bias, Werte bei der Extrapolation zu unterschätzen (Bias in Richtung Null-Offset) und lieferte eine bessere Anpassung an menschliche Daten als Meta-Learned Inference mit handgefertigten Priors.
• Kategorielernen: ERMI erfasste die Schwierigkeitsordnung der sechs Kategorietypen nach Shepard (TYPE 1–6) und übertraf konkurrierende Modelle in der Erklärung menschlicher Entscheidungen (höchste Posterior-Modellfrequenz). Es modellierte zudem erfolgreich den menschlichen Strategiewechsel vom Prototyp-basierten zum Exemplar-basierten Lernen über die Zeit und replizierte menschliche Generalisierungsmuster auf ungesehene Inputs.
• Entscheidungsfindung: In Paarvergleichsaufgaben passte ERMI seine Entscheidungsstrategie basierend auf der statistischen Struktur der Umgebung an (Ranking, Richtung oder unbekannte Bedingungen) und implementierte jeweils eine One-Reason-, Equal-Weighting- oder Weighted-Additive-Strategie, was dem menschlichen Verhalten entspricht. ERMI erklärte menschliche Antworten häufiger als Baseline-Modelle (Single-cue, Equal-weighting, Neural Networks und MI).

Bedeutung und Ansprüche
Das Paper behauptet, dass eine adaptive Abstimmung auf die statistische Struktur ökologisch valider Umgebungen ausreicht, um ein breites Spektrum menschlichen Lern- und Entscheidungsverhaltens zu erklären.

Die Autoren argumentieren, dass die menschliche Kognition möglicherweise keine komplexen, domänenspezifischen Heuristiken benötigt, die von Forschern entworfen wurden, sondern vielmehr aus einer Abstimmung auf die statistischen Regelmäßigkeiten der Welt hervorgeht. Durch die Verwendung von LLMs, um diese Regelmäßigkeiten in Trainingsdaten zu destillieren, demonstriert ERMI, dass General-Purpose-Systeme widerspiegeln können, wie Menschen lernen, kategorisieren und entscheiden. Die Arbeit legt nahe, dass ein Großteil der menschlichen Kognition eine „ideale statistische Inferenz“ unter den Beschränkungen natürlicher Aufgabenstrukturen darstellt.

Die Autoren bleiben hinsichtlich der Reichweite ihrer Ansprüche bescheiden und merken an, dass die Reduzierung der Last der Handfertigung von Priors durch ERMI nicht die Notwendigkeit wissenschaftlicher Urteilskraft bei der Feature-Selektion eliminiert. Sie räumen ein, dass zukünftige Arbeiten bestimmen müssen, ob zusätzliche Komponenten (z. B. spezifische kognitive Beschränkungen wie Arbeitsgedächtnislimits oder teilnehmerspezifische Faktoren) erforderlich sind, um menschliches Verhalten vollständig zu erklären, insbesondere in Fällen, in denen Menschen von idealer Inferenz abweichen. Das Paper postuliert, dass dieses Framework einen skalierbaren Pfad zum Verständnis der ökologischen Wurzeln der Kognition bietet, der potenziell auf verkörperte, hochdimensionale Umgebungen ausgeweitet werden kann.