Taming the Centaur(s) with LAPITHS: a framework for a theoretically grounded interpretation of AI performances

1. Problemstellung

Das Papier adressiert ein kritisches methodisches Problem in der zeitgenössischen KI und Kognitionswissenschaft: den „Ascription Fallacy" (Fehlschluss der Zuschreibung). Dieser Fehlschluss tritt auf, wenn Forscher menschliches Verhaltensniveau (Ähnlichkeit der Ausgabe) mit menschenähnlichen rechnerischen Mechanismen (strukturelle/kognitive Plausibilität) verwechseln.

Die Autoren konzentrieren sich auf Centaur, ein kürzlich vorgestelltes „Unified Model of Cognition" von Binz et al. (2025). Centaur ist ein feinabgestimmtes Large Language Model (LLM, basierend auf Llama 3.1 70B), das auf dem Psych-101-Datensatz (über 10 Millionen menschliche Entscheidungen aus 160 psychologischen Experimenten) trainiert wurde. Befürworter behaupten, Centaur nicht nur menschliches Verhalten vorherzusagen, sondern auch kognitiv plausible Mechanismen zu implementieren und mit menschlicher neuronaler Aktivität (fMRI) übereinzustimmen.

Die Autoren argumentieren, dass der Erfolg von Centaur wahrscheinlich das Ergebnis einer funktionalistischen Optimierung (Abgleich der Eingabe-Ausgabe-Statistik) und nicht einer strukturellen Homologie (gemeinsame zugrundeliegende kognitive Mechanismen) ist. Sie gehen davon aus, dass hohe Vorhersagegenauigkeit und neuronale Korrelation nicht notwendigerweise implizieren, dass das System menschenähnliche Kognition besitzt.

2. Methodik: Das LAPITHS-Rahmenwerk

Um solche Behauptungen rigoros zu bewerten, führen die Autoren LAPITHS (Language-model Analysis through Paradigm-grounded Interpretations of Theses about Human-likenesS) ein. Dieses Rahmenwerk kombiniert theoretische Analyse mit empirischer Replikation und konzentriert sich auf die Minimal Cognitive Grid (MCG).

A. Die Minimal Cognitive Grid (MCG)

Die MCG bewertet künstliche Systeme über drei quantitative Dimensionen, um die „kognitive Plausibilität" ($PM$) zu bestimmen:

1. Verhältnis von Funktion zu Struktur (FSR):
   • Misst das Gleichgewicht zwischen funktionalem Design (Abgleich der Ausgabe) und strukturellem Design (Einhaltung kognitiver Theorien).
   • Verwendet eine Reihe struktureller Constraints ($c_1...c_k$), die aus der Kognitionswissenschaft abgeleitet sind (z. B. Grenzen des Arbeitsgedächtnisses, inkrementelles Lernen, modellbasierte Planung).
   • Berechnet einen Score, wobei ein niedriger FSR eine hohe strukturelle Plausibilität anzeigt und ein hoher FSR darauf hindeutet, dass das System auf funktionale Nachahmung ohne strukturelle Constraints zurückgreift.
2. Allgemeingültigkeit ($G_M$):
   • Bewertet die Breite der abgedeckten kognitiven Domänen basierend auf der CHC-Theorie (Cattell–Horn–Carroll) kognitiver Fähigkeiten.
   • Bewertet die Leistung in Domänen wie fluide Intelligenz, quantitatives Wissen, visuelle Verarbeitung und sensorisch-motorische Fähigkeiten.
3. Leistungsabgleich ($P_{MM}$):
   • Vergleicht das künstliche System mit menschlichen Baselines bei spezifischen Aufgaben unter Verwendung von:
     • Genauigkeit: Abweichung von der menschlichen Negative Log-Likelihood (NLL).
     • Fehlermuster: Replikation menschlicher Fehlerverteilungen (z. B. modellfreie vs. modellbasierte Strategien).
     • Ausführungszeit: Übereinstimmung mit menschlichen Reaktionszeiten (obwohl dies für LLMs oft nicht verfügbar ist).

Der endgültige Score für kognitive Plausibilität ($PM$) ist eine gewichtete Summe dieser Dimensionen ($PM = \lambda \cdot FSR' + \mu \cdot G_M + \nu \cdot P_{MM}$).

B. Strategie der empirischen Replikation

Die Autoren wandten LAPITHS auf die Two-Step Task (TST) an, ein kanonisches Paradigma des verstärkenden Lernens, das zur Prüfung modellbasierter gegenüber modellfreier Strategien verwendet wird.

1. Verhaltensreplikation: Sie testeten, ob Standard-LLMs ohne Feinabstimmung (unter Verwendung von Retrieval-Augmented Generation (RAG) zum Zugriff auf Aufgabenregeln) den Verhaltensabgleich (NLL) von Centaur bei der TST replizieren konnten.
2. Neuronale Replikation: Sie testeten, ob dieselben RAG-basierten LLMs fMRI-Region-of-Interest (ROI)-Aktivierungsmuster generieren konnten, die mit menschlichen Daten korrelieren, ohne spezifische neurowissenschaftliche Feinabstimmung.

3. Hauptbeiträge

• Theoretisches Rahmenwerk: Formalisiert die Unterscheidung zwischen funktionaler Angemessenheit und kognitiver Plausibilität und liefert eine Metrik (MCG), um den „Ascription Fallacy" zu quantifizieren.
• Kritik an Centaur: Zeigt auf, dass Centaur trotz seiner hohen Verhaltensgenauigkeit wesentliche strukturelle Constraints menschlicher Kognition (insbesondere bezüglich inkrementellem Lernen und Gedächtnisgrenzen) nicht erfüllt.
• Empirische Herausforderung: Belegt, dass ein „state-of-the-art"-Abgleich von Verhalten und Neuronen nicht einzigartig für spezialisierte, feinabgestimmte Modelle wie Centaur ist, sondern von allgemeinen LLMs durch einfaches Prompting und Retrieval erreicht werden kann.

4. Hauptergebnisse

A. MCG-Analyse von Centaur

• Strukturelles Versagen: Centaur erzielte einen sehr niedrigen Wert beim Verhältnis von Funktion zu Struktur ($FSR' \approx 0,18$).
  • Es scheiterte an der Implementierung von inkrementellem Lernen (es verwendet Batch-Training, keine Online-Aktualisierungen).
  • Es scheiterte an der expliziten Implementierung von modellbasierter Planung (es approximiert die Ausgabe über einen Forward-Pass ohne internes Übergangsmodell).
  • Es respektierte keine Grenzen des Arbeitsgedächtnisses (sein Kontextfenster ist unbegrenzt, im Gegensatz zur menschlichen Kapazität).
• Hoher Leistungsabgleich: Centaur erreichte einen hohen $P_{MM}$ ($0,83$), da es explizit darauf trainiert wurde, menschliche Entscheidungen abzugleichen.
• Gesamtplausibilität: Der zusammengesetzte Score war niedrig ($PM = 0,39$), was darauf hindeutet, dass Centaur zwar ein guter Prädiktor, aber ein schlechtes kognitives Modell ist.

B. Verhaltensreplikation (NLL)

• RAG vs. Feinabstimmung: Mehrere allgemeine LLMs (Llama Maverick, GPT-4o, GPT-5.1), die mit RAG ausgestattet waren (Zugriff auf Aufgabenregeln), erzielten NLL-Scores, die mit denen von Centaur vergleichbar waren.
• Statistische Signifikanz:
  • Llama Maverick (RAG): NLL $\approx 0,54$ vs. Centaur NLL $\approx 0,51$. Der Unterschied war nicht statistisch signifikant ($p \approx 0,095$).
  • Andere Modelle (GPT-5.1, Gemini-2.5) zeigten nur marginale, statistisch signifikante Unterschiede im Vergleich zu Centaur, übertrafen jedoch alle signifikant die Llama 3.1-Baseline und Standard-Kognitionsmodelle.
• Fazit: Eine spezialisierte Feinabstimmung ist für diesen Aufgabenbereich nicht zwingend erforderlich, um einen menschlichen Verhaltensabgleich zu erreichen.

C. Neuronale Ausrichtung (fMRI)

• Hohe Korrelation ohne Training: RAG-basierte LLMs (z. B. Gemini-2.5 Pro, Llama Maverick) generierten ROI-Beta-Vektoren, die eine sehr hohe Korrelation mit menschlichen fMRI-Daten zeigten (Pearson $r \approx 0,93$, Kosinus-Ähnlichkeit $\approx 0,98$).
• Vergleich mit Centaur: Diese Werte waren signifikant höher als die in der Originalstudie für Centaur berichtete Spitzenkorrelation ($r \approx 0,37$).
• Implikation: Eine hohe repräsentationale Ausrichtung mit menschlicher Gehirnaktivität kann von allgemeinen Modellen allein durch die Verarbeitung der Aufgabenstruktur erreicht werden, ohne dass eine „neurale" Feinabstimmung erforderlich ist. Dies legt nahe, dass repräsentationale Ähnlichkeit ein schwacher Indikator für kognitive Mechanismen ist.

5. Bedeutung und Fazit

Das Papier kommt zu dem Schluss, dass die Leistungen von Modellen wie Centaur überinterpretiert werden.

• Verhaltensangemessenheit $\neq$ Kognitive Plausibilität: Hohe Vorhersagegenauigkeit und sogar hohe neuronale Korrelation beweisen nicht, dass ein System menschenähnliche kognitive Mechanismen implementiert.
• Die Gefahr der Zuschreibung: Die Zuschreibung kognitiver Theorien an KI-Systeme allein basierend auf dem Abgleich der Ausgabe führt zum „Ascription Fallacy", bei dem die KI fälschlicherweise für ein echtes Modell des Geistes gehalten wird.
• Zukunftsrichtung: Die Autoren plädieren für einen Wandel in der KI-Evaluation von rein leistungsgetriebenen Benchmarks hin zu theoretisch fundierten Kriterien (wie der MCG), die strukturelle Constraints (Gedächtnisgrenzen, Lern dynamiken, Embodiment) durchsetzen.
• Minimaler kognitiver Kern: Sie schlagen die Entwicklung eines „Minimalen Kognitiven Kerns" für zukünftige KI vor, um sicherzustellen, dass funktionale Rollen innerhalb von Systemen realisiert werden, die die architektonischen Constraints biologischer Kognition respektieren.

Im Wesentlichen argumentiert das Papier, dass Centaur zwar ein leistungsfähiger Verhaltens-Emulator ist, aber kein kognitives Modell, und dass ähnliche Leistungen von weniger spezialisierten Systemen erreicht werden können, wodurch die Behauptung einer „kognitiven Ausrichtung" theoretisch unterbestimmt wird.