Taming the Centaur(s) with LAPITHS: a framework for a theoretically grounded interpretation of AI performances

1. Probleemstelling

Het artikel adresseert een kritieke methodologische kwestie in de hedendaagse AI en cognitiewetenschap: de "Ascription Fallacy" (Toeschrijvingsdwaling). Deze dwaling treedt op wanneer onderzoekers menselijk niveau van gedragsprestatie (output-相似heid) verwarren met menselijke computationele mechanismen (structurele/cognitieve plausibiliteit).

De auteurs richten zich op Centaur, een recent "Unified Model of Cognition" voorgesteld door Binz et al. (2025). Centaur is een fijn afgestemd Groot Taalmodel (LLM, gebaseerd op Llama 3.1 70B) getraind op de Psych-101 dataset (meer dan 10 miljoen menselijke beslissingen uit 160 psychologische experimenten). Voorstanders claimen dat Centaur niet alleen menselijk gedrag voorspelt, maar ook cognitief plausibele mechanismen implementeert en overeenkomt met menselijke neurale activiteit (fMRI).

De auteurs betogen dat het succes van Centaur waarschijnlijk het resultaat is van functionalistische optimalisatie (het matchen van input-output statistieken) in plaats van structurele homologie (het delen van onderliggende cognitieve mechanismen). Zij stellen dat hoge voorspellende nauwkeurigheid en neurale correlatie niet noodzakelijkerwijs impliceren dat het systeem menselijke cognitie bezit.

2. Methodologie: Het LAPITHS Framework

Om dergelijke claims rigoureus te evalueren, introduceren de auteurs LAPITHS (Language-model Analysis through Paradigm-grounded Interpretations of Theses about Human-likenesS). Dit framework combineert theoretische analyse met empirische replicatie, gecentreerd rond de Minimal Cognitive Grid (MCG).

A. De Minimal Cognitive Grid (MCG)

De MCG evalueert kunstmatige systemen over drie kwantitatieve dimensies om "Cognitieve Plausibiliteit" ($PM$) te bepalen:

1. Functioneel/Structureel Ratio (FSR):
   • Meet de balans tussen functioneel ontwerp (output-matching) en structureel ontwerp (naleving van cognitieve theorieën).
   • Gebruikt een set structurele beperkingen ($c_1...c_k$) afgeleid uit de cognitiewetenschap (bijv. werkgeheugenlimieten, incrementeel leren, modelgebaseerd plannen).
   • Berekent een score waarbij een lage FSR wijst op hoge structurele plausibiliteit, en een hoge FSR aangeeft dat het systeem vertrouwt op functionele nabootsing zonder structurele beperkingen.
2. Generaliteit ($G_M$):
   • Beoordeelt de breedte van de gedekte cognitieve domeinen, gebaseerd op de Cattell–Horn–Carroll (CHC) theorie van cognitieve vaardigheden.
   • Evalueert prestaties over domeinen zoals Fluid Reasoning, Quantitative Knowledge, Visual Processing en Sensory/Motor abilities.
3. Prestatie Match ($P_{MM}$):
   • Vergelijkt het kunstmatige systeem met menselijke baselines op specifieke taken met behulp van:
     • Nauwkeurigheid: Afwijking van menselijke Negative Log-Likelihood (NLL).
     • Foutpatronen: Replicatie van menselijke foutdistributies (bijv. model-vrije versus model-gebaseerde strategieën).
     • Uitvoeringstijd: Uitlijning met menselijke responstijden (hoewel vaak niet beschikbaar voor LLM's).

De uiteindelijke Cognitieve Plausibiliteit Score ($PM$) is een gewogen som van deze dimensies ($PM = \lambda \cdot FSR' + \mu \cdot G_M + \nu \cdot P_{MM}$).

B. Empirische Replicatiestrategie

De auteurs pasten LAPITHS toe op de Two-Step Task (TST), een canoniek versterkingsleerparadigma dat wordt gebruikt om model-gebaseerde versus model-vrije strategieën te testen.

1. Gedragsreplicatie: Zij testten of standaard, niet-fijn afgestemde LLM's (met behulp van Retrieval-Augmented Generation (RAG) om toegang te krijgen tot taakregels) het gedragsfit van Centaur (NLL) op de TST konden repliceren.
2. Neurale Replicatie: Zij testten of dezezelfde RAG-gebaseerde LLM's fMRI Region of Interest (ROI) activatiepatronen konden genereren die correleren met menselijke data, zonder specifieke neurowetenschappelijke fijnafstelling.

3. Belangrijkste Bijdragen

• Theoretisch Framework: Formaliseert het onderscheid tussen functionele adequaatheid en cognitieve plausibiliteit, en biedt een metriek (MCG) om de "Ascription Fallacy" te kwantificeren.
• Kritiek op Centaur: Demonstreert dat Centaur faalt om belangrijke structurele beperkingen van menselijke cognitie te voldoen (specifiek met betrekking tot incrementeel leren en geheugenlimieten), ondanks zijn hoge gedragsnauwkeurigheid.
• Empirische Uitdaging: Toont aan dat "state-of-the-art" gedrags- en neurale uitlijning niet uniek is voor gespecialiseerde, fijn afgestemde modellen zoals Centaur, maar bereikt kan worden door algemene LLM's via eenvoudige prompting en retrieval.

4. Belangrijkste Resultaten

A. MCG Analyse van Centaur

• Structureel Falen: Centaur scoorde zeer laag op de Functioneel/Structureel Ratio ($FSR' \approx 0.18$).
  • Het slaagde er niet in incrementeel leren te implementeren (het gebruikt batch-training, geen online updates).
  • Het slaagde er niet in model-gebaseerd plannen expliciet te implementeren (het benadert de output via een forward pass zonder een intern transitie-model).
  • Het slaagde er niet in werkgeheugenlimieten te respecteren (zijn contextvenster is onbegrensd, in tegenstelling tot menselijke capaciteit).
• Hoge Prestatie Match: Centaur behaalde een hoge $P_{MM}$ ($0.83$) omdat het expliciet getraind was om menselijke keuzes te matchen.
• Totale Plausibiliteit: De samengestelde score was laag ($PM = 0.39$), wat aangeeft dat terwijl Centaur een goede voorspeller is, het een slecht cognitief model is.

B. Gedragsreplicatie (NLL)

• RAG versus Fijnafstelling: Verscheidene algemene LLM's (Llama Maverick, GPT-4o, GPT-5.1) uitgerust met RAG (toegang tot taakregels) behaalden NLL-scores vergelijkbaar met Centaur.
• Statistische Significantie:
  • Llama Maverick (RAG): NLL $\approx 0.54$ versus Centaur NLL $\approx 0.51$. Het verschil was niet statistisch significant ($p \approx 0.095$).
  • Andere modellen (GPT-5.1, Gemini-2.5) toonden slechts marginale, statistisch significante verschillen in vergelijking met Centaur, maar presteerden allemaal significant beter dan de Llama 3.1 baseline en standaard cognitieve modellen.
• Conclusie: Gespecialiseerde fijnafstelling is niet strikt noodzakelijk om menselijk niveau van gedragsfit op deze taak te bereiken.

C. Neurale Uitlijning (fMRI)

• Hoge Correlatie zonder Training: RAG-gebaseerde LLM's (bijv. Gemini-2.5 Pro, Llama Maverick) genereerden ROI beta-vector die zeer hoge correlatie toonden met menselijke fMRI-data (Pearson $r \approx 0.93$, Cosine Similarity $\approx 0.98$).
• Vergelijking met Centaur: Deze waarden waren significant hoger dan de piekcorrelatie gerapporteerd voor Centaur in het oorspronkelijke onderzoek ($r \approx 0.37$).
• Implicatie: Hoge representatieve uitlijning met menselijke hersenactiviteit kan worden bereikt door algemene modellen simpelweg door de taakstructuur te verwerken, zonder "neurale" fijnafstelling. Dit suggereert dat representatieve gelijkenis een zwakke indicator is van cognitief mechanisme.

5. Betekenis en Conclusie

Het artikel concludeert dat de prestaties van modellen zoals Centaur over-geïnterpreteerd zijn.

• Gedragsadequaatheid $\neq$ Cognitieve Plausibiliteit: Hoge voorspellende nauwkeurigheid en zelfs hoge neurale correlatie bewijzen niet dat een systeem menselijke cognitieve mechanismen implementeert.
• Het Gevaar van Toeschrijving: Het toeschrijven van cognitieve theorieën aan AI-systemen uitsluitend op basis van output-matching leidt tot de "Ascription Fallacy", waarbij de AI wordt verward met een echt model van de geest.
• Toekomstige Richting: De auteurs pleiten voor een verschuiving in AI-evaluatie van puur prestatie-gedreven benchmarks naar theoretisch onderbouwde criteria (zoals de MCG) die structurele beperkingen afdwingen (geheugenlimieten, leerdynamiek, belichaming).
• Minimaal Cognitief Kader: Zij stellen de ontwikkeling van een "Minimaal Cognitief Kader" voor toekomstige AI voor, waarbij ervoor wordt gezorgd dat functionele rollen worden gerealiseerd binnen systemen die de architecturale beperkingen van biologische cognitie respecteren.

Kortom, het artikel betoogt dat terwijl Centaur een krachtige gedrags-emulator is, het geen cognitief model is, en dat vergelijkbare prestaties bereikt kunnen worden door minder gespecialiseerde systemen, waardoor de claim van "cognitieve uitlijning" theoretisch onderbepaald is.