Taming the Centaur(s) with LAPITHS: a framework for a theoretically grounded interpretation of AI performances

1. Énoncé du problème

L'article aborde un problème méthodologique critique dans l'IA contemporaine et les sciences cognitives : le « sophisme de l'attribution ». Ce sophisme survient lorsque les chercheurs confondent la performance comportementale de niveau humain (similarité des sorties) avec des mécanismes computationnels de type humain (plausibilité structurelle/cognitive).

Les auteurs se concentrent sur Centaur, un récent « Modèle Unifié de la Cognition » proposé par Binz et al. (2025). Centaur est un grand modèle de langage (LLM) affiné, basé sur Llama 3.1 70B, entraîné sur l'ensemble de données Psych-101 (plus de 10 millions de décisions humaines issues de 160 expériences psychologiques). Ses partisans affirment que Centaur prédit non seulement le comportement humain, mais implémente également des mécanismes cognitivement plausibles et s'aligne sur l'activité neuronale humaine (IRMf).

Les auteurs soutiennent que le succès de Centaur est probablement le résultat d'une optimisation fonctionnaliste (correspondance des statistiques entrée-sortie) plutôt que d'une homologie structurelle (partage de mécanismes cognitifs sous-jacents). Ils postulent qu'une haute précision prédictive et une corrélation neuronale n'impliquent pas nécessairement que le système possède une cognition de type humain.

2. Méthodologie : Le cadre LAPITHS

Pour évaluer rigoureusement de telles affirmations, les auteurs introduisent LAPITHS (Analyse des modèles de langage par des interprétations ancrées dans les paradigmes des thèses sur la ressemblance humaine). Ce cadre combine une analyse théorique avec une réplication empirique, centrée sur la Grille Cognitive Minimale (MCG).

A. La Grille Cognitive Minimale (MCG)

La MCG évalue les systèmes artificiels selon trois dimensions quantitatives pour déterminer la « Plausibilité Cognitive » ($PM$) :

1. Ratio Fonctionnel/Structurel (FSR) :
   • Mesure l'équilibre entre la conception fonctionnelle (correspondance des sorties) et la conception structurelle (adhésion aux théories cognitives).
   • Utilise un ensemble de contraintes structurelles ($c_1...c_k$) dérivées des sciences cognitives (par exemple, limites de la mémoire de travail, apprentissage incrémental, planification basée sur un modèle).
   • Calcule un score où un FSR faible indique une haute plausibilité structurelle, et un FSR élevé indique que le système repose sur une imitation fonctionnelle sans contraintes structurelles.
2. Généralité ($G_M$) :
   • Évalue l'étendue des domaines cognitifs couverts, basée sur la théorie des capacités cognitives Cattell–Horn–Carroll (CHC).
   • Évalue la performance dans des domaines tels que le raisonnement fluide, les connaissances quantitatives, le traitement visuel et les capacités sensorielles/motrices.
3. Correspondance de Performance ($P_{MM}$) :
   • Compare le système artificiel aux bases de référence humaines sur des tâches spécifiques en utilisant :
     • Précision : Écart par rapport à la NLL (Négatif Log-Vraisemblance) humaine.
     • Modèles d'erreurs : Reproduction des distributions d'erreurs humaines (par exemple, stratégies sans modèle vs basées sur un modèle).
     • Temps d'exécution : Alignement avec les temps de réponse humains (bien que souvent indisponible pour les LLM).

Le Score de Plausibilité Cognitive ($PM$) final est une somme pondérée de ces dimensions ($PM = \lambda \cdot FSR' + \mu \cdot G_M + \nu \cdot P_{MM}$).

B. Stratégie de réplication empirique

Les auteurs ont appliqué LAPITHS à la Tâche à Deux Étapes (TST), un paradigme d'apprentissage par renforcement canonique utilisé pour tester les stratégies basées sur un modèle par rapport aux stratégies sans modèle.

1. Réplication comportementale : Ils ont testé si des LLM standards, non affinés (utilisant la Génération Augmentée par Récupération (RAG) pour accéder aux règles de la tâche), pouvaient reproduire l'ajustement comportemental de Centaur (NLL) sur la TST.
2. Réplication neuronale : Ils ont testé si ces mêmes LLM basés sur RAG pouvaient générer des motifs d'activation de régions d'intérêt (ROI) en IRMf corrélés aux données humaines, sans affinement neuroscientifique spécifique.

3. Contributions clés

• Cadre théorique : Formalise la distinction entre l'adéquation fonctionnelle et la plausibilité cognitive, fournissant une métrique (MCG) pour quantifier le « sophisme de l'attribution ».
• Critique de Centaur : Démontre que Centaur ne parvient pas à satisfaire les contraintes structurelles clés de la cognition humaine (spécifiquement concernant l'apprentissage incrémental et les limites de mémoire), malgré sa haute précision comportementale.
• Défi empirique : Montre que l'alignement comportemental et neuronal « state-of-the-art » n'est pas exclusif aux modèles spécialisés et affinés comme Centaur, mais peut être atteint par des LLM à usage général via un simple prompting et une récupération.

4. Résultats clés

A. Analyse MCG de Centaur

• Échec structurel : Centaur a obtenu un score très faible sur le Ratio Fonctionnel/Structurel ($FSR' \approx 0,18$).
  • Il n'a pas implémenté l'apprentissage incrémental (il utilise un entraînement par lots, pas des mises à jour en ligne).
  • Il n'a pas implémenté explicitement la planification basée sur un modèle (il approxime la sortie via un passage avant sans modèle de transition interne).
  • Il n'a pas respecté les limites de la mémoire de travail (sa fenêtre de contexte est illimitée, contrairement à la capacité humaine).
• Correspondance de performance élevée : Centaur a obtenu une $P_{MM}$ élevée ($0,83$) car il a été explicitement entraîné pour correspondre aux choix humains.
• Plausibilité globale : Le score composite était faible ($PM = 0,39$), indiquant que si Centaur est un bon prédicteur, c'est un mauvais modèle cognitif.

B. Réplication comportementale (NLL)

• RAG vs Affinage : Plusieurs LLM à usage général (Llama Maverick, GPT-4o, GPT-5.1) équipés de RAG (accédant aux règles de la tâche) ont obtenu des scores NLL comparables à ceux de Centaur.
• Signification statistique :
  • Llama Maverick (RAG) : NLL $\approx 0,54$ contre NLL Centaur $\approx 0,51$. La différence n'était pas statistiquement significative ($p \approx 0,095$).
  • D'autres modèles (GPT-5.1, Gemini-2.5) n'ont montré que des différences marginales, statistiquement significatives par rapport à Centaur, mais tous ont nettement surpassé la base Llama 3.1 et les modèles cognitifs standards.
• Conclusion : Un affinage spécialisé n'est pas strictement nécessaire pour obtenir un ajustement comportemental de niveau humain sur cette tâche.

C. Alignement neuronal (IRMf)

• Corrélation élevée sans entraînement : Les LLM basés sur RAG (par exemple, Gemini-2.5 Pro, Llama Maverick) ont généré des vecteurs bêta ROI montrant une corrélation très élevée avec les données IRMf humaines (Pearson $r \approx 0,93$, Similarité Cosinus $\approx 0,98$).
• Comparaison avec Centaur : Ces valeurs étaient significativement plus élevées que la corrélation maximale rapportée pour Centaur dans l'étude originale ($r \approx 0,37$).
• Implication : Un alignement représentationnel élevé avec l'activité cérébrale humaine peut être atteint par des modèles généraux simplement en traitant la structure de la tâche, sans avoir besoin d'un affinage « neuronal ». Cela suggère que la similarité représentationnelle est un indicateur faible du mécanisme cognitif.

5. Importance et conclusion

L'article conclut que les réalisations de modèles comme Centaur sont surinterprétées.

• Adéquation comportementale $\neq$ Plausibilité cognitive : Une haute précision prédictive et même une forte corrélation neuronale ne prouvent pas qu'un système implémente des mécanismes cognitifs de type humain.
• Le danger de l'attribution : Attribuer des théories cognitives aux systèmes d'IA uniquement sur la base de la correspondance des sorties conduit au « sophisme de l'attribution », où l'IA est confondue avec un véritable modèle de l'esprit.
• Orientation future : Les auteurs préconisent un changement dans l'évaluation de l'IA, passant de benchmarks purement axés sur la performance à des critères théoriquement fondés (comme la MCG) qui imposent des contraintes structurelles (limites de mémoire, dynamiques d'apprentissage, incarnation).
• Cœur cognitif minimal : Ils proposent le développement d'un « Cœur Cognitif Minimal » pour l'IA future, garantissant que les rôles fonctionnels sont réalisés au sein de systèmes respectant les contraintes architecturales de la cognition biologique.

En essence, l'article soutient que si Centaur est un puissant émulateur comportemental, il n'est pas un modèle cognitif, et une performance similaire peut être atteinte par des systèmes moins spécialisés, rendant l'affirmation d'« alignement cognitif » théoriquement sous-déterminée.