🤖 AI

Small Foundation Models of Human Cognition and Behaviour

Cet article démontre que si les petits modèles de fondation affinés sur des données comportementales humaines peuvent efficacement égaler les références à grande échelle pour les tâches psychologiques en distribution, seuls les modèles plus larges améliorent significativement la généralisation à de nouvelles structures de tâches, avec une performance reposant fortement sur le traitement du contenu spécifique des stimuli et des retours plutôt que sur le simple historique des choix.

Auteurs originaux : Nick Oh, Fernand Gobet

Publié 2026-08-07

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Nick Oh, Fernand Gobet

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot à penser comme un humain. Pendant des décennies, des scientifiques ont construit de minuscules « machines mentales » artisanales (comme ACT-R ou Soar) qui tentent d'expliquer exactement comment nos cerveaux prennent des décisions, étape par étape. Mais ces machines sont fragiles ; si vous changez légèrement les règles du jeu, le robot casse. Récemment, une nouvelle idée a pris le dessus : au lieu de construire une machine mentale à partir de zéro, pourquoi ne pas simplement nourrir un cerveau informatique géant et super intelligent (un Grand Modèle de Langage) avec des millions d'exemples de choix faits par de vrais humains ? Si l'ordinateur peut prédire ce qu'un humain fera ensuite, c'est peut-être qu'il a appris les « règles » de la pensée humaine. C'est le monde des « proxys cognitifs » : des modèles d'IA qui servent de substituts aux esprits humains. Mais une grande question demeure : ce cerveau géant comprend-il réellement la logique du jeu, ou n'est-il qu'un maître de la reconnaissance de formes, mémorisant des raccourcis comme un étudiant qui aurait seulement mémorisé le corrigé sans lire le manuel ?

Cet article, intitulé « Small Foundation Models of Human Cognition and Behaviour », plonge dans ce mystère. Les auteurs, Nick Oh et Fernand Gobet, ont décidé de tester si vous avez réellement besoin d'un cerveau « géant » de 70 milliards de paramètres pour imiter le comportement humain, ou si un modèle beaucoup plus petit, de « taille de poche », pourrait faire l'affaire. Ils ont entraîné quatorze modèles d'IA différents, allant du minuscule (135 millions de paramètres) au grand (14 milliards), sur un ensemble de données massif appelé Psych-101, qui contient plus de 10 millions de choix effectués par des personnes dans 160 expériences psychologiques différentes.

Voici ce qu'ils ont découvert, et c'est un véritable coup de théâtre. Premièrement, ils ont découvert que la taille n'importe pas autant qu'on pourrait le croire si vous regardez simplement les mêmes types de jeux que l'IA a déjà vus. Un modèle minuscule avec seulement 0,6 milliard de paramètres pouvait être presque aussi performant qu'un géant massif de 70 milliards de paramètres pour prédire des choix dans des expériences familières. C'est comme un petit chien agile apprenant un tour spécifique aussi vite qu'un énorme Grand Danois. Cependant, dès qu'ils ont soumis aux modèles un nouveau type de jeu (hors distribution), la taille est redevenue cruciale. Les modèles les plus grands étaient bien meilleurs pour comprendre les règles d'un jeu qu'ils n'avaient jamais vu auparavant, tandis que les petits modèles étaient confus.

Mais la partie la plus excitante concerne la manière dont ces modèles apprennent. Certains critiques craignaient que ces IA ne s'appuient que sur des corrélations spécieuses en ignorant les règles réelles du jeu et en ne regardant que l'historique des choix passés (comme deviner la prochaine carte d'un paquet en comptant simplement ce qui a déjà été joué). Pour tester cela, les auteurs ont joué à un jeu de « cache-cache » avec l'information. Ils ont systématiquement retiré des éléments de l'invite (le prompt) : ils ont caché les instructions, ils ont flouté les stimuli du jeu (les images ou les nombres), ils ont supprimé le feedback, et ils ont même brouillé l'ordre des essais.

Les résultats ont été spectaculaires. Lorsqu'ils ont flouté le contenu réel du jeu (les stimuli et le feedback), les performances des modèles se sont effondrées, tombant en dessous de ce que l'on obtiendrait par le simple hasard. Cela prouve que les modèles ne font pas que mémoriser une séquence de réponses ; ils prêtent réellement attention au contenu du jeu. De plus, lorsqu'ils ont mélangé l'ordre des essais dans un jeu où l'ordre ne devrait pas importer, les modèles n'ont pas été affectés. Mais lorsqu'ils ont mélangé un jeu où l'ordre importait, les modèles ont été confus. Cela suggère que l'IA est assez intelligente pour savoir quand la séquence des événements est importante et quand elle ne l'est pas.

En résumé, ces petits modèles affinés sont d'excellents estimateurs de « plafond de bruit ». Considérez un plafond de bruit comme un plafond de verre limitant la capacité à prédire le comportement humain. Si un modèle atteint ce plafond, cela signifie que nous avons trouvé tous les motifs prévisibles dans les données, et que toute erreur restante n'est que du « bruit » humain aléatoire. Ces petits modèles montrent que nous pouvons atteindre ce plafond sans avoir besoin d'un supercalculateur, mais ils nous rappellent aussi que ces modèles ne sont aussi bons que les jeux sur lesquels ils ont été entraînés. Ils sont brillants pour imiter le comportement humain en laboratoire, mais ils ne constituent pas encore une théorie complète du fonctionnement de l'esprit humain — ils sont un miroir très précis, mais pas la personne qui se regarde dedans.

Résumé Technique : Petits Modèles de Fondations de la Cognition et du Comportement Humain

Énoncé du Problème
Les grands modèles de langage (LLM) affinés sur des données comportementales humaines, tels que le modèle Centaur à 70 milliards de paramètres, sont apparus comme des proxies cognitifs polyvalents. Cependant, deux questions critiques restent non résolues concernant ce paradigme :

Nécessité de l'Échelle : Le nombre massif de paramètres (ex. : 70B) est-il requis pour la précision prédictive, ou est-ce un artefact de configurations d'entraînement spécifiques ?
Mécanisme d'Apprentissage : Ces modèles traitent-ils réellement la structure des tâches et les stimuli, ou exploitent-ils des raccourcis statistiques (ex. : s'appuyant uniquement sur l'historique des choix ou des modèles de prompts) pour atteindre une haute performance ?

Des travaux antérieurs ont suggéré que les modèles pourraient s'appuyer sur des « raccourcis », pourtant aucune étude n'a systématiquement décomposé le prompt pour isoler les canaux d'information spécifiques utilisés. De plus, la mesure dans laquelle ces modèles généralisent à de nouvelles structures de tâches (hors distribution - OOD) par rapport à l'ajustement à la distribution d'entraînement (en distribution - ID) reste incertaine.

Méthodologie
Les auteurs ont entraîné quatorze modèles issus de quatre familles d'architectures (Qwen3, Llama-3/3.2, SmolLM2/3, et OLMo2/3) avec des nombres de paramètres allant de 135M à 14B. Ces modèles ont été affinés sur Psych-101, un ensemble de données comprenant 10,7 millions de choix au niveau de l'essai provenant de plus de 60 000 participants à travers 160 expériences psychologiques.

L'étude a employé un design expérimental rigoureux faisant varier trois facteurs indépendamment :

Échelle du Modèle : Comparaison de modèles de 0,1B à 14B de paramètres.
Capacité de l'Adapter : Balayage des rangs LoRA ( $r$ ) de 4 à 64 pour déterminer si la capacité de l'adapter peut substituer les paramètres du modèle.
Données d'Entraînement : Utilisation de sous-ensembles imbriqués et stratifiés par expérience de Psych-101 pour isoler l'effet de la quantité de données.

Pour diagnostiquer ce que les modèles apprennent, les auteurs ont mené des tests d'ablation structurelle et de permutation à travers 32 expériences :

Décomposition du Prompt : Le prompt a été décomposé en quatre canaux d'information : Instructions de la Tâche ( $I$ ), Stimuli Expérimentaux ( $S$ ), Feedback de Résultat ( $F$ ), et Historique des Choix ( $C$ ).
Conditions d'Ablation : Les modèles ont été testés sous quatre conditions : Original, Instruction-ablatée, Contenu-masqué (remplacement de stimuli/feedback spécifiques par des marqueurs génériques), et Historique-seul.
Permutation de l'Ordre : Les ordres d'essais ont été permutés dans deux expériences — l'une avec des essais indépendants (échangeables) et l'autre avec des essais adaptatifs (non échangeables) — pour tester la sensibilité aux dépendances séquentielles.

Résultats Clés

Performance en Distribution (Psych-101) :
- L'échelle n'est pas le facteur limitant : Au sein de la distribution d'entraînement, l'échelle du modèle importe peu. Les petits modèles (0,6B à 1B de paramètres) avec des rangs d'adapter élevés (ex. : $r=32$ ) égalent ou dépassent la performance d'une base de référence de 70B.
- Substitution par l'Adapter : La capacité de l'adapter substitue le nombre de paramètres. Un modèle de 0,6B avec un rang de 64 atteint la même performance qu'un modèle de 14B avec un rang de 4, malgré 23 fois moins de paramètres.
- Rendements Décroissants : L'augmentation des données d'entraînement produit des rendements décroissants ; le gain de doubler la taille du jeu de données diminue régulièrement.
Performance Hors Distribution (Psych-201-RT) :
- L'Échelle Réapparaît : Testés sur des expériences inédites, l'écart de performance s'élargit considérablement. Les modèles plus grands démontrent un avantage clair pour la généralisation à de nouvelles structures de tâches.
- Transfert vs Ajustement : La taille du modèle est un choix concernant la capacité de transfert plutôt que l'ajustement en distribution. Le « plafond de bruit » (la meilleure prédictibilité atteignable) pour les tâches en distribution est atteint par les petits modèles, mais ce plafond ne s'étend pas aux tâches hors distribution sans une capacité plus grande.
Résultats de Diagnostic (Décomposition du Prompt) :
- Le Contenu est Critique : Masquer le contenu des stimuli et du feedback détruit 75,7 % de l'information apprise, poussant les modèles en dessous de la performance du hasard. Cela réfute l'hypothèse du raccourci « historique seul ».
- Template vs Contenu : Supprimer les instructions coûte peu (perte de 12,5 %), mais supprimer le contenu du template coûte presque tout. Les modèles dépendent de l'information spécifique fournie au participant, et non simplement du format structurel.
- Sensibilité à l'Adaptation de la Tâche : Les modèles présentent une invariance d'ordre sur les tâches à essais indépendants (échangeables) mais restent sensibles à l'ordre des essais dans les tâches adaptatives. Cela indique que les modèles apprennent la structure computationnelle des tâches spécifiques plutôt que d'appliquer un heuristique séquentiel uniforme.

Signification et Revendications
L'article avance un rôle modeste mais spécifique pour ces petits modèles affinés cognitivement :

Estimateurs de Plafond de Bruit : Ces modèles servent de limites empiriques (plafonds de bruit) pour les expériences psychologiques. Ils estiment la part du comportement prédictible dans un paradigme donné, identifiant ainsi le « fossé » où les théories interprétables actuelles font défaut. Cela s'aligne sur le concept de « minimisation du regret scientifique ».
Pas des Théories Cognitives : Les auteurs déclarent explicitement que ces modèles ne sont pas des théories de la cognition dans la tradition d'ACT-R ou de Soar. Ils ne postulent aucune architecture, ne s'engagent sur aucun mécanisme et n'expliquent pas comment un choix est généré.
Validité de l'Instrument : Les modèles sont des instruments valides car leurs prédictions reposent sur l'information réelle utilisée par les participants (stimuli et feedback), comme le prouvent les études d'ablation. Cependant, leur utilité est limitée par les paradigmes vus lors de l'entraînement ; ils ne généralisent pas de manière fiable au-delà de l'étendue de Psych-101 sans un passage à l'échelle significatif.

En conclusion, l'étude démontre que 70 milliards de paramètres ne sont pas nécessaires pour ajuster les données comportementales humaines au sein de paradigmes connus, mais que des échelles plus grandes sont requises pour le transfert vers de nouvelles structures. Les petits modèles résultants offrent un point de référence fondé sur les données pour évaluer et améliorer les théories cognitives de niveau processus, à condition que leur portée soit comprise comme une estimation de la prédictibilité plutôt que comme une explication mécaniste.

Articles similaires