Naturalistic Computational Cognitive Science: Towards generalizable models and theories that capture the full range of natural behavior

Résumé technique : Science cognitive computationnelle naturaliste

Énoncé du problème
La science cognitive fait face à un défi persistant dans la construction de théories généralisables couvrant l'ensemble des situations et comportements naturels. Bien que les approches traditionnelles aient cherché des modèles généralisables (par exemple, le connexionnisme, l'inférence bayésienne, les architectures cognitives), un débat substantiel existe quant à savoir si les théories actuelles sont adéquatement contraintes ou capables de généraliser au-delà des paradigmes expérimentaux simplifiés. Les auteurs soutiennent qu'une dépendance aux stimuli et tâches simplifiés peut conduire à des théories qui échouent à capturer les mécanismes computationnels engagés par l'intelligence naturelle. De plus, le domaine manque d'infrastructure pour tester systématiquement des modèles sur un large spectre de conditions naturalistes, conduisant à des résultats fragmentés qui résistent à l'intégration.

Méthodologie et stratégie de recherche
L'article propose une stratégie de recherche qualifiée de « Science cognitive computationnelle naturaliste ». Cette approche ne préconise pas l'abandon des expériences simplifiées, mais plutôt leur extension en augmentant la validité écologique tout en maintenant le contrôle expérimental. La méthodologie est structurée autour de trois piliers fondamentaux :

1. Élargissement des paradigmes expérimentaux : Les auteurs suggèrent d'élargir les paramètres expérimentaux pour mieux couvrir l'étendue des distributions naturelles. Cela implique :

   • L'expansion des paramètres existants : par exemple, augmenter l'ensemble des catégories dans la classification d'objets pour inclure des objets de la vie quotidienne.
   • L'ajout de paramètres motivés écologiquement : par exemple, tester des jugements linguistiques à la fois dans les modalités parlées et écrites, ou introduire des agents sociaux et des environnements partiellement observables.
   • Manipulation paramétrique de données naturalistes : Utiliser l'IA générative et des environnements virtuels (par exemple, Minecraft 2D, la réalité virtuelle) pour créer des stimuli qui préservent la variation naturelle tout en permettant une manipulation paramétrique contrôlée de caractéristiques spécifiques (par exemple, découpler la forme et la texture dans des images naturelles) pour tester des hypothèses.

2. Développement de modèles performants et généralisables : S'appuyant sur les pratiques d'ingénierie du Machine Learning (ML), les auteurs préconisent :

   • Des méta-benchmarks dynamiques : Aller au-delà des jeux de données statiques vers des « collections vivantes » de benchmarks que les chercheurs étendent continuellement. Ces benchmarks doivent tester des facettes spécifiques d'une capacité cognitive (par exemple, la dépendance à la forme versus la texture) et évoluer pour inclure de nouvelles hypothèses et variations naturalistes.
   • Développement itératif : Séparer la conception du modèle de la conception de la tâche pour éviter le surajustement. Les modèles doivent être développés sur des tâches simplifiées mais validés rigoureusement sur des contextes de plus en plus naturalistes.
   • Reproductibilité sans friction : Adopter des protocoles d'évaluation standardisés, un accès aux données via une seule ligne de code (par exemple, via Hugging Face) et des philosophies de code « fichier unique » pour permettre une itération collective rapide et la réutilisation des artefacts de recherche.

3. Construction théorique par réduction : Les auteurs proposent une structure de théorie à double composante :

   • Composante 1 : Des modèles performants (prédictifs) qui reproduisent le comportement humain sur un large éventail de stimuli et de paradigmes naturalistes.
   • Composante 2 : Des explications réductrices qui relient ces modèles complexes à des mécanismes plus simples, des propriétés des données ou des théories formelles (par exemple, l'analyse rationnelle, les modèles bayésiens). Cela implique d'utiliser l'analyse mécaniste (par exemple, la recherche d'alignement distribuée) et l'analyse des propriétés des données pour dériver des explications normatives sur la raison pour laquelle les modèles se comportent comme ils le font.

Principales conclusions et preuves examinées
L'article synthétise des preuves issues des neurosciences, de la science cognitive et de l'IA pour démontrer la nécessité d'approches naturalistes :

• Changement des mécanismes computationnels : Les contextes naturalistes exposent des défis computationnels différents. Par exemple, l'attribution de crédit dans des environnements à grandes conséquences différées (comme la navigation dans un campus) nécessite des mécanismes comme la « prérejouissance multitâche » qui ne sont pas évidents dans de petites tâches de type monde en grille. De même, le rôle du lobe temporal médian (MTL) dans les tâches d'oddité dépend de la capacité du cortex visuel à résoudre le stimulus, une distinction qui n'est claire que lors du test de stimuli complexes et naturalistes.
• Différences comportementales qualitatives : Le comportement change qualitativement dans des contextes naturalistes. Les exemples incluent :
  • Mémoire : La recherche visuelle incidente conduit à un meilleur rappel et à une précision spatiale supérieure par rapport à la mémorisation explicite.
  • Efficacité de l'apprentissage : Les souris apprennent 1000 fois plus vite lors de l'exploration de labyrinthes naturalistes par rapport aux tâches 2AFC.
  • Raisonnement moral : Les actions morales en réalité virtuelle (VR) divergent considérablement des jugements moraux dans des vignettes textuelles (par exemple, le dilemme du pont).
• Différences de codage neuronal : Les systèmes neuronaux fonctionnent différemment dans des conditions naturalistes. Par exemple, le collicule supérieur intègre des indices multimodaux pour le contrôle corporel dans des contextes de tête libre, alors qu'il est souvent étudié uniquement pour le contrôle des saccades dans des contextes de tête fixe. La vision active décale le timing des réponses visuelles (P100/M100) par rapport à la vision passive.
• Avantages des données naturalistes en IA : L'entraînement sur des données naturalistes produit des schémas de généralisation qualitativement différents.
  • Généralisation : Les agents interagissant avec des environnements 3D montrent une meilleure généralisation compositionnelle que les classificateurs d'images entraînés sur des captures d'écran.
  • Capacités émergentes : Les modèles entraînés sur d'immenses quantités de données naturalistes (par exemple, les grands modèles de langage, les agents d'apprentissage par renforcement) développent des mécanismes pour des tâches disparates (par exemple, l'arithmétique, le jeu vidéo) sans signaux d'entraînement explicites.
  • Origines du savoir : Les données naturalistes permettent de sonder les origines du savoir cognitif, comme le montre le fait que la spécialisation faciale peut émerger de modèles de domaine général entraînés sur des distributions naturalistes, remettant en cause les hypothèses strictes d'innéité.

Contributions clés

1. Cadre conceptuel : L'article définit la « Science cognitive computationnelle naturaliste » comme une stratégie pour construire des théories qui prédisent le comportement à travers des contextes de plus en plus naturalistes, dépassant les limites des paradigmes simplifiés.
2. Feuille de route d'ingénierie : Il traduit les pratiques d'ingénierie du ML (méta-benchmarks dynamiques, reproductibilité sans friction, interfaces standardisées) en recommandations actionnables pour la science cognitive afin de favoriser un progrès collectif et systématique.
3. Intégration méthodologique : Il décrit comment combiner la manipulation expérimentale contrôlée (via la génération paramétrique de données naturalistes) avec des modèles complexes et performants pour résoudre des conflits théoriques (par exemple, le débat sur l'oddité du MTL).
4. Synthèse théorique : Il propose une architecture spécifique pour la construction de théories qui couple des modèles prédictifs performants avec des explications réductrices et mécanistes, garantissant que les théories sont à la fois empiriquement fondées et théoriquement interprétables.

Signification et affirmations
Les auteurs affirment que l'augmentation du naturalisme des contextes expérimentaux et des modèles est nécessaire, et non simplement bénéfique, pour développer une théorie complète et généralisable de la cognition. Ils soutiennent que :

• Les contextes simplifiés échouent souvent à capturer l'ensemble des défis et mécanismes computationnels (par exemple, l'attribution de crédit, la planification à long horizon) requis pour l'intelligence naturelle.
• Les théories actuelles sont souvent sous-contraines car elles sont testées sur des distributions étroites ; élargir la portée des tests via des paradigmes naturalistes et des méta-benchmarks est essentiel pour identifier des principes robustes et généralisables.
• L'intégration des progrès de l'IA (dans l'ingénierie des modèles et l'échelle des données) avec la science cognitive (dans la théorie et la conception expérimentale) offre une voie pour comprendre les « racines » des phénomènes cognitifs et neuronaux.
• En adoptant ces pratiques, le domaine peut évoluer vers des théories qui expliquent l'ensemble du comportement naturel tout en conservant la capacité de fournir une compréhension réductrice et mécaniste.

L'article conclut que cette perspective synthétise la littérature croissante sur les expériences naturalistes et les modèles généralisables, offrant une voie pour résoudre les débats de longue date sur la généralisabilité des théories cognitives et la sous-détermination des modèles scientifiques.