Meta-learning ecological priors from large language models explains human learning and decision making

Énoncé du Problème
La cognition humaine est profondément influencée par les environnements dans lesquels elle opère, pourtant il reste une question ouverte de savoir si l'apprentissage et la prise de décision peuvent être expliqués comme une adaptation principielle à la structure statistique des tâches du monde réel. Deux cadres dominants tentent d'aborder cette question : l'analyse rationnelle, qui dérive des stratégies optimales à partir de modèles environnementaux formels mais peine face à des environaux complexes et indéfinis, et la rationalité écologique, qui repose sur des heuristiques façonnées à la main et ajustées à des structures de tâches spécifiques, mais manque d'une méthode principe pour dériver ces heuristiques dans de nouveaux domaines. Le défi central est de développer un cadre computationnel qui unifie les fondements normatifs de l'analyse rationnelle avec l'ancrage écologique des tâches du monde réel, sans exiger des chercheurs qu'ils spécifient manuellement les distributions environnementales ou conçoivent des heuristiques spécifiques.

Méthodologie : Analyse Écologiquement Rationnelle et ERMI
Les auteurs introduisent l'Analyse Écologiquement Rationnelle, un cadre qui exploite les modèles de langage de grande taille (LLM) et le méta-apprentissage pour dériver des modèles computationnels de la cognition humaine. L'approche se compose de trois étapes principales :

1. Génération de Tâches Scalable via les LLM : Les auteurs utilisent les LLM (spécifiquement CLAUDE-V2) comme moteurs génératifs pour créer à grande échelle des tâches cognitives écologiquement valides. Il s'agit d'un processus en deux étapes :

   • Synthèse de Caractéristiques : Le LLM génère des caractéristiques et des cibles plausibles de tâches (par exemple, associer « sodium, gras, protéines » aux catégories « sain/malsain »).
   • Génération de Données : Le LLM génère les paires entrées-cibles correspondantes cohérentes avec ces caractéristiques, créant des jeux de données qui approchent les régularités statistiques des espaces de problèmes naturalistes.
   • Validation : Les tâches générées sont comparées statistiquement à des ensembles de données du monde réel (par exemple, OpenML-CC18, tâches de régression réelles) pour vérifier la validité écologique. Les métriques incluent la précision de classification, la corrélation des caractéristiques, la parcimonie (coefficient de Gini) et la linéarité.

2. Méta-Apprentissage pour l'Inférence en Contexte : Les auteurs entraînent des réseaux de neurones (spécifiquement des architectures basées sur les transformeurs) sur ces tâches générées par LLM en utilisant le méta-apprentissage. L'objectif est de dériver des modèles d'Inférence par Méta-Apprentissage Écologiquement Rationnelle (ERMI). Ces modèles apprennent à effectuer de l'apprentissage en contexte : ils s'adaptent à la structure d'un nouveau problème en modifiant les activations internes à partir d'une séquence d'exemples d'entrée-sortie, sans mettre à jour leurs paramètres. Ce processus permet aux modèles d'internaliser les « priors écologiques » (régularités statistiques) de la distribution d'entraînement, approximant ainsi l'inférence de Bayes-optimal conditionnée par ces statistiques.

3. Évaluation par rapport au Comportement Humain : La performance de l'ERMI est évaluée à travers 15 expériences couvrant trois domaines cognitifs : l'Apprentissage de Fonctions, l'Apprentissage de Catégories et la Prise de Décision. Les modèles sont testés sur leur capacité à répliquer des signatures comportementales emblématiques (ex: courbes d'apprentissage, modèles de généralisation, changements de stratégie) et sont comparés à des modèles cognitifs établis (ex: Modèle Rationnel de Catégorisation, Modèle de Contexte Généralisé, modèles basés sur des règles) et à des modèles d'inférence méta-appris avec des priors façonnés à la main (MI).

Principales Contributions

• Un Nouveau Cadre : La proposition de l'« Analyse Écologiquement Rationnelle », qui synthétise l'analyse rationnelle et la rationalité écologique en automatisant la dérivation de stratégies adaptatives à partir de la structure statistique des environnements naturels.
• Modèles ERMI : Le développement d'une nouvelle classe d'algorithmes d'apprentissage (ERMI) qui intériorisent les priors écologiques par méta-apprentissage sur des tâches générées par LLM, éliminant le besoin d'heuristiques façonnées à la main ou de mises à jour explicites de paramètres pendant l'inférence.
• Validation Empirique : La démonstration que l'ERMI capture le comportement humain à travers divers domaines, surpassant plusieurs modèles cognitifs établis dans la prédiction de tâche à tâche.
• Innovation Méthodologique : Utiliser les LLM non pas comme des modèles comportementaux directs, mais comme des outils pour générer les priors écologiques nécessaires à l'entraînement de modèles d'inférence adaptatifs.

Résultats

• Validité Écologique : Les tâches générées par LLM ont réussi à refléter les propriétés statistiques des données du monde réel, incluant les distributions de types de fonctions (linéaires, exponentielles, etc.), les corrélations de caractéristiques et la parcimonie.
• Apprentissage de Fonctions : L'ERMI a répliqué cinq découvertes comportementales humaines emblématiques : (i) un meilleur apprentissage des fonctions linéaires positives que des fonctions négatives ; (ii) un apprentissage plus rapide des fonctions linéaires par rapport aux non-linéaires ; (iii) un apprentissage supérieur des fonctions monotones par rapport aux non-monotones ; (iv) un apprentissage plus facile des fonctions non-cycliques que des cycliques ; et (v) une meilleure performance en interpolation qu'en extrapolation. L'ERMI a également montré le biais humain de sous-estimer les valeurs lors de l'extrapolation (biais vers un décalage de zéro) et a fourni un meilleur ajustement aux données humaines qu'une inférence méta-apprise avec des priors façonnés à la main.
• Apprentissage de Catégories : L'ERMI a capturé l'ordre de difficulté des six types de catégories de Shepard (TYPE 1–6) et a surpassé les modèles concurrents pour expliquer les choix humains (fréquence de modèle a posteriori la plus élevée). Il a également modélisé avec succès le changement de stratégie humaine, passant d'un apprentissage basé sur les prototypes à un apprentissage basé sur les exemplaires au fil du temps, et a répliqué les modèles de généralisation humaine aux entrées non vues.
• Prise de Décision : Dans les tâches de comparaison par paires, l'ERMI a adapté sa stratégie de décision en fonction de la structure statistique de l'environnement (classement, direction ou conditions inconnues), implémentant des stratégies à raison unique, à pondération égale ou à pondération additive, correspondant au comportement humain. L'ERMI a rendu compte des réponses humaines plus fréquemment que les modèles de référence (à un seul indice, pondération égale, réseaux de neurones et MI).

Signification et Revendications
L'article affirme que l'alignement adaptatif avec la structure statistique des environnements écologiquement valides est suffisant pour rendre compte d'un large spectre de comportements d'apprentissage et de prise de décision humains.

Les auteurs soutiennent que la cognition humaine ne nécessite peut-être pas d'heuristiques complexes et spécifiques au domaine conçues par des chercheurs, mais qu'elle émerge plutôt d'une adaptation aux régularités statistiques du monde. En utilisant les LLM pour distiller ces régularités en données d'entraînement, l'ERMI démontre que des systèmes à usage général peuvent refléter la manière dont les gens apprennent, catégorisent et décident. Ce travail suggère qu'une grande partie de la cognition humaine reflète une « inférence statistique idéale » sous les contraintes des structures de tâches naturelles.

Les auteurs restent modestes quant à la portée de leurs affirmations, notant que bien que l'ERMI réduise la charge de la création de priors, il n'élimine pas le besoin de jugement scientifique dans la sélection des caractéristiques. Ils reconnaissent que les travaux futurs devront déterminer si des composants additionnels (par exemple, des contraintes cognitives spécifiques comme les limites de la mémoire de travail, ou des facteurs propres aux participants) sont nécessaires pour rendre pleinement compte du comportement humain, particulièrement dans les cas où les humains s'écartent de l'inférence idéale. L'article pose que ce cadre offre une voie scalable pour comprendre les racines écologiques de la cognition, pouvant potentiellement s'étendre aux environnements incarnés et de haute dimension dans le futur.