The New Associationism: Lessons from Deep Learning

Résumé technique : Le nouvel associationnisme : Leçons de l'apprentissage profond

Énoncé du problème
L'article aborde une question centrale en sciences cognitives : que révèlent les succès récents de l'intelligence artificielle (IA), plus précisément de l'apprentissage profond (deep learning), sur les mécanismes sous-jacents à l'apprentissage humain ? S'il est incontestable que les humains apprennent de manière extensive, la nature computationnelle de cet apprentissage fait l'objet de débats. Historiquement, les théories associationnistes — qui postulent que l'apprentissage se produit par la formation et l'ajustement progressifs d'associations en réponse à l'expérience — ont été marginalisées au profit d'approches symboliques, fondées sur des règles et de nature nativiste. Les critiques, tels que Fodor et Pylyshyn, soutenaient que les modèles connexionnistes (statistiques) étaient trop limités pour rendre compte de la pensée structurée, de l'apprentissage à un seul essai (one-shot learning) et de la systématicité de la cognition humaine. L'article cherche à déterminer si les triomphes empiriques de l'IA moderne valident une forme spécifique d'associationnisme et, si tel est le cas, dans quelle mesure et avec quelles réserves.

Méthodologie
L'auteur emploie une analyse conceptuelle des systèmes d'IA contemporains, en se concentrant sur le niveau fonctionnel de l'apprentissage plutôt que sur un isoformisme mécanique strict avec les neurones biologiques. La méthodologie comprend :

1. L'identification du paradigme dominant : Établir que l'apprentissage supervisé (l'apprentissage à partir de paires entrée-sortie pour minimiser l'erreur) est le moteur central qui propulse une vaste gamme de succès de l'IA moderne, incluant les grands modèles de langage (LLM), la génération d'images et les agents de jeu.
2. L'analyse des reformulations : Examiner comment divers problèmes complexes (par exemple, l'acquisition du langage, l'apprentissage par renforcement dans les jeux) ont été théoriquement reformulés en sous-problèmes d'apprentissage supervisé. Cela implique de retracer la manière dont les « étiquettes » ou les signaux évaluatifs sont générés, allant de l'annotation humaine directe à la prédiction auto-supervisée (par exemple, la prédiction du prochain jeton/token) et à l'estimation de la valeur par amorçage (bootstrapped value estimation, par exemple, l'apprentissage par différence temporelle).
3. La mise en correspondance avec l'associationnisme : Comparer les caractités fonctionnelles de l'apprentissage supervisé dans les réseaux de neurones profonds (DNN) — spécifiquement la descente de gradient et l'ajustement des paramètres piloté par l'erreur — avec les principes fondamentaux des théories associationnistes classiques (conditionnement pavlovien et opérant).
4. L'évaluation des limites : Évaluer les points où l'analogie entre l'IA et l'apprentissage humain s'effondre, notamment en ce qui concerne les architectures computationnelles requises pour rendre l'apprentissage supervisé efficace et la distinction entre les mécanismes d'apprentissage et le comportement lors de l'inférence.

Contributions clés
L'article avance trois arguments principaux :

1. L'ubiquité de l'apprentissage supervisé : L'auteur soutient que l'apprentissage supervisé n'est pas simplement un paradigme parmi d'autres, mais qu'il est le mécanisme fondamental derrière les percées les plus significatives de l'IA. Même les systèmes qui semblent fonctionner via l'apprentissage par renforcement ou la génération non supervisée sont souvent pilotés par des objectifs supervisés reformulés où l'« étiquette » est construite via des calculs intermédiaires (par exemple, prédire le bruit dans les modèles de diffusion ou la valeur future dans l'apprentissage par différence temporelle).
2. Vindication des idéaux associationnistes : Le succès de l'apprentissage profond soutient une forme d'associationnisme « modeste mais authentique ». Plus précisément, il valide deux affirmations associationnistes centrales :
   • Uniformité : Un mécanisme d'apprentissage unique et général (correction d'erreur basée sur le gradient) opère à travers des domaines très différents (vision, langage, stratégie), soutenant la vue associationniste selon laquelle diverses capacités cognitives découlent d'un moteur d'apprentissage commun.
   • Ajustement progressif piloté par l'erreur : L'ajustement itératif et statistique des paramètres pour réduire la perte reflète la modification progressive, pilotée par l'expérience, des associations postulées par les théories du conditionnement classique (par exemple, le modèle de Rescorla-Wagner).
3. Le rôle de l'architecture : L'article précise que si le mécanisme d'apprentissage est associationniste, le succès de ces systèmes dépend d'architectures computationnelles sophistiquées (par exemple, les transformers, les réseaux convolutionnels, les processus de diffusion) qui vont bien au-delà de ce que les associationnistes classiques avaient envisagé. L'apprentissage supervisé opère comme une composante au sein de ces structures plus larges, et non comme un compte complet des capacités du système.

Résultats
L'analyse démontre que l'approche de la « modélisation statistique », autrefois décriée comme incapable de gérer la cognition de haut niveau, est en fait le moteur de systèmes capables de jeu surhumain, de raisonnement complexe et de génération d'images inédites. L'article conclut que :

• La reformulation des problèmes en tâches d'apprentissage supervisé est un saut conceptuel non trivial qui a permis aux réseaux profonds de résoudre des problèmes que l'on pensait nécessiter des systèmes de règles symboliques.
• La plausibilité biologique de ce modèle est renforcée par des preuves que les systèmes biologiques (par exemple, la signalisation dopaminergique chez les mammifères) suivent les erreurs de prédiction de manières qui font écho à l'apprentissage par différence temporelle, suggérant que la nature peut également concevoir les problèmes d'apprentissage comme des sous-problèmes supervisés.
• Les objections concernant le « un seul essai » (one-shot learning) et la « pensée structurée » adressées au connexionnisme sont considérablement affaiblies ; les mêmes mécanismes qui apprennent des motifs de bas niveau, lorsqu'ils sont mis à l'échelle et contraints architecturalement, exhibent des prouesses cognitives de haut niveau.

Signification et revendications
L'article revendique une vindication « modeste » de l'associationnisme. Il soutient que le mécanisme d'apprentissage central dans l'IA moderne est fondamentalement associationniste : un processus uniforme, progressif et piloté par l'erreur d'ajustement des connexions sur la base de rétroactions. Cela réfute l'argument de longue date selon lequel les mécanismes associationnistes seraient intrinsèquement trop faibles pour expliquer les capacités cognitives humaines.

Cependant, l'auteur limite explicitement la portée de cette vindication :

• Pas un compte complet : L'article ne prétend pas que l'associationnisme explique l'intégralité de l'apprentissage humain. Les architectures computationnelles requises pour faire fonctionner l'apprentissage supervisé (par exemple, les biais inductifs spécifiques dans les CNN ou les Transformers) sont essentielles et distinctes de la règle d'apprentissage elle-même.
• Distinction de l'empirisme : L'article distingue les mécanismes associationnistes des revendications empiristes fortes concernant l'origine de la connaissance. Bien que le mécanisme d'apprentissage puisse être domaine-général, l'article reconnaît que les apprenants biologiques possèdent probablement des biais inductifs spécifiques au domaine (par exemple, pour le nombre ou le raisonnement spatial) qui sont compatibles avec, mais ne sont pas expliqués par, le mécanisme d'apprentissage seul.
• Inférence vs Apprentissage : L'article note que le comportement flexible, semblable au raisonnement, observé dans l'IA lors de l'inférence est le résultat d'un entraînement associationniste, et non nécessairement le reflet d'un processus associationniste continu pendant le raisonnement.

En fin de compte, l'article suggère que si les systèmes d'IA sont des modèles utiles pour l'apprentissage humain, ils pointent vers une réalité biologique où un moteur associationniste général, piloté par l'erreur, opère au sein de contraintes architecturales complexes et spécifiques à chaque domaine.