Résumé Technique : De Dionysos émerge Apollon – Motifs d'apprentissage et abstractions à partir de séquences perceptuelles

1. Énoncé du problème

Le problème central abordé dans cette thèse est l'écart entre la perception humaine et la perception machine concernant l'émergence d'entités structurées à partir de flux sensoriels chaotiques. Tandis que les humains parviennent sans effort à segmenter des données sensorielles continues et de haute dimension en entités discrètes, réutilisables et hiérarchiques (par exemple, reconnaître des « feux de signalisation » ou regrouper des parties visuelles), les systèmes d'IA connexionnistes actuels (tels que les grands modèles de langage et les réseaux de neurones profonds) peinent à apprendre des symboles structurés et à factoriser les données sans supervision explicite ou a priori définis par l'humain.

La thèse postule que le mécanisme cognitif de tronçonnage (chunking) — la tendance à segmenter les séquences en unités récurrentes et cohérentes — est le principe computationnel fondamental qui comble ce fossé. Ce travail étudie comment le tronçonnage facilite la transition des séquences perceptuelles concrètes vers des représentations abstraites, permettant une compression efficace de la mémoire, la généralisation et la construction récursive de connaissances complexes à partir de primitives simples.

2. Méthodologie

La recherche emploie une approche multidimensionnelle combinant des expériences comportementales, une modélisation computationnelle normative et une analyse algorithmique. La méthodologie est structurée autour de quatre projets principaux :

A. Expériences comportementales

• Tâches de Temps de Réaction Sérielle (SRT) : Les participants ont effectué des tâches nécessitant d'appuyer sur des touches correspondant à des indices visuels. La structure statistique sous-jacente des séquences a été manipulée (par exemple, en faisant varier les longueurs de segments comme AB ou ABC) pour observer comment les humains adaptent leurs temps de réaction et leurs taux d'erreur.
• Manipulation des instructions : Les expériences ont fait varier les instructions pour donner la priorité soit à la vitesse, soit à la précision, afin de tester le compromis dans le comportement de tronçonnage.
• Mémoire de séquence et rappel : Les participants ont mémorisé des séquences de couleurs ou de symboles abstraits. L'étude a introduit deux types de motifs abstraits :
  • Motifs de projection : Des motifs où le contenu superficiel est mappé vers un espace abstrait partagé (par exemple, $GGGE$ et $FFFD$ sont tous deux mappés vers $XXXY$).
  • Motifs variables : Des motifs contenant des parties invariantes et un emplacement variable (par exemple, $GGGX$où$X$ varie).
  • Des blocs de transfert ont testé si l'apprentissage de ces motifs facilitait le rappel de nouvelles séquences partageant la même structure abstraite.

B. Modélisation computationnelle

La thèse développe une série de modèles normatifs qui traitent le tronçonnage non pas simplement comme une heuristique, mais comme une stratégie rationnelle pour un agent intelligent :

1. Modèle de Tronçonnage Rationnel : Un modèle qui apprend les segments en optimisant une fonction d'utilité qui arbitre entre vitesse et précision. Il infère les frontières des segments en fonction des statistiques séquentielles et des exigences de la tâche.
2. Modèle de Tronçonnage Hiérarchique (HCM) : Un modèle génératif et de reconnaissance inverse qui apprend des structures hiérarchiques imbriquées. Il analyse les séquences en unités atomiques, apprend les statistiques associatives entre elles, et fusionne récursivement les segments corrélés en composites plus larges. Il utilise un « dictionnaire » de segments appris pour factoriser les distributions de probabilité de haute dimension.
3. Modèle Variable Hiérarchique (HVM) : Une extension du HCM qui intègre l'abstraction. Il organise les segments appris dans une structure de Trie pour une récupération efficace et propose des variables symboliques pour représenter des catégories de segments possédant des propriétés d'interaction similaires. Cela permet au modèle de découvrir des motifs invariants et de généraliser à de nouvelles séquences en remplaçant les instances spécifiques par des variables abstraites.

C. Évaluation algorithmique

Les modèles ont été évalués par rapport à :

• Des données comportementales humaines (temps de réaction, précision du rappel).
• Des modèles de référence (par exemple, des réseaux de neurones récurrents standards, des observateurs bayésiens idéaux sans tronçonnage).
• Des modèles de langage étendus (LLM) sur des tâches de mémoire de séquence pour comparer les capacités d'abstraction.
• La découverte de motifs non supervisée sur des données réelles, incluant du texte (tiré de Hunger Games) et des données d'IRMf au repos.

3. Principales contributions

1. Justification normative du tronçonnage

Ce travail fournit un compte rendu normatif du tronçonnage, démontrant qu'il s'agit d'une solution rationnelle au compromis vitesse-précision dans l'apprentissage de séquences. Les modèles montrent que les humains apprennent de manière adaptative des segments plus longs lorsque la vitesse est privilégiée, et des segments plus courts et plus précis lorsque la précision est requise, optimisant ainsi le compromis entre efficacité de traitement et taux d'erreur.

2. Apprentissage de représentations hiérarchiques (HCM)

La thèse introduit le HCM, un modèle qui apprend des structures hiérarchiques imbriquées à partir de zéro, sans primitives prédéfinies.

• Compositionnalité : Le HCM démontre comment des segments simples peuvent être composés récursivement en entités complexes, résolvant efficacement le problème de l'« émergence des symboles » en apprenant les primitives à partir des données plutôt qu'en les supposant.
• Factorisation : En regroupant les unités séquentielles en segments, le modèle factorise les distributions de séquences de haute dimension (par exemple, $P(x_1, x_2, \dots, x_n)$) en sous-distributions indépendantes (par exemple, $P(x_1, x_2)P(x_3, x_4)\dots$), réduisant ainsi la complexité computationnelle.
• Efficacité des données : Le HCM adapte sa représentation plus rapidement que les RNN sur des séquences comportant des hiérarchies, nécessitant moins de données pour apprendre la structure sous-jacente.

3. Abstraction et apprentissage de variables (HVM)

Le HVM étend le tronçonnage au domaine de l'abstraction en :

• Abstraction symbolique : Apprenant à remplacer les segments concrets récurrents par des variables abstraites (symboles) qui désignent des catégories.
• Organisation de la mémoire : Organisant le dictionnaire de mémoire dans une structure de Trie basée sur des parties communes, ce qui réduit les étapes de recherche pour l'analyse et imite la récupération efficace de la mémoire humaine.
• Généralisation : Montrant que l'apprentissage de motifs abstraits (de projection et variables) améliore considérablement le transfert vers de nouvelles séquences, une capacité que les modèles de tronçonnage standards et les LLM (dans le contexte testé) ne parviennent pas à reproduire efficacement.

4. Validation empirique

• Alignement humain : La log-vraisemblance négative des modèles est fortement corrélée aux temps de rappel des séquences chez l'humain, surpassant les modèles qui n'apprennent ni segments ni variables.
• Application neuroscientifique : Les modèles ont été appliqués à des données d'IRMf pour identifier des structures de réseaux imbriqués dans le cerveau (par exemple, des régions pour le traitement de l'affect et l'attention visuelle), suggérant que l'activité neuronale présente un tronçonnage hiérarchique.
• Analyse de texte : Appliqué à des textes de livres, le modèle a réussi à apprendre des parties de mots, des expressions communes et des structures grammaticales, reflissant les processus de lecture humaine.

4. Résultats

• Résultats comportementaux : Les humains ajustent dynamiquement leurs stratégies de tronçonnage en fonction des statistiques de la séquence et des instructions de la tâche. Dans les tâches de mémoire, les participants ayant appris des motifs abstraits (tant de projection que variables) ont montré des performances de rappel et de transfert supérieures par rapport aux groupes de contrôle, indiquant que l'abstraction aide à compresser et à généraliser l'information séquentielle.
• Performance des modèles :
  • Le Modèle de Tronçonnage Rationnel a réussi à prédire les schémas de temps de réaction humain sous les compromis vitesse-précision.
  • Le HCM a démontré une efficacité de données et une interprétabilité supérieures aux RNN, réussissant à récupérer la hiérarchie générative de séquences synthétiques.
  • Le HVM a surpassé les LLM dans les tâches de transfert nécessitant l'identification de structures variables, mettant en évidence une limite des LLM actuels dans leur capacité à former des représentations abstraites explicites et réutilisables à partir de séquences d'entraînement.
• Découverte non supervisée : Les modèles ont identifié avec succès des structures imbriquées significatives dans des données naturelles (texte et imagerie cérébrale) sans supervision, validant l'hypothèse que le tronçonnage est un mécanisme universel pour découvrir des motifs invariants.

5. Signification et revendications

La thèse soutient que le tronçonnage et l'abstraction sont des principes computationnels simples qui donnent naissance à l'acquisition de connaissances structurées. En apprenant à associer des éléments proches puis en important ces associations en symboles réutilisables, un agent peut :

1. Combler le fossé IA-Humain : Fournir un mécanisme permettant aux systèmes connexionnistes d'apprendre des entités discrètes et interprétables à partir de données continues, répondant aux problèmes d'interprétabilité et de généralisation.
2. Permettre la construction récursive : Permettre la construction de structures hautement complexes à partir de zéro en réutilisant et en composant des primitives apprises précédemment.
3. Expliquer les phénomènes cognitifs : Offrir un cadre unifié pour comprendre divers phénomènes cognitifs, y compris l'organisation de la mémoire (tronçonnage dans la mémoire à court terme), l'acquisition du langage et la formation de concepts abstraits.

Le travail conclut que bien que les modèles proposés reposent sur des hypothèses spécifiques (par exemple, des processus génératifs hiérarchiques et des stratégies d'analyse gloutonnes), ils offrent une explication plausible, computationnellement efficace et ancrée cognitivement sur la manière dont les représentations structurées émergent des séquences perceptuelles. La thèse appelle à de futures recherches pour explorer la mise en œuvre neuronale de ces principes et leur application à des domaines de données de plus haute dimension.