🤖 AI

Prospective Compression in Human Abstraction Learning

Cet article propose et valide l'hypothèse selon laquelle les humains apprennent des abstractions réutilisables dans des environnements non stationnaires par le biais d'une « compression prospective » afin d'optimiser leurs performances pour des tâches futures, un comportement que les algorithmes rétrospectifs existants et les modèles basés sur les LLM échouent à capturer.

Auteurs originaux : Leonardo Hernandez Cano, Ivan Zareski, Luisa El Amouri, Pinzhe Zhao, Max Mascini, Emanuele Sansone, Yewen Pu, Bonan Zhao, Marta Kryven

Publié 2026-05-12

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Leonardo Hernandez Cano, Ivan Zareski, Luisa El Amouri, Pinzhe Zhao, Max Mascini, Emanuele Sansone, Yewen Pu, Bonan Zhao, Marta Kryven

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'enseigner à un robot comment dessiner des images complexes. Vous lui donnez un petit ensemble d'outils de base : un crayon, une règle et une gomme.

L'Ancienne Méthode (Compression Rétrospective)
La plupart des programmes informatiques actuels apprennent en regardant les images qu'ils ont déjà dessinées. S'ils dessinent un carré, puis un triangle, puis un carré à nouveau, le programme se dit : « Hé, j'ai dessiné un carré deux fois ! Je devrais enregistrer « dessiner un carré » comme un raccourci pour la prochaine fois. » C'est comme un étudiant qui ne révise pour un examen qu'en passant en revue les questions exactes qu'il a ratées la veille. Il est bon pour répéter le passé, mais il ne sait pas quelles questions seront posées dans l'examen de demain.

La Nouvelle Idée (Compression Prospective)
Cet article suggère que les humains sont plus intelligents que cela. Lorsque nous apprenons, nous ne regardons pas seulement en arrière ; nous regardons en avant. Nous essayons de deviner quel genre d'images nous pourrions avoir besoin de dessiner ensuite, et nous créons des raccourcis (abstractions) qui seront utiles pour ces tâches futures, même si nous ne les avons pas encore vues.

Les auteurs appellent cela la « Compression Prospective ». C'est comme faire une valise pour un voyage.

Le Robot (Rétrospectif) : Ne met que les vêtements qu'il a portés hier, car il sait qu'il les a portés.
L'Humain (Prospectif) : Met un imperméable même s'il fait soleil aujourd'hui, car il a remarqué une tendance dans la météo et sait qu'il pourrait pleuvoir demain.

Comment Ils Ont Testé Cela

Pour le prouver, les chercheurs ont créé un jeu appelé « Constructeur de Motifs ».

Le Jeu : On vous donne une grille et quelques formes de base (comme une ligne ou un carré). Votre objectif est de les combiner pour correspondre à une image cible.
La Surprise : Au fur et à mesure que vous jouez, vous pouvez enregistrer n'importe quelle forme que vous créez comme un « Assistant ». Cet Assistant devient un nouvel outil que vous pouvez utiliser dans les niveaux futurs.
L'Expérience : Ils ont joué à deux versions différentes du jeu avec de vraies personnes :
1. Le Jeu « Étape par Étape » : Chaque image n'était qu'une petite variation de la précédente. Ici, regarder l'image précédente fonctionnait bien.
2. Le Jeu « Groupe Caché » : C'était le plus difficile. Les images étaient regroupées par ensembles de quatre. Dans chaque ensemble, il y avait une « forme de base » secrète utilisée pour créer les quatre images, mais les images semblaient très différentes en surface. Pour résoudre cela efficacement, il fallait deviner la forme de base secrète avant de voir les quatre images.

Ce Qu'ils Ont Découvert

Les Robots Ont Échoué : Les programmes informatiques qui ne regardaient que le passé (Rétrospectif) ou qui se fiaient à de vagues « intuitions » (comme les grands modèles de langage) sont restés bloqués. Ils n'ont pas pu identifier la forme de base secrète dans le jeu « Groupe Caché » parce qu'ils étaient trop occupés à analyser le passé.
Les Humains Ont Réussi : Les personnes jouant au jeu ont rapidement identifié la forme de base secrète. Elles ont créé des « Assistants » qui n'étaient pas seulement des raccourcis pour l'image actuelle, mais des raccourcis qui les aideraient à résoudre les trois prochaines images du groupe.

La Grande Conclusion

L'article soutient que l'apprentissage humain ne consiste pas seulement à compresser notre mémoire du passé. Il s'agit de prédire l'avenir.

Lorsque nous apprenons une nouvelle compétence, nous ne mémorisons pas seulement ce qui s'est passé ; nous construisons une boîte à outils mentale conçue pour ce qui pourrait se passer ensuite. Nous nous demandons constamment : « Si j'apprends cette chose maintenant, cela m'aidera-t-il à résoudre tout un tas de problèmes plus tard ? »

Les auteurs concluent que pour construire une IA véritablement intelligente, nous ne pouvons pas simplement apprendre aux ordinateurs à compresser le passé. Nous devons leur apprendre à imaginer l'avenir et à construire des abstractions qui seront utiles pour des tâches qu'ils n'ont même pas encore vues.

Résumé technique : Compression prospective dans l'apprentissage de l'abstraction humaine

Énoncé du problème

L'article aborde un défi central dans la synthèse de programmes et la modélisation cognitive : l'apprentissage en ligne de bibliothèques. Il s'agit de l'acquisition incrémentale d'abstractions réutilisables (helpers) dans un contexte d'incertitude quant aux exigences futures des tâches. Les approches computationnelles existantes, telles que DreamCoder et Stitch, traitent l'apprentissage de bibliothèques comme une compression rétrospective. Ces algorithmes découvrent itérativement une bibliothèque de sous-programmes qui comprime au maximum un corpus statique de tâches passées.

Cependant, les auteurs soutiennent que les domaines d'apprentissage réels sont souvent non stationnaires, où les tâches émergent d'un processus génératif qui évolue dans le temps. Dans de tels contextes, un apprenant doit décider quelles abstractions former en se basant uniquement sur les tâches observées jusqu'alors, sans connaissance de la distribution complète des tâches. La question centrale est de savoir si l'apprentissage de bibliothèques chez l'humain est motivé par la compression des données passées (rétrospective) ou par l'anticipation et la compression des tâches futures (prospective).

Méthodologie

La tâche du Constructeur de motifs (Pattern Builder Task - PBT)

Pour investiguer cela, les auteurs utilisent la tâche du Constructeur de motifs, un paradigme de synthèse de programmes visuels.

Domaine : Les participants reconstruisent des motifs géométriques binaires de $10 \times 10$ .
Mécanisme : Les solutions sont exprimées sous forme de programmes composés d'un Langage Spécifique au Domaine (DSL) fixe contenant 6 primitives géométriques et 7 opérateurs de transformation (3 binaires, 4 unaires).
Apprentissage de bibliothèque : Les participants peuvent enregistrer n'importe quelle construction intermédiaire comme un « helper ». Ces helpers persistent à travers les essais et fonctionnent comme de nouvelles primitives, permettant la construction incrémentale d'une bibliothèque réutilisable.

Conception expérimentale

Les auteurs ont conçu deux expériences avec des curricula latents complémentaires pour dissocier les stratégies de compression rétrospective et prospective :

Expérience 1 (Curriculum séquentiel) : Les tâches suivent une structure auto-régressive où chaque cible est une transformation d'une solution précédente. Cette structure est soluble par compression rétrospective, car les solutions passées informent directement les futures.
Expérience 2 (Curriculum de groupes d'opérateurs) : Les tâches sont organisées en groupes de quatre. Au sein d'un groupe, toutes les cibles partagent un sous-programme latent commun (helper) combiné à un ensemble fixe de quatre opérateurs distincts. Crucialement, les essais consécutifs d'un groupe présentent une faible similarité de surface, rendant difficile l'inférence de la structure partagée à partir des tâches passées immédiates uniquement. Cette conception nécessite une compression prospective — inférer le processus génératif latent pour anticiper le helper partagé pour l'ensemble du groupe.

Modèles computationnels

Les auteurs ont évalué le comportement humain par rapport à une famille de modèles computationnels :

Base de référence (Sans bibliothèque) : Recherche exhaustive ascendante sans abstraction.
Modèles de compression rétrospective :
- RC (Compression Rétrospective) : Sélectionne de manière gourmande des helpers pour maximiser l'utilité de compression sur le corpus des tâches passées (similaire à DreamCoder).
- GL (Apprentissage de bibliothèque gourmand) : Sélectionne uniquement le programme terminal de l'essai courant.
- PL (Apprentissage de bibliothèque probabiliste) : Sélectionne stochastiquement des sous-programmes à partir de la trace de dérivation.
Modèles de biais inductif (basés sur les LLM) :
- LLM-PS : Utilise un Grand Modèle de Langage (GPT-5.2) pour la synthèse basée sur la tâche actuelle et les primitives, capturant des priors structurels sans historique.
- LLM-PS-H : Inclut l'historique complet des tâches et solutions passées dans l'invite.
Compression prospective (Normative) : Un modèle théorique qui sélectionne des helpers pour maximiser l'utilité de compression attendue sur l'ensemble du corpus de solutions (passé et futur), conditionné par la distribution des tâches observées.

Métriques

La performance a été mesurée à l'aide de :

Nombre d'étapes : Efficacité de la construction de la solution.
Taille de la bibliothèque : Nombre de helpers créés.
Utilité de compression du corpus : La métrique principale, évaluant dans quelle mesure un ensemble sélectionné de $k$ helpers comprime le corpus de programmes complet (retenue), incluant les tâches futures.

Résultats clés

Efficacité humaine et utilisation de bibliothèques : Les participants ont réussi à compléter les tâches et ont systématiquement créé des bibliothèques de helpers. L'utilisation de helpers a considérablement réduit le nombre d'étapes nécessaires par rapport aux solutions brutes en primitives, maintenant une profondeur de solution bornée même à mesure que la longueur brute des programmes augmentait.
Modèles rétrospectifs dans l'Expérience 1 : Dans le curriculum séquentiel, le comportement humain a été bien approximé par le modèle de Compression Rétrospective (RC). Tant les humains que le RC ont sélectionné des helpers qui comprimaient efficacement les tâches passées observées.
Comportement prospectif dans l'Expérience 2 : Dans le curriculum de groupes d'opérateurs, les modèles rétrospectifs (RC, GL, PL) et les modèles de biais inductif (LLM-PS, LLM-PS-H) ont échoué à sélectionner les helpers partagés optimaux.
- RC a sélectionné des helpers qui comprimaient les tâches passées mais ont manqué la structure latente partagée à travers le groupe.
- Les modèles LLM ont sélectionné des helpers géométriquement plausibles basés sur des biais inductifs mais ont échoué à capturer le sous-programme partagé spécifique requis pour le groupe.
- Performance humaine : Les helpers sélectionnés par les humains ont systématiquement atteint une utilité de compression du corpus plus élevée que tous les modèles computationnels dans l'Expérience 2. Le comportement humain a étroitement suivi l'« Oracle » (l'ensemble optimal de helpers connu a posteriori), indiquant que les humains ont inféré avec succès la structure générative latente et sélectionné des abstractions qui seraient utiles pour les tâches futures.
Insuffisance des explications existantes : Les résultats démontrent que la sélection d'abstractions humaine ne peut être expliquée uniquement par la compression rétrospective ou par des biais inductifs modélisés par la synthèse de programmes basée sur les LLM actuels.

Contributions clés

Paradigme expérimental : L'introduction d'un paradigme contrôlé (PBT) avec des curricula latents spécifiquement conçus pour dissocier les stratégies de compression prospective de la compression rétrospective.
Évaluation computationnelle : Une évaluation systématique d'une famille de modèles (compression rétrospective, biais inductif et stratégies probabilistes) par rapport au comportement humain dans des contextes non stationnaires.
Preuve empirique de la compression prospective : La première démonstration que l'apprentissage en ligne de l'abstraction humaine est motivé par la compression prospective du processus générateur de tâches. Les humains infèrent la structure latente pour sélectionner des abstractions qui se transfèrent aux tâches futures, une capacité non capturée par les algorithmes rétrospectifs existants ou la synthèse de programmes basée sur les LLM actuels.

Signification et affirmations

L'article affirme que l'apprentissage de l'abstraction humaine est mieux caractérisé comme une compression prospective plutôt que comme une simple compression rétrospective ou un biais inductif statique.

Pour la synthèse de programmes : Les auteurs soutiennent que les algorithmes d'apprentissage de bibliothèques doivent aller au-delà de l'optimisation pour la compression des données passées. Pour gérer des domaines non stationnaires, les algorithmes doivent modéliser explicitement la distribution non stationnaire des tâches et anticiper les dépendances futures.
Pour les sciences cognitives : Les résultats soutiennent la vision selon laquelle l'apprentissage de l'abstraction est étroitement couplé à la modélisation structurelle anticipatrice. Les apprenants ne compressent pas seulement l'expérience ; ils infèrent comment les structures de tâches évoluent dans le temps pour faciliter la prédiction hiérarchique et l'apprentissage de séquences.
Étalonnage : La tâche du Constructeur de motifs est proposée comme un candidat pour l'étalonnage de l'abstraction prospective, distinguant les algorithmes qui résolvent simplement des tâches individuelles de ceux qui peuvent inférer et réutiliser la structure à travers une distribution de tâches évoluant dans le temps.

Les auteurs restent modestes quant à la portée, notant que leur étude est confinée à un domaine visuel contraint et que des travaux futurs sont nécessaires pour modéliser formellement la distribution de probabilité des tâches futures et effectuer une inférence conjointe sur la bibliothèque et le processus génératif latent des tâches.