🤖 machine learning

Emergent Models: Intelligence from Tiny Substrates

Cet article introduit les Modèles Émergents, un paradigme d'apprentissage automatique où des substrats dynamiques simples et ouverts, tels que les automates cellulaires, sont évolués pour résoudre des tâches par le biais de comportements computationnels émergents, démontrant que de tels systèmes minimaux peuvent atteindre une universalité latente et une généralisation globale au-delà des architectures différentiables traditionnelles.

Auteurs originaux : Giacomo Bocchese, Nicola Giacobbo, Etienne Guichard, James Wiles, Akshaj Devireddy

Publié 2026-08-17

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Giacomo Bocchese, Nicola Giacobbo, Etienne Guichard, James Wiles, Akshaj Devireddy

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez le monde de l'intelligence artificielle comme une immense bibliothèque. Pendant des décennies, les bibliothécaires ont essayé de construire l'étagère parfaite. Ils ont empilé des millions de livres (des points de données) sur des étagères (des réseaux de neurones) et ont appris à l'étagère à deviner quel livre vient après, en se basant sur ceux qui l'ont précédé. Cela fonctionne très bien si vous posez des questions sur des livres déjà vus, mais si vous posez une question sur une histoire qui n'a pas encore été écrite, l'étagère se contente souvent de deviner au hasard ou d'inventer des absurdités. C'est parce que l'étagère est très douée pour mémoriser des motifs, mais mauvaise pour comprendre les règles qui font fonctionner l'histoire en premier lieu.

Entrez dans une idée différente : et si, au lieu de construire une immense étagère, nous construisions un minuscule robot autonome qui apprend à résoudre des problèmes en se déplaçant ? C'est le monde des « Modèles Émergents ». Pensez-y comme à un jeu de « Vie » joué sur un écran d'ordinateur. Vous avez une grille de cellules qui peuvent être allumées ou éteintes. Vous leur donnez une règle simple, comme « si deux voisins sont allumés, s'allumer ». Ensuite, vous regardez ce qui se passe. Parfois, des motifs incroyablement complexes — comme des vaisseaux spatiaux ou des planeurs — émergent de ces règles simples. La grande question que les scientifiques se posent est la suivante : pouvons-nous utiliser ces minuscules robots basés sur des règles pour mieux apprendre les mathématiques et la logique que nos gigantesques étagères ? Un système doté de seulement quelques centaines de « pièces » peut-il découvrir la recette secrète d'un gâteau, plutôt que de simplement mémoriser une liste d'ingrédients ? Ce document plonge dans cette question, explorant si des systèmes simples et évolutifs peuvent être la clé d'une IA plus intelligente et plus adaptable.

Les minuscules substrats qui pensent

Les auteurs de ce document introduisent une nouvelle façon de concevoir l'apprentissage automatique appelée Modèles Émergents (ME). Imaginez que vous avez une toile vierge (le « substrat ») et un seul, minuscule pinceau qui suit une règle simple, comme « avancer d'un pas vers la droite et changer de couleur ». Dans l'IA traditionnelle, nous essayons de peindre un tableau parfait en ajustant des millions de coups de pinceau à la fois. Dans cette nouvelle approche, nous installons la toile et le pinceau, puis nous les laissons tourner pendant un certain temps. Nous ne disons pas au pinceau ce qu'il doit peindre ; nous regardons simplement si, après avoir tourné pendant un certain temps, le motif qui émerge se trouve par hasard capable de résoudre un problème, comme additionner deux nombres ensemble.

L'idée centrale est que l'intelligence n'a peut-être pas besoin d'un cerveau massif et complexe. Au lieu de cela, elle pourrait émerger d'un processus simple et répétitif, tout comme un vol d'oiseaux se déplace en une formation parfaite sans qu'un seul oiseau ne donne d'ordres. Le « cerveau » ici n'est qu'un minuscule ensemble de règles s'exécutant de manière répétée sur une grille de données.

La magie de la « Universalité Latente »

Le document propose un concept fascinant appelé Universalité Latente. Imaginez que vous avez une télécommande universelle (le « programme ») et une télévision (le « substrat »). Dans la plupart des IA, vous devez acheter une nouvelle télévision pour chaque émission différente que vous voulez regarder. Mais dans l'Universalité Latente, la télévision est fixe. Vous ne changez que la télécommande (l'état initial de la grille). Les auteurs suggèrent que si vous avez le bon type de télévision (un type spécifique de grille mathématique), vous pourriez théoriquement la programmer pour effectuer n'importe quel calcul simplement en changeant le motif de départ sur l'écran, sans jamais modifier le câblage interne de la télévision.

Ils prouvent mathématiquement que cela est possible en théorie. Si vous avez une grille qui s'étend à l'infini et une règle simple, vous pouvez configurer le motif de départ pour qu'il agisse comme une calculatrice, un joueur d'échecs ou un traducteur. Le « programme » est simplement le dessin de départ que vous tracez sur la grille.

Les expériences : de minuscules robots en action

Comme construire une grille parfaite et infinie est difficile, les chercheurs ont testé cette idée avec un « zoo » de modèles minuscules et simples. Ils n'ont pas essayé de construire une IA super-intelligente ; ils voulaient simplement voir si ces minuscules systèmes pouvaient apprendre des règles de base et les appliquer ensuite à des nombres plus grands.

1. Les magiciens des maths (EM43)
Ils ont créé une bande unidimensionnelle de cellules (comme une longue ligne de dominos) avec une règle simple. Ils lui ont appris à faire des mathématiques comme $x + 1$ ou $x \times 2$ .

Le résultat : Cela a parfaitement fonctionné ! Le modèle a appris la règle sur de petits nombres (comme de 1 à 30) et l'a ensuite appliquée sans faille à de très grands nombres (jusqu'à 1 000) qu'il n'avait jamais vus auparavant.
Le moment « Eurêka ! » : Lorsqu'ils ont observé comment le modèle résolvait le problème, ils ont vu de magnifiques motifs géométriques répétitifs se déplacer à travers la grille. Ils appellent cela le « grokking géométrique ». C'est comme si le modèle n'avait pas seulement mémorisé la réponse ; il avait découvert une danse visuelle qui fonctionne pour n'importe quel nombre. C'est une chose que l'IA traditionnelle a du mal à faire, surtout avec des motifs répétitifs comme « quel est le reste de la division par 4 ? ».

2. Le Jeu de la Vie (GoL-EM)
Ensuite, ils ont utilisé le Jeu de la Vie de Conway, un automate cellulaire célèbre où les cellules vivent ou meurent en fonction de leurs voisins. Ils ont essayé d'apprendre à ce système à faire des mathématiques et à équilibrer un poteau (CartPole).

Le résultat : Il pouvait apprendre des mathématiques simples comme $x + 1$ , mais il était très capricieux. De petits changements dans le motif de départ provoquaient l'effondrement de tout le système. C'était comme essayer d'équilibrer un château de cartes dans une tempête. Bien qu'il puisse équilibrer un poteau pendant un certain temps, il n'était pas très stable. Les chercheurs ont constaté que la recherche du bon motif de départ revenait presque à deviner au hasard ; le système était si sensible qu'il était difficile de l'« entraîner » de la manière habituelle.

3. Les apprenants continus (CEM1D & CEM2D)
Enfin, ils ont testé des modèles utilisant des nombres continus et fluides (comme la physique du monde réel) plutôt que de simples interrupteurs « on/off ».

Le résultat : Ceux-ci étaient bien meilleurs pour contrôler des choses. La version 1D pouvait équilibrer un poteau très bien, et la version 2D a appris à naviguer dans un monde où la nourriture se transforme parfois en poison.
Le bémol : Même ces modèles intelligents avaient des difficultés. Parfois, ils restaient bloqués à tourner en rond ou se figeaient. Ils apprenaient à s'adapter à l'environnement changeant, mais ils n'étaient pas parfaits. Les chercheurs ont noté que ces modèles sont encore très nouveaux et beaucoup moins fiables que les grands modèles d'IA que nous utilisons aujourd'hui.

Ce que cela signifie (et ce que cela ne signifie pas)

Le document est très clair sur ce qu'il a accompli et ce qu'il n'a pas accompli. Il ne prétend pas avoir construit une meilleure IA que celles que vous voyez dans les films ou sur votre téléphone. En fait, il admet que ces minuscules modèles sont actuellement beaucoup plus difficiles à entraîner et moins puissants que les grands modèles complexes.

Cependant, il suggère quelque chose d'excitant : l'idée que l'intelligence pourrait provenir de l'itération (répéter une étape simple encore et encore) plutôt que de la taille (avoir des millions de paramètres). Les auteurs ont découvert que lorsque ces minuscules modèles apprenaient, ils apprenaient la règle, et non seulement la réponse. Cela leur permettait de deviner correctement sur des nombres qu'ils n'avaient jamais vus, une compétence appelée extrapolation.

Ils introduisent également une nouvelle façon de penser l'efficacité de l'IA. Ils suggèrent que les meilleurs modèles pourraient être ceux qui utilisent très peu de parties « dures » (les règles) mais les font fonctionner pendant longtemps (nombreuses étapes). C'est l'opposé de l'IA massive d'aujourd'hui, qui utilise une quantité énorme de parties « dures » mais ne les exécute qu'une seule fois.

L'essentiel à retenir

Ce document est une étape fondamentale, comme la première fois que quelqu'un a construit une machine à vapeur fonctionnelle. Ce n'est pas encore une voiture, et c'est certainement pas un vaisseau spatial. Mais il prouve qu'un système simple et répétitif peut apprendre des règles et les appliquer à de nouvelles situations. Les chercheurs montrent qu'avec seulement quelques centaines de paramètres, un système peut apprendre à faire des mathématiques et à contrôler des robots simples.

Le grand enseignement est que nous complexifions peut-être trop l'IA. Au lieu de construire des cerveaux de plus en plus gros, nous devrions peut-être construire des systèmes plus petits et plus simples qui sont autorisés à réfléchir plus longtemps. Le document suggère que la voie vers une IA plus intelligente pourrait résider dans ces comportements « émergents », où l'intelligence croît à partir de règles simples, tout comme la vie croît à partir d'une chimie simple. C'est une idée pleine d'espoir, ludique et légèrement sauvage que l'avenir de l'intelligence pourrait se trouver dans les choses les plus petites et les plus simples.

Résumé Technique : Modèles Émergents : L'Intelligence à partir de Substrats Minuscules

Énoncé du Problème

L'apprentissage profond traditionnel, en particulier les réseaux de neurones à propagation avant (FFNN), peine souvent avec la généralisation globale et l'extrapolation. Bien que les théorèmes d'approximation universelle garantissent que les FFNN peuvent approximer des fonctions de manière arbitraire sur des domaines compacts, ils échouent généralement à capturer les règles génératives sous-jacentes des données sur des domaines ouverts. Par conséquent, les modèles entraînés sur des plages bornées ne peuvent souvent pas extrapoler au-delà de leur distribution d'entraînement (par exemple, les réseaux ReLU deviennent asymptotiquement linéaires, et les réseaux sigmoïdaux convergent vers des constantes).

De plus, bien que des travaux récents sur les LLM de raisonnement et les architectures récurrentes suggèrent que le calcul itératif améliore la généralisation, ces modèles restent liés à des nombres massifs de paramètres et présentent souvent une fragilité dans l'extrapolation de séquences longues. L'article postule que la « Leçon Amère » (Bitter Lesson) de l'IA — exploiter la puissance de calcul via des méthodes générales plutôt que par l'ingénierie descendante — combinée aux intuitions de la vie artificielle, suggère la nécessité de substrats régis par des règles locales simples où des comportements complexes émergent par l'itération. La question centrale est de savoir si des substrats computationnels minimaux et localement récursifs peuvent atteindre une haute expressivité globale et une capacité d'extrapolation avec nettement moins de paramètres que les architectures neuronales actuelles.

Méthodologie

Le Cadre des Modèles Émergents (EM)

Les auteurs formalisent les Modèles Émergents (EM) comme un paradigme d'apprentissage automatique où la modélisation n'est pas traitée comme l'apprentissage d'une application entrée-sortie à forme fermée, mais comme l'émergence de comportements computationnels au sein de systèmes dynamiques simples. Un EM est défini par un tuple $M = (S, f, H, E, D, \oplus)$ :

État Latent ( $S$ ) : Un espace de configuration (discret ou continu) agissant comme mémoire.
Règle de Mise à Jour ( $f$ ) : Une fonction de transition locale (par exemple, une règle d'automate cellulaire) itérée sur l'état latent.
Condition d'Arrêt ( $H$ ) : Un prédicat déterminant quand l'itération s'arrête.
Interface ( $E, D, \oplus$ ) : Un encodeur, un décodeur et un opérateur de combinaison qui lient les entrées/sorties externes à l'état latent.
Programme ( $p$ ) : Un état initial non perturbé. Pour une entrée donnée $x$ , l'état initial est formé par $s_0 = p \oplus E(x)$ .

Approche d'Entraînement :
Contrairement à la rétropropagation basée sur le gradient, les EM sont entraînés via une recherche évolutionnaire (algorithmes génétiques). L'espace de recherche comprend :

Paramètres Soft : Le programme $p$ (la configuration initiale). Dans certains contextes, celui-ci peut être mis à jour via la rétention d'état (hérédité lamarckienne) à travers des macro-étapes.
Paramètres Hard : La règle de mise à jour $f$ , la condition d'arrêt $H$ et les paramètres d'interface. Ceux-ci sont fixes lors de l'inférence mais optimisés durant l'entraînement.
L'objectif est de trouver une configuration où la trajectoire évoluée, décodée à l'arrêt, résout la tâche cible.

Fondement Théorique : Universalité Latente

L'article introduit le concept d'Universalité Latente, un régime où le substrat ( $S, f, H$ ) et l'interface ( $E, D, \oplus$ ) sont fixes, et où seul le programme $p$ varie pour réaliser toute fonction partiellement calculable.

Théorème 1 : Les auteurs prouvent que pour des entrées/sorties de chaînes binaires, il existe un Modèle Émergent où un substrat et une interface fixes suffisent à calculer toute fonction partiellement calculable en faisant varier uniquement le programme à support fini. Cela s'aligne sur le concept de Machine de Turing Universelle où le programme et l'entrée sont encodés dans la configuration initiale de la bande.

Substrats Expérimentaux

Les auteurs évaluent un « zoo » d'instanciations minimales d'EM pour tester la viabilité du cadre sans concevoir une seule architecture compétitive :

EM43 : Un automate cellulaire 1D discret avec 4 états par cellule et une règle de table de recherche (lookup-table).
GoL-EM : Le Jeu de la Vie de Conway (règle fixe) où seule la configuration initiale de glisseur (glider) est optimisée.
CEM1D : Un réseau 1D à valeurs continues avec une règle de mise à jour par équation différentielle locale.
CEM2D : Un réseau 2D continu avec des champs d'activation rapide et de mémoire lente, présentant des emplacements de ports entraînables.

Résultats Clés

1. Extrapolation Arithmétique (EM43)

Tâche : Apprentissage de fonctions entières simples ( $x+1, 2x, x \mod 4, \text{arrondi}(x/3)$ ) entraîné sur $[0, 30]$ et testé sur $[30, 1000]$ .
Performance : L'EM43 a atteint une précision de correspondance exacte de 100 % sur toutes les tâches à entrée unique, y compris les fonctions périodiques comme $x \mod 4$ et les fonctions oscillatoires comme $x \cdot (1 + x \mod 2)$ .
Observation : Les modèles ont manifesté un « grokking géométrique », où la généralisation s'est réalisée par des motifs spatio-temporels stables et interprétables (par exemple, des marqueurs changeants) qui restaient valides à mesure que les échelles d'entrée augmentaient.
Limitation : La tâche de multiplication à deux entrées ( $a \cdot b$ ) n'a pas réussi à converger dans le budget de calcul imparti, suggérant des limites de recherche actuelle ou des contraintes d'expressivité.
Efficacité : Les modèles réussis utilisaient seulement 70 à 110 paramètres (140 à 220 bits d'information), entraînés sur seulement 30 exemples.

2. Tâches de Contrôle (GoL-EM & CEM1D)

CartPole :
- GoL-EM : A obtenu des rendements nettement supérieurs aux bases aléatoires (moyenne ~171, meilleur ~417) mais a lutté avec la robustesse (taux de non-arrêt de 54,5 %) et la rétention d'état causée par l'accumulation de débris.
- CEM1D : Un modèle continu 1D avec rétention d'état a obtenu des rendements proches du maximum (734,93), surpassant GoL-EM. Cependant, il dépendait fortement de la vitesse angulaire et a échoué à intégrer efficacement la position du chariot, dérivant finalement hors des limites.
Meta-Life (Adaptation) :
- Tâche : Des agents doivent chercher de la nourriture ou éviter le poison dans un environnement changeant sans connaissance préalable de la phase.
- Résultats : Les deux modèles, CEM2D et une base mRNN (réseau de neurones récurrents) augmentée de mémoire dense, ont obtenu des scores méta élevés, indiquant une adaptation en ligne réussie.
- Comparaison : Le mRNN a convergé plus rapidement et a obtenu des scores légèrement plus élevés (0,82 contre 0,71). Le CEM2D a nécessité un entraînement plus long mais a démontré que des dynamiques locales continues pouvaient supporter la mémoire et l'adaptation.
- Modes de Défaillance : Les deux modèles ont présenté des « attracteurs rotatifs » (tourner sur place) lorsque les ressources étaient rares, un échec attribué à la diminution des rendements de l'objectif d'entraînement et à la difficulté de se remettre d'un état bloqué.

Contributions Clés

Formalisation des Modèles Émergents : Un cadre rigoureux traitant les systèmes dynamiques comme des modèles de ML où le « programme » est un état initial dans un espace latent, découplé de la règle de mise à jour et de l'interface fixes.
Preuve de l'Universalité Latente : Une preuve théorique démontrant qu'un substrat et une interface fixes peuvent calculer toute fonction calculable uniquement en faisant varier l'état initial du programme.
Validation Empirique de Substrats Minimaux : Démonstration que le calcul local-récursif à l'échelle de dizaines ou centaines de paramètres peut atteindre une extrapolation exacte sur des tâches arithmétiques et supporter des comportements de contrôle/adaptation, remettant en question l'idée que des nombres massifs de paramètres sont nécessaires pour la généralisation.
Grokking Géométrique : Identification d'un phénomène où la généralisation se manifeste sous forme de motifs géométriques stables et interprétables dans l'évolution spatio-temporelle du substrat, plutôt que par des ajustements de poids opaques.
La Conjecture du Ratio $q$ : Une hypothèse selon laquelle le ratio entre les paramètres et la profondeur temporelle ( $q = N_{params} / \bar{T}$ ) régit le compromis entre généralisation et entraînabilité. Un $q$ faible (règles simples, itération profonde) favorise la compression algorithmique et l'extrapolation mais crée des paysages de recherche irréguliers ; un $q$ élevé (grands réseaux, itération superficielle) favorise la mémorisation.

Signification et Revendications

L'article se positionne comme un travail fondateur plutôt que comme une proposition d'architecture compétitive. Sa signification principale réside dans :

Élargissement de l'Espace de Conception : Aller au-delà des applications feed-forward différentiables pour explorer des substrats simples, semblables à des physiques, à ciel ouvert.
Recadrage de l'Intelligence : Suggérer que l'intelligence peut émerger de l'interaction entre des règles locales simples et des conditions initiales (une « physique artificielle ») plutôt que de l'ingénierie explicite des architectures neuronales.
Revendications Modestes : Les auteurs déclarent explicitement que leurs modèles ne sont pas encore compétitifs avec les méthodes matures spécifiques aux tâches. Ils reconnaissent les limites en matière d'efficacité d'entraînement, de scalabilité de la recherche (notamment pour des tâches complexes comme la multiplication) et de robustesse dans les contextes de contrôle.
Directions Futures : Le travail appelle à la réalisation du régime de l'universalité latente en pratique et au développement de méthodes d'optimisation spécifiquement adaptées aux paysages non-convexes et non-locaux des modèles récursifs à faible $q$ .

L'article conclut que bien que l'état actuel de la modélisation localement récursive soit comparable à l'apprentissage profond d'il y a deux décennies, la capacité de minuscules substrats à extrapoler et à s'adapter suggère une voie prometteuse et sous-explorée vers un apprentissage automatique plus efficace et généralisable.