🤖 AI

Emergence of Physical Intelligence via Controllable Information Production

Ce papier présente la Production d'Information Contrôlable (PIC), un nouveau cadre de motivation intrinsèque fondé sur les systèmes dynamiques et la commande optimale qui unifie l'intelligence physique avec la production d'information, permettant aux agents de maîtriser des tâches complexes comme le redressement autonome d'humanoïdes en orientant les systèmes vers la limite du chaos contrôlable.

Auteurs originaux : Tristan Shah, Stas Tiomkin

Publié 2026-05-12

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tristan Shah, Stas Tiomkin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un robot comment bouger, mais que vous refusez de lui donner une feuille de triche ou un système de récompense. Vous ne lui direz pas : « Lève-toi et obtiens un biscuit », ni « Avance et gagne un point ». Vous voulez que le robot trouve par lui-même comment être utile. C'est le défi de la Motivation Intrinsèque (MI) : amener un agent à apprendre simplement en interagissant avec le monde, sans instructions humaines.

Les tentatives précédentes à cet égard ressemblaient un peu à essayer d'enseigner à un chien en devinant ce qu'il trouve intéressant. Les chercheurs choisissaient des choses spécifiques à mesurer (comme « combien le robot bouge-t-il son bras ? ») et demandaient au robot de maximiser cela. Mais cela introduit un biais humain ; le robot n'apprend que ce que l'humain pensait être intéressant, et non ce qui est fondamentalement lié à la physique de la situation.

Ce papier introduit une nouvelle méthode, plus propre, appelée Production d'Information Contrôlable (PIC).

L'Idée Centrale : Le « Fil de Fer Chaotique »

Imaginez un robot comme un funambule.

Trop stable : Si le marcheur se tient sur une plateforme large et plate, il ne fait pas grand-chose. Il n'apprend pas et il n'est pas vraiment « en contrôle » car rien ne pourrait mal tourner.
Trop chaotique : Si le marcheur est sur un océan sauvage et orageux sans corde, il s'agite simplement. Il produit beaucoup d'« information » (mouvements aléatoires), mais il ne peut pas la contrôler. Il tombe simplement.
Le Juste Milieu : Les comportements les plus intéressants et intelligents se produisent au bord du chaos. C'est comme marcher sur un fil de fer par un vent fort. Le marcheur lutte constamment pour rester debout. Il produit beaucoup d'« information » (micro-ajustements, chancellements, corrections), mais il la contrôle.

Les auteurs soutiennent que la véritable intelligence physique ne consiste pas à être d'une stabilité ennuyeuse ou d'un chaos sauvage. Il s'agit de trouver ce juste milieu où le système est assez instable pour être intéressant, mais assez contrôlable pour être maîtrisé.

Qu'est-ce que la « Production d'Information Contrôlable » ?

En termes simples, la PIC est une façon pour le robot de se demander : « Dans quelle mesure puis-je faire changer le monde si j'essaie de le contrôler ? »

L'Ancienne Méthode (Le Professeur Biaisé) : Les méthodes précédentes demandaient au robot de maximiser la « diversité » ou la « curiosité ». C'est comme un professeur disant : « Va chercher les choses les plus colorées ! » Le robot pourrait simplement tourner en rond pour voir différentes couleurs, ce qui n'est pas très utile.
La Nouvelle Méthode (PIC) : Cette méthode ne demande pas au robot de chercher des choses spécifiques. Au lieu de cela, elle mesure le taux auquel le robot crée de nouvelles situations imprévisibles qu'il peut encore corriger.

Imaginez un enfant jouant avec une pile de blocs.

Si la pile est déjà au sol, l'enfant ne peut pas faire grand-chose (faible production d'information).
Si l'enfant fait tomber toute la tour instantanément, il ne peut pas contrôler la chute (chaos élevé, faible contrôle).
Mais si l'enfant équilibre soigneusement la tour, la faisant vaciller et ajustant ses mains pour l'empêcher de tomber, il est dans la « zone PIC ». Il génère beaucoup de données complexes et changeantes (les vacillements), mais c'est lui qui dirige le résultat.

Comment Cela Fonctionne (Le Tour de Magie)

Le papier relie cette idée à la Commande Optimale, qui est les mathématiques utilisées pour déterminer la meilleure façon de conduire une voiture ou piloter un avion.

Les auteurs ont découvert un lien caché : les mathématiques qui indiquent à un robot comment rester stable (la « fonction de valeur ») révèlent aussi secrètement combien de « chaos contrôlable » se produit.

Ils ont trouvé un moyen de calculer ce « taux de chaos » sans avoir besoin de deviner quelles variables mesurer.
Ils ont créé un calculateur rapide et stable (un algorithme) capable d'exécuter ces mathématiques même sur des robots complexes, quelque chose qui était auparavant trop difficile à réaliser.

Les Résultats : Des Robots Qui Se Lèvent

Les chercheurs ont testé cela sur plusieurs simulations de robots, notamment :

Le Pendule Inversé sur Chariot : Un bâton sur un chariot en mouvement.
Les Pendules Doubles et Triples : Des bâtons suspendus à d'autres bâtons, notoirement difficiles à équilibrer car ils oscillent sauvagement.
Un Gibbon : Un robot ressemblant à un humain suspendu à une barre, essayant de se hisser jusqu'à une position debout.

Le Résultat :
Sans aucune récompense ou instruction humaine, les robots utilisant la PIC ont trouvé comment :

Se balancer pour faire monter et équilibrer les bâtons.
Se hisser d'une position suspendue à une position debout (redressement autonome).

D'autres méthodes (comme les chercheurs de « curiosité » ou de « diversité ») ont principalement échoué. Elles se sont coincées dans des boucles ou n'ont pas pu trouver comment stabiliser la position verticale. Le robot PIC, en revanche, s'est naturellement orienté vers la position debout car c'est là que la « production d'information contrôlable » est la plus élevée. Il a réalisé que se tenir debout est l'état le plus « intéressant » à contrôler.

Pourquoi Cela Compte

Ce papier suggère une nouvelle règle pour la façon dont les systèmes intelligents devraient apprendre : Diriger les systèmes vers le bord du chaos contrôlable.

Au lieu de dire à un robot quoi faire, vous lui donnez une boussole pointant vers « l'instabilité intéressante et contrôlable ». Le robot découvre alors par lui-même des compétences utiles (comme se tenir debout ou s'équilibrer), car c'est là que les mathématiques indiquent que le contrôle le plus intéressant se produit.

En résumé : Le papier donne aux robots une nouvelle boussole interne. Au lieu de chercher des récompenses, ils cherchent la « zone Boucle d'Or » de la physique — là où les choses sont assez instables pour être un défi, mais assez contrôlables pour être maîtrisées. Cela leur permet d'apprendre des compétences physiques complexes, comme se tenir debout, sans qu'un humain ne leur dise jamais de le faire.

Résumé technique : Émergence de l'intelligence physique via la production d'information contrôlable

Énoncé du problème

Les approches actuelles de la motivation intrinsèque (MI) dans l'apprentissage robotique présentent trois déficiences structurelles fondamentales. Premièrement, elles reposent principalement sur l'information mutuelle entre des variables aléatoires choisies par le concepteur, servant de proxies pour des phénomènes au niveau du système tels que la complexité ou le chaos, plutôt que de mesurer directement ces phénomènes. Deuxièmement, la nécessité pour un concepteur de spécifier explicitement ces variables introduit un biais, contraignant implicitement la perception et l'action d'un agent. Troisièmement, bien qu'elles soient utilisées pour piloter le contrôle, ces objectifs manquent d'un lien principiel avec la théorie du contrôle optimal (CO), limitant ainsi l'interprétabilité et le développement de méthodes de contrôle efficaces. Par conséquent, les méthodes de MI existantes échouent souvent à induire des comportements physiques véritablement nouveaux et pertinents pour la tâche, tels que le redressement autonome, sans signaux de récompense externes.

Méthodologie : Production d'information contrôlable (PIC)

Les auteurs introduisent la Production d'Information Contrôlable (PIC), un nouveau paradigme de MI ancré directement dans les propriétés invariantes des systèmes dynamiques et la théorie du contrôle optimal.

Fondement théorique

La PIC est définie comme le taux auquel un système contrôlé produit de l'information le long de ses trajectoires, formellement identifié comme l'entropie de Kolmogorov-Sinai (EKS) induite par les actions de l'agent.

Boucle ouverte vs Boucle fermée : Le cadre distingue le taux de production d'information sous contrôle par rétroaction (EKS en boucle fermée, $h_{ks}(f^{cl})$ ) du taux si les perturbations étaient laissées sans régulation (EKS en boucle ouverte, $h_{ks}(f^{ol})$ ).
Dérivation du contrôle optimal : Les auteurs démontrent que la PIC émerge naturellement de la hessienne de la fonction de valeur optimale en CO. En décomposant la politique optimale en composantes extrinsèques (dérive orientée vers un but) et intrinsèques (rétroaction régulant les perturbations), ils montrent que la hessienne de la valeur encode la croissance des perturbations infinitésimales.
Insight clé : L'EKS en boucle ouverte ( $h_{ks}(f^{ol})$ ), dérivée de la hessienne de la valeur, sert d'objectif de PIC. Les auteurs prouvent que la PIC fournit une borne supérieure sur l'EKS en boucle fermée ( $PIC \ge h_{ks}(f^{cl})$ ), ce qui signifie que la maximisation de la PIC conduit le système vers des régions de « chaos contrôlable » élevé — des états instables en boucle ouverte mais stabilisables par rétroaction.

Estimation efficace

Le calcul de l'EKS dans des systèmes de haute dimension est historiquement difficile. L'article propose un estimateur numériquement stable et évolutif dérivé de l'équation algébrique de Riccati discrète (DARE).

Au lieu de propager directement la matrice hessienne (qui croît de manière exponentielle), la méthode propage le log-déterminant de l'inverse de la hessienne dans une récursion de domaine logarithmique.
Cette approche évite le besoin de décomposition QR, standard dans l'estimation du spectre de Lyapunov mais coûteuse en calcul et instable en haute dimension.
L'estimateur converge vers des valeurs d'EKS connues dans des systèmes chaotiques (par exemple, les attracteurs de Lorenz) plus rapidement que les méthodes QR de référence.

Implémentation

Dans les expériences, la PIC est mise en œuvre à l'aide d'un schéma de Contrôle Prédictif de Modèle (MPC) basé sur l'échantillonnage aléatoire. L'agent optimise une séquence de contrôle sur un horizon fini pour maximiser la PIC estimée, sous réserve d'une pénalité de contrôle. Aucune récompense externe ni démonstration n'est utilisée.

Contributions clés

Nouveau paradigme de MI : L'introduction de la PIC, qui déplace l'objectif de la promotion de la nouveauté/diversité vers l'identification et la stabilisation de régions saillantes de l'espace d'état (le « bord du chaos ») basées sur des invariants dynamiques.
Ancrage théorique : Un lien rigoureux entre la MI et le contrôle optimal, montrant que la PIC est encodée dans la courbure du paysage de valeur optimale. Cela fournit une justification principielle de la MI qui ne repose pas sur des postulats heuristiques.
Estimateur évolutif : Le développement d'un estimateur récursif efficace et numériquement stable pour l'EKS, opérant directement sur les jacobiennes du système, surmontant les limitations précédentes dans les applications de haute dimension.
Validation empirique : Démonstration que la PIC surpasse les méthodes de MI de l'état de l'art (y compris l'empowerment, DIAYN, DADS, SMM et ICM) sur des benchmarks standards, permettant de manière unique l'acquisition de compétences physiques complexes comme le redressement autonome d'humanoides sans récompenses externes.

Résultats expérimentaux

Les auteurs ont évalué la PIC sur quatre systèmes de référence dans Mujoco-MJX : le pendule inversé (Cart Pole), le pendule double, le pendule triple et un humanoïde planaire (Gibbon).

Performance de redressement : La PIC a constamment conduit les agents vers la position entièrement debout (hauteur normalisée $\approx 0,93–0,99$ ) dans tous les environnements.
Comparaison avec les références :
- MI basée sur les compétences (DIAYN, DADS, SMM) : Ces méthodes ont échoué à stabiliser la position debout, se contentant souvent de poses oscillatoires ou stables sous-optimales. Les auteurs attribuent cela à la « pression de sélection » pour la diversité de l'espace d'état, qui favorise des états plus faciles à maintenir par rapport à la configuration debout difficile.
- MI basée sur la curiosité (ICM) : Ces méthodes ont échoué à stabiliser, se fixant souvent sur un mouvement imprévisible à haute vitesse ou cessant d'être « surprises » à mesure que les prédisseurs s'amélioraient.
- Empowerment : Bien que réussi dans le pendule inversé, l'empowerment n'a réussi que partiellement dans le pendule double et a échoué à stabiliser le pendule triple ou le Gibbon, tombant dans des états sous-optimaux.
Corrélation avec l'entropie : Les valeurs de PIC estimées ont augmenté à mesure que les agents passaient de configurations suspendues (faible entropie) à des configurations debout (haute entropie), confirmant que l'état debout correspond à une production d'information en boucle ouverte élevée.

Importance et affirmations

L'article postule que l'intelligence physique émerge de la conduite des systèmes vers le bord du chaos contrôlable. En maximisant la production d'information qu'un agent peut contrôler, la PIC fournit un mécanisme principiel pour découvrir des comportements utiles sans biais humain.

Impact théorique : Ce travail unifie la MI et le CO, formalisant l'intelligence physique comme le contrôle de la production d'information. Il révèle un lien structurel entre la fonction de valeur et l'entropie de Kolmogorov-Sinai.
Impact pratique : La PIC permet aux agents d'apprendre des comportements complexes et économes en énergie (comme le redressement) qui sont des prérequis pour la locomotion, ce que les méthodes de MI antérieures n'ont pas réussi à réaliser de manière autonome.
Limites : Les auteurs reconnaissent que l'implémentation actuelle repose sur des simulateurs différentiables pour accéder aux jacobiennes et utilise un contrôleur MPC simple, ce qui peut limiter l'évolutivité vers des systèmes réels de très haute dimension. Les travaux futurs visent à intégrer la PIC avec des modèles dynamiques appris et des politiques d'apprentissage par renforcement de l'état de l'art.

Les auteurs concluent que la PIC représente un principe organisateur général pour l'intelligence physique, dépassant les objectifs heuristiques pour un cadre dérivé des mathématiques fondamentales du contrôle et des systèmes dynamiques.