🤖 AI

Curiosity-Diffuser: Curiosity Guide Diffusion Models for Reliability

Cet article présente Curiosity-Diffuser, une méthode qui améliore la fiabilité des politiques d'imitation robotiques en utilisant un module de distillation de réseau aléatoire (RND) pour guider les modèles de diffusion conditionnels vers la génération de trajectoires présentant une curiosité moindre, réduisant ainsi les hallucinations et la surgénéralisation tout en alignant plus étroitement les comportements avec les données d'entraînement.

Auteurs originaux : Zihao Liu, Xing Liu, Yuhang Dong, Haitao Chang, Zhengxiong Liu, Panfeng Huang

Publié 2026-08-06

📖 9 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zihao Liu, Xing Liu, Yuhang Dong, Haitao Chang, Zhengxiong Liu, Panfeng Huang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous apprenez à un robot à faire un nouveau tour, comme jongler ou ouvrir une porte. Vous lui montrez une vidéo d'un humain le faisant parfaitement, et le cerveau du robot (un réseau de neurones) essaie de copier ces mouvements. C'est ce qu'on appelle l'« apprentissage par imitation ». C'est comme un étudiant qui mémorise un manuel pour réussir un examen. Mais voici le hic : que se passe-t-il quand la question de l'examen est légèrement différente de tout ce qui est dans le livre ? Dans le monde réel, les choses sont désordonnées. Un robot peut être confronté à une situation qu'il n'a jamais vue auparavant, et son cerveau peut commencer à « halluciner ». Au lieu de trouver un nouveau mouvement sûr, il pourrait inventer une action folle et impossible qui le ferait s'écraser ou faire tomber l'objet. Cette instabilité est un problème majeur si nous voulons que les robots travaillent en toute sécurité dans nos maisons ou nos hôpitaux. Les scientifiques essaient de construire des robots qui ne font pas que mémoriser, mais qui savent aussi quand ils devinent et doivent être prudents.

Ce document présente une nouvelle méthode ingénieuse pour empêcher les robots d'inventer des mouvements dangereux. Les auteurs, travaillant avec un type d'IA appelé « modèle de diffusion » (qui est comme un artiste intelligent capable de dessiner une image en transformant lentement un bruit aléatoire en une image claire), ont créé un système qu'ils appellent Curiosity-Diffuser. Considérez le cerveau du robot comme un étudiant qui a étudié un ensemble spécifique de problèmes d'entraînement. Face à un nouveau problème, l'étudiant peut paniquer et deviner de manière désordonnée. Le Curiosity-Diffuser ajoute un « compteur de curiosité » au robot. Si le robot tente de faire quelque chose qui semble trop étrange ou inhabituel par rapport à ce qu'il a appris, le compteur s'active. Le système réoriente alors doucement le robot vers les mouvements sûrs et familiers qu'il connaît, l'empêchant de s'aventurer en territoire dangereux.

Les chercheurs ont testé cette idée de deux manières : d'abord dans des simulations informatiques où des robots devaient marcher ou naviguer dans des labyrinthes, puis dans le monde réel avec de véritables bras robotisés. Ils ont découvert qu'en utilisant ce « guide de curiosité », les robots sont devenus beaucoup plus fiables. Dans les simulations, les robots ont fait moins d'erreurs et sont restés plus proches des chemins sûrs qu'ils avaient pratiqués. Dans le monde réel, lorsqu'on a demandé au robot de fermer la porte d'un placard ou d'empiler des blocs, cette nouvelle méthode l'a aidé à réussir 85 % du temps, contre environ 50 % pour les anciennes méthodes. Le document suggère qu'en apprenant au robot à reconnaître quand il est « dépassé par les événements » et en le guidant vers la sécurité, nous pouvons créer des machines intelligentes qui sont beaucoup moins susceptibles de causer des accidents.

L'histoire du robot curieux

Le Problème : La rêverie du robot
Imaginez que vous êtes un robot nommé Robo. Vous avez été entraîné en regardant un humain ouvrir une porte 100 fois. Vous savez exactement comment saisir la poignée et pousser. Mais un jour, la porte est légèrement plus lourde, ou votre main est placée légèrement différemment. Votre cerveau, qui est très bon pour copier ce qu'il a vu, commence à paniquer. Il ne sait plus quoi faire, alors il commence à « halluciner ». Il pourrait décider de pousser la porte avec son coude, ou essayer de sauter par-dessus, ou simplement tourner en rond. Ce sont des « hallucinations » — des actions inventées qui semblent pourraient fonctionner, mais qui sont en réalité absurdes. Dans le monde réel, cela est dangereux. Si un robot hallucine en tenant un outil lourd, il pourrait blesser quelqu'un.

La Solution : La boussole de la curiosité
Les auteurs de ce document ont réalisé que les robots ont besoin d'un moyen de vérifier leur propre confiance. Ils ont emprunté une idée issue d'un domaine appelé « apprentissage par renforcement » appelée Random Network Distillation (RND). Décomposons cela avec une analogie simple.

Imaginez que vous avez un « Enseignant » et un « Étudiant ».

L'Enseignant est un cerveau aléatoire et fixe qui n'apprend rien. Il se contente de regarder une situation et donne une réponse aléatoire.
L'Étudiant est un cerveau qui, lui, apprend. Il essaie de deviner ce que l'Enseignant dirait s'il regardait la même situation.

Lorsque l'Étudiant voit une situation qu'il a beaucoup pratiquée (comme ouvrir la porte), il peut prédire la réponse de l'Enseignant parfaitement. La différence entre eux est infime. Mais quand l'Étudiant voit une situation étrange et nouvelle (comme la porte lourde), il est confus. Sa supposition est totalement différente de la réponse aléatoire de l'Enseignant. Cette grande différence est le score de « Curiosité ». Une curiosité élevée signifie « Je ne connais pas cela ! ». Une curiosité faible signifie « J'ai déjà vu cela ; je suis en sécurité ».

Comment fonctionne le Curiosity-Diffuser
Le document combine cette Boussole de Curiosité avec un outil puissant appelé Modèle de Diffusion. Habituellement, un modèle de diffusion est comme un sculpteur qui part d'un bloc de bruit et qui taille jusqu'à ce qu'une statue apparaisse. En robotique, la « statue » est un plan pour la façon de bouger. Le robot génère de nombreux plans possibles, en partant du chaos et en les affinant lentement.

Les auteurs ont ajouté une nuance : ils ont dit au modèle de diffusion : « Pendant que tu tailles le bruit pour créer un plan, garde un œil sur ta Boussole de Curiosité ».

Si le plan commence à ressembler à quelque chose que le robot n'a jamais vu (curiosité élevée), la boussole repousse le plan vers le familier.
Si le plan semble sûr et familier (curiosité faible), la boussole le laisse continuer.

C'est comme avoir un entraîneur debout à côté du sculpteur. Si le sculpteur commence à sculpter une forme étrange et impossible, l'entraîneur dit : « Doucement, cela ne ressemble en rien aux photos d'entraînement. Essayons une forme plus proche de l'original ».

Les Résultats : Des robots plus sûrs et plus intelligents
L'équipe a testé cela de deux manières principales :

Dans le monde informatique (Simulations) : Ils ont utilisé des robots virtuels qui devaient traverser un sol ou naviguer dans un labyrinthe.
- Dans les tâches MuJoCo (robots marcheurs virtuels), la nouvelle méthode a aidé les robots à mieux performer, surtout lorsque les données d'entraînement étaient de haute qualité.
- Dans les tâches AntMaze (une fourmi virtuelle naviguant dans un labyrinthe complexe), les résultats sont encore plus impressionnants. Sans le guide de curiosité, les autres robots échouaient presque complètement, restant bloqués ou s'égarant. Le Curiosity-Diffuser a aidé la fourmi virtuelle à atteindre l'objectif beaucoup plus souvent. Par exemple, dans le groupe « Play » d'AntMaze, la nouvelle méthode a réussi 58,6 % du temps, tandis que les autres méthodes dépassaient à peine les 8 %.
Dans le monde réel : Ils ont pris un véritable bras robotisé et lui ont appris deux tâches :
- Hammer Close Door (Fermer la porte avec un marteau) : Utiliser un marteau pour pousser la porte d'un placard pour la fermer.
- Block Ranking (Classement de blocs) : Prendre un bloc rouge et l'empiler sur un bloc vert.
- Ils ont testé le robot avec de légères modifications, comme déplacer la position de départ du bras ou des objets.
- Les anciennes méthodes (comme l'apprentissage par imitation standard) ne réussissaient qu'environ 50 % du temps.
- Le nouveau Curiosity-Diffuser a réussi 85 % du temps. Il était beaucoup plus stable et ne restait pas bloqué ou ne faisait pas de mouvements brusques et dangereux.

Le score « K-Sim » : Mesurer la sécurité
Les auteurs ont également inventé une nouvelle façon de mesurer à quel point les mouvements d'un robot sont « sûrs ». Ils l'appellent K-Sim.

Imaginez que vous avez une carte de tous les endroits sûrs où le robot s'est déjà trouvé.
Lorsqu'un robot bouge, le K-Sim vérifie : « À quel point ce nouveau mouvement est-il proche de la carte de sécurité ? »
Un score proche de 1,0 signifie que le robot reste pile sur le chemin sûr.
Un score proche de 0 signifie que le robot s'aventure dans un territoire inconnu et dangereux.
Le Curiosity-Diffuser obtient systématiquement des scores K-Sim plus élevés (environ 0,827 en moyenne dans les tests de labyrinthe) par rapport aux autres méthodes, prouvant qu'il maintient réellement le robot sur un terrain familier.

Une mise en garde
Le document précise bien que ce n'est pas une baguette magique qui règle tout. Le « poids de la curiosité » (à quel point le robot écoute la boussole) doit être parfaitement dosé. Si le robot écoute trop la boussole, il devient trop effrayé pour essayer quoi que ce soit de nouveau et pourrait échouer à terminer la tâche. S'il écoute trop peu, il pourrait encore halluciner. Les auteurs ont trouvé un « point d'équilibre » où le robot concilie sécurité et efficacité.

Pourquoi cela importe
Cette recherche suggère qu'en donnant aux robots un moyen de mesurer leur propre « familiarité » avec une situation, nous pouvons les empêcher d'inventer des mouvements dangereux. C'est une étape vers la création de robots qui ne sont pas seulement intelligents, mais aussi humbles et prudents — sachant quand ils sont dépassés par les événements et s'en tenant à ce qu'ils savent faire fonctionner. Bien que le document montre de grands résultats dans les simulations et les tests en conditions réelles, les auteurs notent qu'il reste du travail pour rendre ces systèmes encore plus robustes face à chaque situation possible dans notre monde complexe.

Résumé Technique : Curiosity-Diffuser

Énoncé du Problème
L'article traite du problème critique de l'instabilité et du manque de fiabilité de l'apprentissage par imitation robotique, particulièrement lorsque les politiques rencontrent des états hors distribution (OOD - out-of-distribution). Bien que les avancées récentes dans les réseaux de neurones profonds et les jeux de données à grande échelle aient permis des cadres d'apprentissage par imitation sophistiqués (par exemple, les Diffusion Policies, les Transformers), ces modèles souffrent souvent d'« hallucinations » — générant des actions ou des trajectoires inexactes face à des états nouveaux qui n'étaient pas suffisamment couverts par les données d'entraînement. En exécution en boucle fermée, de telles erreurs peuvent être amplifiées de manière récursive, entraînant des erreurs de composition qui compromettent la sécurité et le succès de la tâche. Les méthodes existantes, telles que le passage à l'échelle des jeux de données ou l'ajustement par apprentissage par renforcement, n'ont pas pleinement résolu le compromis entre généralisation et fiabilité.

Méthodologie
Les auteurs proposent Curiosity-Diffuser, une méthode conçue pour guider les modèles de diffusion conditionnels afin de générer des trajectoires présentant une plus faible « curiosité », garantissant ainsi que les comportements générés restent dans la distribution des données d'entraînement. L'approche intègre trois composantes clés :

Évaluation de la curiosité basée sur RND : La méthode utilise un module de distillation de réseau aléatoire (Random Network Distillation - RND) pour évaluer la nouveauté des états. Elle se compose d'un encodeur aléatoire à paramètres fixes $f_\xi$ et d'un réseau de prédiction apprenable $f_\eta$ . La valeur de la « curiosité » est définie par l'erreur de prédiction $\|f_\eta(\tau) - f_\xi(\tau)\|^2$ . Une erreur faible indique que l'état est familier (en distribution), tandis qu'une erreur élevée suggère une nouveauté (potentiellement OOD).
Diffusion guidée par la curiosité : Contrairement aux méthodes qui utilisent RND uniquement pour sélectionner parmi les trajectoires échantillonnées post-hoc, Curiosity-Diffuser intègre le signal RND directement dans le processus d'échantillonnage de la diffusion via un guidage par classificateur. Le terme de guidage $g$ combine un gradient basé sur la récompense ( $g_1$ ) et un gradient de minimisation de la curiosité ( $g_2$ ) :
$g = g_1 + \lambda g_2$
Ici, $g_2$ est dérivé du gradient de l'erreur de prédiction RND, orientant le processus de débruitage loin des régions de haute curiosité (peu fiables), tandis que $g_1$ assure l'accomplissement de la tâche. L'entraînement du réseau de politique et du classificateur RND est découplé.
Métrique K-Sim : Pour évaluer quantitativement la fiabilité, les auteurs introduisent K-Sim, une métrique efficace sur le plan computationnel mesurant la similitude entre les comportements générés et le jeu de données d'entraînement. Elle utilise le partitionnement en K-moyennes (K-Means clustering) sur les états d'entraînement pour trouver efficacement les paires état-action les plus proches pour les trajectoires de test, calculant un score de distance normalisé. Un score proche de 1,0 indique une plus grande similitude avec la distribution d'entraînement.

Contributions Clés

Diffusion guidée par la curiosité : Un nouveau cadre qui utilise RND pour guider le modèle de diffusion conditionnel pendant l'inférence, supprimant activement les comportements OOD et réduisant les hallucinations plutôt que de simplement les filtrer a posteriori.
Métrique d'évaluation de la fiabilité : L'introduction de K-Sim, une métrique évolutive pour mesurer la proximité des décisions de la politique par rapport au jeu de données d'entraînement, facilitant la recherche sur l'apprentissage par imitation stable.
Entraînement découplé : Une stratégie où la politique et le classificateur de curiosité sont entraînés indépendamment, permettant une intégration flexible des signaux de guidage.
Validation complète : Évaluations approfondies à travers la simulation (D4RL MuJoCo, Minari AntMaze) et des tâches de manipulation robotique en monde réel.

Résultats Expérimentaux

Simulation (MuJoCo) : Dans le jeu de données Medium-Expert, Curiosity-Diffuser a obtenu la meilleure performance moyenne parmi les bases de référence (77,9), montrant une force particulière dans les tâches avec des démonstrations d'experts de haute qualité. Cependant, les auteurs notent que les gains de performance sont modestes et dépendants des données ; dans les jeux de données de moindre qualité (Medium-Replay), la méthode a montré une sensibilité, sous-performant parfois par rapport à Conservative Q-Learning (CQL) ou Implicit Q-Learning (IQL).
Simulation (AntMaze) : La méthode a démontré une supériorité significative dans les environnements à récompense parcimonieuse. Alors que les bases de référence comme Diffuser et Decision Transformer ont échoué à résoudre les tâches AntMaze (0 % de succès dans de nombreuses configurations), Curiosity-Diffuser a atteint des taux de réussite allant jusqu'à 58,6 % (AntMaze-Medium-Play) et 42,0 % (AntMaze-Large-Diverse). Le guidage RND s'est avéré crucial pour naviguer dans les tâches à long horizon où les signaux de récompense sont rares.
Analyse K-Sim : Curiosity-Diffuser a obtenu le score K-Sim moyen le plus élevé (0,827) par rapport à Diffuser (0,785) et ReDiffuser (0,795), confirmant que le processus de génération guidé produit des trajectoires plus similaires aux données d'entraînement.
Manipulation en monde réel : Dans des expériences avec un bras robotique PiPER effectuant les tâches « Hammer Close Door » et « Block Ranking », Curiosity-Diffuser a atteint un taux de succès moyen de 85 %, surpassant la Diffusion Policy standard (57,5 %) et l'Action Chunking Transformer (47,5 %). La méthode a montré une robustesse contre les changements de distribution légers, tels que la randomisation du placement des objets et les perturbations de pose initiale.
Analyse de sensibilité : Les auteurs ont constaté une relation non monotone entre le poids de la curiosité $\lambda$ et la performance de la tâche. Une dépendance excessive au guidage par la curiosité ( $\lambda$ trop élevé) peut entraver l'accomplissement de la tâche, tandis que $\lambda=0$ conduit à des hallucinations. Un équilibre optimal est requis.

Signification et Revendications
L'article affirme que Curiosity-Diffuser améliore considérablement la fiabilité des politiques d'apprentissage par imitation en empêant le modèle de dériver vers des régions OOD pendant l'inférence. En intégrant la minimisation de la curiosité directement dans le processus de génération de la diffusion, la méthode réduit les erreurs de composition et les hallucinations, menant à des comportements robotiques plus sûrs et plus cohérents. Les auteurs soulignent que bien que la méthode améliore les performances, elle n'est pas un remède universel ; son efficacité dépend de la qualité des données et nécessite un réglage minutieux du poids de guidage. Ce travail offre une voie pratique pour le déploiement d'agents d'apprentissage par imitation plus robustes dans des scénarios réels où la sécurité et la fiabilité sont primordiales.

L'histoire du robot curieux

Articles similaires