💻 informatique

Abstracting Robot Manipulation Skills via Mixture-of-Experts Diffusion Policies

L'article introduit la politique Skill Mixture-of-Experts (SMP), un cadre basé sur la diffusion qui apprend une base de compétences orthogonale compacte et utilise un routage collant pour activer dynamiquement uniquement les experts pertinents pour la tâche, atteignant ainsi des performances de manipulation multi-tâches supérieures et des coûts d'inférence nettement inférieurs par rapport aux modèles de diffusion à grande échelle.

Auteurs originaux : Ce Hao, Xuanran Zhai, Yaohua Liu, Harold Soh

Publié 2026-01-30

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ce Hao, Xuanran Zhai, Yaohua Liu, Harold Soh

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot doté de deux bras à effectuer diverses tâches ménagères : ramasser une bouteille, balayer la poussière ou mettre une carte dans un tiroir.

Par le passé, les chercheurs ont tenté de résoudre ce problème en construisant un seul « cerveau » géant (un modèle d'IA massif) en espérant qu'il puisse comprendre chaque tâche de lui-même. Mais c'est comme essayer de transporter une bibliothèque entière dans son sac à dos juste pour lire un seul livre. C'est lourd, lent, et le robot s'embrouille lorsque les tâches deviennent trop différentes.

Ce document présente une nouvelle méthode appelée SMP (Skill Mixture-of-Experts Policy — Politique de mélange d'experts de compétences). Voyez le SMP non pas comme un seul cerveau géant, mais comme une équipe de construction hautement organisée dotée d'un ensemble d'outils spécifiques et d'un contremaître intelligent.

Voici comment cela fonctionne, décomposé en concepts simples :

1. La « Boîte à outils » (La base de compétences orthogonales)

Au lieu d'essayer d'apprendre chaque mouvement à partir de zéro, le SMP apprend un petit ensemble de compétences de base réutilisables.

L'analogie : Imaginez une boîte à outils. Vous n'avez pas besoin d'un outil unique pour chaque travail. Vous avez juste besoin d'un marteau, d'un tournevis et d'une clé.
Comment le SMP procède : Il apprend des compétences « orthogonales ». En termes mathématiques, cela signifie que les compétences sont parfaitement distinctes, comme les axes X, Y et Z sur un graphique. Une compétence pourrait être purement « se déplacer vers la gauche », une autre « pivoter », et une autre « saisir ». Parce qu'elles ne se chevauchent pas, le robot sait exactement quel outil utiliser sans s'embrouiller.
Le rebondissement : La boîte à outils n'est pas statique. Si le bras du robot est dans une position étrange, la boîte à outils se « transforme » légèrement pour s'adapter à la situation, garantissant que les outils fonctionnent toujours parfaitement pour cet angle spécifique.

2. Le « Contremaître » (Routage collant / Sticky Routing)

Une fois que le robot possède sa boîte à outils, il lui faut quelqu'un pour décider quels outils utiliser et quand.

L'analogie : Imaginez un chantier de construction. Vous ne voulez pas que le contremaître passe du marteau au tournevis chaque seconde. Ce serait chaotique et inefficace. Vous voulez que le contremaître dise : « D'accord, pour les 10 prochaines secondes, nous ne faisons que marteler », puis passe à « visser » pour la phase suivante.
Comment le SMP procède : Il utilise ce qu'on appelle un « routage collant » (sticky routing). La « porte » (le décideur) reste sur la même compétence pendant un certain temps. Elle ne vacille pas et ne change pas d'avis de manière erratique. Cela crée des phases de mouvement fluides et naturelles, comme « atteindre », « saisir », « déplacer » et « relâcher ».

3. L'« Équipe intelligente » (Mélange d'experts)

Le SMP possède de nombreux « experts » (de petits modèles d'IA), mais il n'utilise pas tous les experts en même temps.

L'analogie : Pensez à la cuisine d'un restaurant. Quand vous commandez un burger, vous n'avez pas besoin que le chef de sushi, le chef pâtissier et le maître du gril travaillent tous en même temps sur votre plat. Vous avez juste besoin du maître du gril.
Comment le SMP procède : À n'importe quel moment donné, le SMP regarde ce que fait le robot et n'active que les quelques experts nécessaires pour cette étape spécifique.
- Si le robot doit bouger son bras gauche, il réveille les experts du « Bras Gauche ».
- S'il doit pivoter, il réveille les experts de la « Rotation ».
- Le reste des experts reste endormi (économisant ainsi de l'énergie et du temps).

Pourquoi est-ce meilleur ?

Le papier a testé cette méthode à la fois sur des simulations informatiques et sur de vrais robots dotés de deux bras. Voici ce qu'ils ont découvert :

C'est plus rapide : Comme le SMP ne réveille que quelques « experts » à la fois, il n'a pas besoin d'effectuer les calculs lourds d'un cerveau géant. Il s'exécute beaucoup plus rapidement, ce qui est crucial pour le contrôle des robots en temps réel.
C'est plus intelligent pour l'apprentissage : Lorsque le robot a appris un grand nombre de tâches différentes, le SMP a compris que « saisir une bouteille » et « saisir un bloc » utilisent la même compétence sous-jacente. Il a réutilisé ces compétences au lieu de les réapprendre de zéro.
Il s'adapte rapidement : Lorsqu'on lui a donné une nouvelle tâche avec très peu d'exemples (comme 10 essais), le SMP a pu s'adapter beaucoup plus vite que les modèles géants car il avait seulement besoin d'ajuster son « contremaître » pour choisir les bons outils existants, plutôt que de reconstruire tout son cerveau.

L'essentiel

Ce document soutient qu'au lieu de rendre les robots « plus gros » et « plus stupides » (des modèles massifs, lents et coûteux), nous devrions les rendre modulaires et efficaces.

En enseignant à un robot un petit ensemble de compétences distinctes et réutilisables, et en lui donnant un système intelligent pour choisir les bonnes au bon moment, nous pouvons amener les robots à accomplir des tâches complexes et multiples de manière rapide et fiable, même sur du matériel réel. C'est la différence entre porter une bibliothèque dans son sac à dos et porter un couteau suisse intelligent et adaptable.

Résumé Technique : Abstraction de Compétences de Manipulation Robotique via une Politique de Diffusion par Mélange d'Experts

Énoncé du Problème

Les politiques basées sur la diffusion ont démontré un succès remarquable dans la manipulation robotique mono-tâche en modélisant la génération d'actions comme un processus de débruitage. Cependant, l'extension de ces politiques à des scénarios multi-tâches présente des défis importants. Les stratégies actuelles reposent souvent sur l'augmentation de la taille du modèle et des ensembles de données de démonstration pour parvenir à la généralisation. Cette approche engendre des coûts prohibitifs : les modèles surdimensionnés souffrent de vitesses d'inférence lentes, peu adaptées au contrôle en temps réel, et les données de démonstration requises croissent de manière exponentielle avec la diversité des tâches. De plus, les applications existantes du Mélange d'Experts (Mixture-of-Experts, MoE) en robotique échouent souvent à désintriquer explicitement les compétences de manipulation réutilisables, ce qui conduit à des comportements entremêlés et une faible interprétabilité. Le défi central est de permettre une généralisation multi-tâche efficace avec des tailles de modèles modérées et une faible latence d'échantillonnage, tout en garantissant que les compétences soient réutilisables et transférables.

Méthodologie : Politique de Mélange d'Experts de Compétences (SMP)

Les auteurs proposent la Politique de Mélange d'Experts de Compétences (Skill Mixture-of-Experts Policy, SMP), un cadre basé sur la diffusion qui apprend une base de compétences orthogonale compacte et compose les actions à partir d'un sous-ensemble épars d'experts.

1. Base de Compétences Orthogonale Adaptative à l'État

Au lieu d'utiliser une base d'action fixe, la SMP apprend une base orthonormée dépendante de l'état $B(s) \in \mathbb{R}^{d \times K}$ (où $K \ll d$ ).

Construction : Un réseau de neurones léger génère une matrice non contrainte $W(s)$ , qui est projetée sur la variété de Stiefel via une rétraction QR mince différentiable avec stabilisation de signe. Cela garantit que les vecteurs de la base restent orthonormés et évoluent continuellement avec l'état du robot (ex: pose du bras, contact), préservant ainsi le désintriquetage local.
Décomposition de l'Action : Les actions sont décodées sous la forme $a_t = B(s_t)(g_t \odot z_t)$ , où $g_t$ sont les poids de porte (gating weights) et $z_t$ sont les coefficients de compétence. Cette décomposition orthogonale garantit que chaque expert contribue à une direction distincte et non chevauchante dans l'espace d'action.

2. Routage "Sticky" et Utilisation Globale

Pour résoudre le problème du changement rapide et instable entre les experts (chatter/tremblement), la SMP utilise une dynamique de Dirichlet-Markov "sticky" pour le mécanisme de porte.

Cohérence Temporelle : La porte $g_t$ est modélisée comme un processus de Markov où l'état actuel dépend de la porte précédente $g_{t-1}$ et d'un vecteur d'utilisation globale $\vartheta$ . Cela encourage des activations de compétences par morceaux constants, s'alignant sur les phases quasi-stationnaires des tâches de manipulation (ex: saisir, déplacer, relâcher).
Utilisation Globale : Un vecteur global $\vartheta$ capture la prévalence globale des compétences, empêant la politique de s'effondrer sur un seul expert tout en maintenant une utilisation équilibrée entre les tâches.

3. Objectif d'Entraînement Variationnel

La SMP est entraînée via l'inférence variationnelle pour maximiser la borne inférieure de l'évidence (ELBO), qui se décompose en trois composantes :

Perte de Reconstruction ( $L_{recon}$ ) : Assure que l'action synthétisée dans la base blanchie correspond à la vérité terrain. Crucialement, l'entraînement utilise deux cibles de coefficients : une cible avec arrêt de gradient (stop-gradient) pour le substitut de diffusion et une cible transportant le gradient pour reconstruire l'action, permettant à la base de compétence $B(s)$ d'être mise à jour sans déstabiliser le processus de diffusion.
Régularisation de la Porte ( $L_{gate}$ ) : Aligne la distribution a posteriori amortie de la porte avec le prior de Dirichlet "sticky", imposant des contraintes de persistance temporelle et d'utilisation globale.
Régularisation des Coefficients ( $L_{coeff}$ ) : Aligne les coefficients de compétence avec leurs priors de diffusion.

4. Activation Adaptative des Experts lors de l'Inférence

Pour réduire le coût computationnel, la SMP n'évalue pas tous les experts à chaque étape.

Routeur Basé Uniquement sur l'État : Un routeur léger prédit les poids de la porte en se basant uniquement sur l'état $s_t$ .
Sélection Éparse : Les experts sont classés par leur "masse" ( $m_i = \bar{g}_{t,i}^2$ ). Le système n'active que les top- $k$ experts ou le plus petit sous-ensemble capturant un seuil (ex: 95 %) de la masse totale. Cela produit une activation éparse et dépendante de l'état, réduisant considérablement les paramètres actifs et la latence.

Principales Contributions

Cadre SMP : Une politique de diffusion MoE qui abstrait explicitement des compétences de manipulation réutilisables via une base d'action orthonormée dépendante de l'état avec un routage "sticky".
Stratégie d'Activation Adaptative : Un mécanisme de sélection dynamique qui active un sous-ensemble compact d'experts lors de l'inférence, réduisant le coût de calcul tout en maintenant la précision de l'échantillonnage des actions.
Validation Empirique : Évaluation complète en simulation (RoboTwin-2, RLBench-2) et sur une plateforme réelle à deux bras, démontrant des taux de succès multi-tâches supérieurs et des coûts d'inférence moindres par rapport aux bases de diffusion fortes.

Résultats Expérimentaux

Les auteurs ont évalué la SMP par rapport aux politiques de diffusion classiques (DP, DP3), aux politiques basées sur les Transformers (ACT), aux grands modèles de fondation (RDT) et à d'autres bases de type abstraction de compétences ou MoE.

Apprentissage Multi-Tâches : La SMP a obtenu des taux de succès systématiquement plus élevés sur des tâches bimanuelles (ex: soulever des plateaux, transferts, balayage) par rapport aux bases. Alors que le passage à l'échelle de RDT (un modèle de 1,2 milliard de paramètres) n'a amélioré le succès que de 19 % par rapport à une base plus petite, la SMP a atteint des performances supérieures avec une empreinte nettement plus réduite.
Efficacité : La SMP a réduit le temps d'inférence et les paramètres actifs. Elle a activé environ 30 % de ses propres paramètres (soit environ 7 % des paramètres totaux de RDT) tout en maintenant un succès élevé. En revanche, les bases denses et les variantes FFN-MoE ont souffert d'une latence plus élevée en raison de la nécessité de synchroniser ou d'évaluer tous les experts.
Apprentissage par Transfert :
- Adaptation Few-Shot : Lors d'un ajustement fin sur de nouvelles tâches avec seulement 10 démonstrations, la SMP a surpassé les bases en réutilant efficacement les experts pertinents sans nécessiter de réentraîner l'intégralité de la structure (backbone).
- Composition de Compétences : Dans les tâches nécessitant la recombinaison de compétences apprises (ex: mettre des frites dans une poêle), le réglage fin du routeur de la SMP a réussi à recomposer les compétences, là où les bases présentaient des rôles flous et des phases incohérentes.
Performance sur Robot Réel : Sur une plateforme bimanuelle PiPER, la SMP a obtenu les scores de progression les plus élevés sur quatre tâches bimanuelles complexes (ex: retirer des capuchons de stylos, verser des haricots) avec une latence plus faible que les bases de diffusion.

Signification et Revendications

L'article affirme que la SMP offre une voie pratique vers une manipulation multi-tâche scalable et transférable. En apprenant des compétences réutilisables une fois pour toutes et en n'activant que ce qui est nécessaire, la SMP résout le compromis entre capacité du modèle et efficacité d'inférence. Les auteurs soulignent que les experts appris s'alignent sur des rôles de manipulation intuitifs (bras gauche/droit, phases de saisie/déplacement/pose) et que le mécanisme d'activation adaptative offre un levier simple pour échanger la précision contre la latence. Ce travail suggère que le désintriquetage explicite des compétences et un routage cohérent avec les phases sont critiques pour un contrôle bimanuel robuste, offrant une alternative plus efficace au passage à l'échelle brute des modèles.

Les auteurs reconnaissent des limites, notant que l'étude actuelle se concentre sur la manipulation bimanuelle avec des structures relativement petites. Des travaux futurs sont proposés pour étendre la SMP à des modèles plus larges, élargir l'évaluation à la manipulation mono-bras et mobile, et mener des études plus approfondies sur des robots réels pour évaluer la robustesse face au bruit de détection et au décalage de domaine (domain shift).