💻 computer science

APEX: Adaptive Policy Execution for Precise Manipulation

Le papier introduit APEX, un cadre plug-and-play qui comble l'écart d'exécution entre les politiques d'apprentissage par imitation de haut niveau et les contrôleurs de bas niveau en reconstruisant des références dynamiquement réalisables et en s'adaptant au retour d'état lors du test, réduisant ainsi considérablement les erreurs de suivi et améliorant le succès de la manipulation sans nécessiter de modifications de la politique ou du contrôleur d'origine.

Auteurs originaux : Mengfei Zhao, Chenxi Jiang, Tuo An, Jindou Jia, Jianfei Yang

Publié 2026-06-16

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mengfei Zhao, Chenxi Jiang, Tuo An, Jindou Jia, Jianfei Yang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot à enfiler une aiguille ou à empiler des blocs. Vous avez un « Cerveau » (la politique d'IA) qui sait exactement quoi faire, et vous avez des « Muscles » (le contrôleur de bas niveau) qui font réellement bouger les bras du robot.

Le problème, selon cet article, est que le Cerveau et les Muscles ne parlent pas parfaitement la même langue.

Le Problème : Le « Fossé de Traduction »

L'IA Cerveau est excellente pour la planification. Elle dit : « Déplace le bras vers cet endroit exact, à cette vitesse exacte. » Cependant, les Muscles du robot (le contrôleur) sont souvent rigides ou imparfaits. Ils peuvent être un peu lents, ou ils peuvent ne pas comprendre les commandes subtiles d'« accélération » que le Cerveau leur donne.

Voyez cela comme un chef d'orchestre (le Cerveau) agitant sa baguette pour dire à un orchestre (les Muscles) de jouer une note. Le chef d'orchestre agite sa baguette parfaitement, mais le violoniste (le contrôleur) est légèrement désaccordé ou réagit avec un léger temps de retard. Le résultat ? La musique (le mouvement du robot) est légèrement fausse. Dans un jeu simple, cela n'a pas d'importance. Mais si le robot essaie d'enfiler une aiguille avec un trou de 3 millimètres, être décalé d'un tout petit peu signifie que la tâche échoue.

Les auteurs appellent cela l'« Écart d'Exécution » (Execution Gap).

Les Anciennes Solutions (Pourquoi elles étaient agaçantes)

Auparavant, pour corriger cela, les gens essayaient deux choses :

Réécrire le Cerveau : Modifier le code de l'IA pour qu'elle soit plus prudente. Mais que faire si l'IA est un modèle pré-entraîné massif que vous ne pouvez pas toucher ?
Réécrire les Muscles : Modifier le contrôleur interne du robot. Mais que faire si le robot est un produit commercial (comme un bras UR5) et que vous n'avez pas accès à son code interne ?

Ces deux méthodes nécessitaient une chirurgie invasive sur des systèmes que vous n'étiez pas autorisé à toucher.

La Solution : APEX (Le « Traducteur Intelligent »)

Les auteurs proposent APEX (Adaptive Policy Execution). Voyez APEX comme un traducteur super intelligent ou un assistant de chef d'orchestre qui se tient entre le Cerveau et les Muscles.

Il ne change pas le Cerveau, et il ne change pas les Muscles. Il se contente de s'asseoir au milieu et de chuchoter des corrections aux Muscles en temps réel.

Voici comment cela fonctionne, en utilisant une analogie biologique :

Le « Cerveau » (Le Cerveau) : L'IA envoie une commande : « Va à la position X. »
Le « Cervelet » (APEX) : Chez l'humain, le cervelet est la partie du cerveau qui gère le contrôle moteur fin et l'équilibre. Il ne replanifie pas toute la marche ; il effectue simplement de petits ajustements instantanés pour vous empêcher de trébucher.
- Étape 1 (Lissage) : APEX prend la commande de l'IA et la lisse, en ajoutant les détails de « vitesse » et d'« accélération » manquants dont les Muscles ont besoin pour bouger de manière fluide.
- Étape 2 (Adaptation) : Pendant que le robot bouge, APEX observe les Muscles. Si les Muscles sont en retard ou dépassent la cible, APEX calcule instantanément une petite correction et l'ajoute à la commande. C'est comme une voiture autonome qui tourne constamment légèrement à gauche ou à droite pour rester dans sa voie, même si la route est accidentée.

Ce Qu'Ils Ont Trouvé

Les chercheurs ont testé cela sur des robots essayant de réaliser des tâches délicates comme pousser des cubes, ramasser des objets ou insérer des chevilles dans des trous.

Le « Test de Relecture » : Ils ont pris des démonstrations d'experts parfaites (comme une vidéo d'un humain faisant la tâche parfaitement) et ont dit au robot de simplement copier. Même avec des instructions parfaites, le robot échouait souvent parce que ses Muscles étaient imprécis. APEX a corrigé cela, réduisant les erreurs de 41 % et permettant au robot de réussir beaucoup plus souvent.
Le « Test de l'IA Réelle » : Ils ont associé APEX à quatre types différents de cerveaux d'IA (incluant certains modèles très avancés). Dans chaque cas, APEX a aidé le robot à mieux réussir.
- Pour la tâche la plus difficile (enfiler une cheville dans un petit trou), APEX a aidé une IA à passer d'un taux de réussite de 20 % à 35 %. C'est un bond énorme pour un robot !

L'Essentiel

Vous n'avez pas besoin de reconstruire l'IA ou le robot pour les faire mieux travailler ensemble. Vous avez juste besoin d'un « intermédiaire » léger (APEX) qui écoute l'IA, observe le robot et effectue de petits ajustements instantanés pour s'assurer que le robot fait réellement ce qu'on lui a dit de faire.

C'est comme donner à un danseur maladroit un coach qui ne change pas sa chorégraphie, mais qui lui tapote doucement l'épaule pour le maintenir dans le rythme. Le résultat ? Une bien meilleure performance.

Résumé Technique : APEX – Exécution de Politiques Adaptative pour une Manipulation Précise

1. Définition du Problème : L'Écart d'Exécution au Moment du Test

Les systèmes modernes d'apprentissage par imitation, incluant les politiques visuomotrices et les politiques Vision-Langage-Action (VLA), produisent généralement des références d'action de haut niveau (par exemple, des cibles de joints ou des poses de l'effecteur terminal) qui sont exécutées par des contrôleurs de bas niveau, tels que des schémas Proportionnel-Dérivé (PD). Cependant, un écart critique existe entre la référence commandée par la politique et le mouvement réel réalisé par le robot, un phénomène appelé écart d'exécution au moment du test (test-time execution gap).

Cet écart provient de deux sources principales :

Sorties de Haut Niveau Inadéquates : Les sorties des politiques manquent souvent de signaux de référence d'ordre supérieur (vitesse, accélération) et peuvent contenir des discontinuités, ce qui est insuffisant pour un suivi de précision au niveau bas.
Dynamiques de Bas Niveau Imparfaites : Les contrôleurs commerciaux opèrent souvent avec des dynamiques non modélisées, des incertitudes de paramètres et des paramètres de gain ( $K_p, K_d$ ) inaccessibles.

Les solutions existantes nécessitent généralement des modifications intrusives, telles que l'altération de l'architecture de la politique, un réentraînement avec apprentissage résiduel, ou le changement du contrôleur lui-même. Ces approches sont souvent peu pratiques pour les modèles pré-entraînés de grande taille ou les plateformes commerciales propriétaires où la politique et le contrôleur sont traités comme des « boîtes noires » inaccessibles. La question centrale abordée est la suivante : L'écart d'exécution peut-il être comblé sans modifier ni la politique ni le contrôleur ?

2. Méthodologie : Le Cadre APEX

Les auteurs proposent Adaptive Policy EXecution (APEX), un cadre « plug-and-play » inséré entre la politique de haut niveau et le contrôleur de bas niveau. Inspiré du contrôle moteur biologique — où des boucles sensorimotrices rapides corrigent les déviations à la volée sans régénérer les plans de haut niveau — APEX fonctionne comme une couche de correction en ligne qui laisse la politique et le contrôleur intacts.

APEX fonctionne en deux étapes :

A. Filtrage Passif Adaptatif (Reconstruction de Signal)

Puisque les sorties des politiques ( $a_\pi$ ) manquent souvent des signaux de vitesse ( $\dot{a}$ ) et d'accélération ( $\ddot{a}$ ) requis pour la faisabilité dynamique, APEX reconstruit d'abord une référence lisse et dynamiquement réalisable ( $\bar{a}$ ) à l'aide d'un filtre passif adaptatif.

Le filtre est piloté par l'erreur de suivi $e_a = a_\pi - a$ .
Il génère en interne des signaux $\dot{\bar{a}}$ et $\ddot{\bar{a}}$ bien définis, garantissant que la référence fournie au contrôleur est lisse et limitée en bande passante.

B. Correction Adaptative au Moment du Test

Pour compenser les dynamiques de système inconnues (inertie $J$ ) et les gains du contrôleur inaccessibles ( $K_p, K_d$ ), APEX augmente la référence filtrée par des termes adaptatifs. La commande $a_r$ envoyée au contrôleur est formulée comme suit :
$a_r = \bar{a} + \hat{w}[\hat{J}\ddot{\bar{a}} + \alpha e_a] + \hat{w}_d \dot{\bar{a}}$
Où :

$\hat{w}$ , $\hat{w}_d$ , et $\hat{J}$ sont des estimations temporelles des paramètres inconnus ( $1/K_p$ , $K_d/K_p$ , et $J$ ).
Ces coefficients sont mis à jour en ligne via une loi adaptative pilotée par l'erreur de suivi en temps réel et la vitesse de référence filtrée, sans dériver la sortie brute de la politique.

Garanties Théoriques

L'article fournit une analyse de stabilité (Théorème 1) prouvant que pour un système avec des paramètres inconnus et des perturbations bornées, les signaux du système en boucle fermée restent bornés et l'erreur de suivi converge vers un ensemble résiduel. Cela garantit une performance de suivi asymptotique même sans connaissance exacte de la dynamique du robot.

3. Contributions Clés

Compatibilité Boîte Noire : APEX est le premier cadre capable de combler l'écart d'exécution sans nécessiter de modifications de l'architecture de la politique, de réentraînement, ou d'accès aux paramètres internes du contrôleur.
Correction à Double Étape : Il combine de manière unique un filtre passif pour reconstruire les signaux d'ordre supérieur avec une loi adaptative pour compenser les dynamiques inconnues, traitant à la fois les artefacts du côté politique et les limitations du côté contrôleur.
Convergence Prouvable : Le cadre offre des garanties de convergence théorique sous des hypothèses de contrôle adaptatif standards.
Généralisabilité : La méthode est agnostique à la classe spécifique de politique (déterministe ou générative) et à la représentation de l'action (espace articulaire ou espace de tâche).

4. Résultats Expérimentaux

Les auteurs ont évalué APEX à travers des environnements de simulation et des contextes réels (UR5), en testant quatre classes de politiques : ACT, Diffusion Policy, Flow Matching, et la VLA $\pi_{0.5}$ .

Isoler l'Écart d'Exécution : Dans une expérience de « relecture de démonstration » (où les trajectoires expertes sont rejouées directement au contrôleur, supprimant l'erreur de la politique), APEX a réduit l'erreur de suivi de 41,2 % (passant de 30,84 mrad à 18,15 mrad) et a augmenté les taux de réussite de 62,5 % à 81,3 %. Cela confirme que les imperfections du contrôleur de bas niveau causent à elles seules des échecs significatifs.
Pont entre Politique et Contrôleur : Associé à des politiques apprises, APEX a amélioré les taux de réussite de 4,8 à 25,8 points de pourcentage à travers toutes les classes de politiques testées.
- Des gains notables ont été observés sur la tâche de Insertion de Pièce (jeu radial de 3 mm), où le succès de Flow Matching est passé de 20 % à 35 % sur un UR5 réel.
- APEX a démontré sa robustesse face à diverses variations des gains du contrôleur PD ( $K_p, K_d$ ), surpassant les corrections à paramètres fixes.
Validation Multi-Plateforme : Le cadre s'est généralisé avec succès à travers différents simulateurs (ManiSkill, LIBERO), représentations d'actions (articulaire vs effecteur terminal) et matériel réel.

5. Signification et Revendications

L'article affirme que l'écart d'exécution au moment du test est un goulot d'étranglement fondamental dans la manipulation de haute précision, souvent négligé au profit de l'amélioration de l'entraînement de la politique. La signification d'APEX réside dans sa capacité à récupérer les performances perdues de politiques bien entraînées simplement en corrigeant le flux d'exécution.

Les auteurs soulignent que :

Même des références d'action de niveau expert échouent à s'exécuter avec précision sur du matériel commercial en raison des limitations du contrôleur.
Une couche de correction légère et non intrusive à l'interface politique-contrôleur est suffisante pour combler cet écart.
La nature adaptative d'APEX lui permet de fonctionner efficacement même lorsque les dynamiques du système sont inconnues ou que le contrôleur est une « boîte noire », ce qui le rend hautement pratique pour le déploiement réel de modèles d'apprentissage par imitation à grande échelle.

Limites Reconnues : L'implémentation actuelle nécessite un réglage manuel des gains d'adaptation, et le terme de perturbation est traité comme étant borné plutôt qu'estimé explicitement, ce qui conduit à une convergence vers un ensemble borné plutôt qu'à une erreur nulle. Les travaux futurs visent à intégrer des mécanismes d'auto-réglage et des observateurs de perturbations.