🤖 AI

CLIFT: Turning Gemini Robotics On-Device into Humanoid Specialists via Non-Invasive Closed-Loop Iterative Fine-Tuning

Cet article introduit CLIFT, une méthode de fine-tuning itératif en boucle fermée et non invasive qui permet aux robots humanoïdes utilisant des modèles de fondation à poids fermés (comme Gemini Robotics On-Device) d'atteindre une maîtrise quasi parfaite des tâches en convertissant le retour de récompense lors du déploiement en données supervisées pour l'amélioration de la politique via API, surmontant ainsi les limites de l'apprentissage par imitation pure sans nécessiter d'accès aux composants internes du modèle.

Auteurs originaux : Yuxin Chen, Hari Srikanth, Nathan Jew, Menglin Wu, Pengcheng Wang, Junli Ren, Masayoshi Tomizuka, Peng Xu, Jinyu Xie, Thomas Tian

Publié 2026-08-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yuxin Chen, Hari Srikanth, Nathan Jew, Menglin Wu, Pengcheng Wang, Junli Ren, Masayoshi Tomizuka, Peng Xu, Jinyu Xie, Thomas Tian

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à exécuter une danse complexe. Dans le monde de l'intelligence artificielle, il existe deux manières principales de le faire. La première est le « code source ouvert » (open-source), où vous obtenez l'intégralité du cerveau du robot, son code et son câblage interne, et où vous pouvez ajuster chaque vis vous-même. La seconde est le « code source fermé » (closed-source), où le robot est une boîte noire. Vous ne pouvez pas voir à l'intérieur, vous ne pouvez pas toucher les fils et vous ne pouvez pas modifier le code. Tout ce que vous pouvez faire, c'est donner au robot une liste d'instructions (comme « danse comme ceci ») et lui demander d'apprendre à partir de celles-ci. C'est ce qui devient la norme pour les cerveaux robotiques les plus puissants disponibles aujourd'hui : ils sont incroyablement intelligents, mais ils sont verrouillés derrière une porte numérique.

La grande question que se posent les scientifiques est la suivante : si vous ne pouvez pas jeter un coup d'œil à l'intérieur du cerveau du robot, pouvez-vous quand même lui apprendre à maîtriser des tâches réelles difficiles ? Habituellement, quand on ne peut pas voir l'intérieur, on est limité à la simple copie de ce que l'on voit (l'imitation). Mais la vie réelle est désordonnée. Un robot peut copier parfaitement un humain dans une vidéo, mais lorsqu'il essaie de le faire sur un sol instable avec une tasse glissante, il peut échouer à cause de minuscules délais ou d'une physique qu'il n'avait pas prise en compte. Pour être vraiment bon, un robot doit s'exercer, échouer, réaliser ce qui n'a pas fonctionné et réessayer — un processus appelé « apprentissage en boucle fermée » (closed-loop learning). Le défi est le suivant : comment apprendre à un robot à apprendre de ses propres erreurs alors que vous n'êtes pas autorisé à toucher ses mécanismes d'apprentissage internes ?

Cet article, intitulé CLIFT, s'attaque précisément à ce problème. Les chercheurs ont voulu voir s'ils pouvaient transformer un modèle de robot puissant et verrouillé appelé « Gemini Robotics On-Device » en un maître des tâches délicates et riches en contacts (comme empiler des assiettes ou emballer des boîtes) sans jamais « ouvrir la boîte du modèle ». Ils ont découvert qu'en se contentant de copier des vidéos humaines (une méthode appelée « ajustement fin supervisé » ou Supervised Fine-Tuning), le robot devenait bien meilleur que d'autres robots à code ouvert, mais cela ne suffisait toujours pas pour une agilité dans le monde réel. Le robot laissait souvent tomber des objets ou échouait lors des étapes finales.

Pour corriger cela, l'équipe a inventé une astuce ingénieuse appelée CLIFT (Closed-Loop Iterative Fine-Tuning - Ajustement fin itératif en boucle fermée). Voyez cela comme un entraîneur de jeu vidéo qui ne peut pas modifier le code du jeu, mais qui peut tout de même enseigner au joueur. Voici comment cela fonctionne :

La séance d'entraînement : Le robot tente d'accomplir une tâche dans le monde réel. Il peut réussir, ou il peut échouer.
La fiche d'évaluation : Au lieu de simplement dire « Bon travail » ou « Mauvais travail », un juge IA spécial (un modèle de récompense) regarde la vidéo et attribue un score à chaque infime segment du mouvement. Il identifie précisément les parties qui étaient fluides et utiles, et celles qui étaient maladroites ou dangereuses.
L'étiquette magique : L'équipe prend ces vidéos notées et les transforme en une nouvelle leçon d'entraînement. Ils ajoutent un « badge » spécial aux bonnes parties (comme une étoile dorée) et un « avertissement » aux mauvaises parties.
La leçon : Ils renvoient cette leçon nouvellement étiquetée vers le cerveau verrouillé du robot via une API (un menu numérique). Le robot se réentraîne sur ces nouvelles données, apprenant à rechercher les « étoiles dorées » et à éviter les « avertissements ».

Les chercheurs ont fait tourner ce cycle deux fois, comme un volant d'inertie qui tourne de plus en plus vite. Les résultats sont impressionnants. À la fin, le robot ne se contentait plus de copier les humains ; il commençait à inventer ses propres mouvements astucieux. Par exemple, lors de l'emballage d'une boîte, le robot a appris à pousser et à faire pivoter la boîte avec ses doigts pour obtenir une meilleure prise avant de la soulever — un mouvement que les enseignants humains ne lui avaient jamais montré. Lorsqu'il tentait de mettre une bouteille dans une tasse, s'il ratait la première fois, il apprenait à réessayer au lieu d'abandonner.

L'article démontre que cette méthode « non invasive » a fait des merveilles. Le taux de réussite du robot est passé d'environ 50-70 % à près de 100 % sur des tâches difficiles comme empiler des assiettes et insérer des bouteilles. Plus surprenant encore, lorsqu'ils ont testé la même astuce sur un autre robot à code ouvert (un robot où ils auraient pu toucher le code), le robot verrouillé a tout de même obtenu de meilleurs résultats. Cela suggère que posséder un « cerveau » pré-entraîné très solide est plus important que d'avoir un accès complet au code.

En résumé, l'article prouve que vous n'avez pas besoin de briser le cerveau du robot pour lui apprendre. En transformant les sessions d'entraînement dans le monde réel en leçons intelligentes et étiquetées, vous pouvez guider un robot verrouillé pour qu'il devienne un spécialiste, maîtrisant des tâches physiques complexes grâce à une boucle simple d'essai, de notation et de réapprentissage. Les auteurs ont constaté que cette approche pousse le robot vers une maîtrise quasi parfaite après seulement deux cycles, le tout sans jamais « ouvrir la boîte du modèle ».

Résumé Technique : CLIFT – Transformer l'utilisation de Gemini Robotics sur appareil en spécialistes humanoïdes via un ajustement fin itératif en boucle fermée non invasif

1. Énoncé du Problème

La communauté de la robotique est confrontée à une tension fondamentale : les modèles de fondation Vision-Langage-Action (VLA) les plus performants sont généralement entraînés sur des données propriétaires et restent en code source fermé, limitant ainsi la capacité des utilisateurs en aval à les adapter. Bien qu'un paradigme émergent propose des API d'ajustement supervisé géré (Managed SFT APIs) (par exemple, Gemini Robotics On-Device ou GROD) qui permettent aux utilisateurs de soumettre des données et de recevoir des politiques ajustées sans accéder aux poids ou aux gradients, ce régime présente des limitations significatives pour la manipulation humanoïde agile et riche en contacts.

L'adaptation actuelle basée sur les API repose principalement sur un SFT par démonstration uniquement. Cette approche atteint un plafond de performance car :

Décalage de distribution : Elle s'entraîne sur une distribution fixe de données de téléopération humaine, alors que le déploiement se fait sous la propre distribution d'observation en boucle fermée de la politique.
Qualité d'exécution : L'achèvement de la tâche ne garantit pas le succès ; des facteurs tels que la fluidité, la qualité du contact et la sécurité sont critiques.
Couplage du contrôleur : Les politiques VLA sont étroitement couplées avec les contrôleurs de corps entier en aval. Le même bloc d'actions (action chunk) peut produire des résultats physiques différents en raison de la latence, de la compliance et de la dynamique de suivi, créant un fossé entre la sortie de la politique et le comportement déployé.

Les méthodes existantes d'amélioration en boucle fermée (par exemple, PPO, RL résiduel) nécessitent l'accès à des signaux internes tels que les gradients, les vraisemblances ou les réseaux de critique, qui sont indisponibles dans les régimes d'API à accès restreint. La question centrale est la suivante : Quelle est l'efficacité du régime d'API gérée pour l'adaptation humanoïde, et comment l'amélioration en boucle fermée peut-elle être réalisée dans ce cadre pour atteindre la maîtrise de la tâche ?

2. Méthodologie : CLIFT

Les auteurs proposent CLIFT (Closed-Loop Iterative Fine-Tuning), un pipeline non invasif qui fait le pont entre les interfaces de SFT gérées et l'amélioration de la politique en boucle fermée. CLIFT fonctionne comme un « volant d'inertie » (flywheel) qui convertit le retour de récompense lors du déploiement en données supervisées compatibles avec l'API, sans jamais toucher aux poids internes ou aux pertes du modèle.

Le pipeline se compose de trois étapes itératives :

A. Modélisation de récompense dense calibrée par préférence

Pour évaluer les déroulements (rollouts) de déploiement, CLIFT utilise un processus de génération de récompense en deux étapes :

Génération de candidats : Un VLM (modèle vision-langage) zero-shot génère plusieurs séquences de récompenses par étape candidates pour un déroulement donné.
Sélection humaine et distillation : Des opérateurs humains fournissent des préférences par paires sur la qualité des déroulements. Les candidats dont les classements de rendement cumulé correspondent le mieux aux préférences humaines sont sélectionnés. Ces séquences sélectionnées sont ensuite distillées via un modèle de récompense génératif ( $R_\theta$ ). Ce modèle fournit des récompenses denses, calibrées par préférence, qui capturent la qualité d'exécution au-delà de la simple progression de la tâche.

B. Conditionnement d'avantage basé sur la recherche (Retrieval-Based)

Au lieu de rejeter les échecs ou de traiter les épisodes comme un succès ou un échec binaire, CLIFT effectue une attribution de crédit au niveau du bloc (chunk-level credit assignment) :

Recherche (Retrieval) : Pour chaque bloc d'action commençant à l'état $o_t$ , le système recherche un ensemble de blocs de comparaison provenant d'autres déroulements qui commencent à partir d'états visuellement similaires.
Notation : Le bloc est évalué en fonction de son rendement actualisé sur une fenêtre d'anticipation en utilisant le modèle de récompense $R_\theta$ .
Étiquetage : Le bloc est étiqueté avec un Jeton d'Avantage (Advantage Token) binaire ( $I \in \{positif, négatif\}$ ). Si le rendement du bloc se situe dans les 30 % supérieurs de l'ensemble recherché (auto-calibrage selon la difficulté de l'état), il reçoit un label positif ; sinon, il est négatif.
Conversion de données : Chaque bloc de déroulement est converti en un tuple SFT : (observation, instruction, action_chunk, advantage_token).

C. Auto-amélioration itérative

La boucle procède comme suit :

Déploiement : La politique actuelle $\pi_k$ est déployée sur le robot pour collecter des déroulements en boucle fermée.
Ré-étiquetage : Les déroulements sont notés par $R_\theta$ , et les blocs sont étiquetés avec des jetons d'avantage.
Construction du jeu de données : Un jeu de données cumulatif $D_k$ est formé en combinant les démonstrations humaines originales (toujours étiquetées positives) et les nouveaux blocs de déroulement ré-étiquetés.
Ajustement fin (Fine-Tuning) : Le modèle de base est ajusté à partir de zéro sur $D_k$ via l'API de SFT gérée pour produire $\pi_{k+1}$ .
Inférence : Lors du déploiement, la politique est conditionnée sur le jeton d'avantage positif pour orienter le comportement vers des actions de haute qualité.

3. Configuration Expérimentale

Plateforme : Robot humanoïde Unitree G1 avec bras doubles, mains dextres et caméras RGB montées sur la tête.
Contrôle : Contrôle du corps entier hiérarchique où le VLA produit les angles articulaires du haut du corps et les vitesses du bas du corps, suivis par un contrôleur appris par RL.
Tâches : Trois tâches de manipulation agile et riche en contacts :
1. Emballage de boîte (Box Packing) : Saisie et placement précis.
2. Insertion de tasse (Cup Insertion) : Coordination bimanuelle asymétrique (stabiliser un support tout en insérant une bouteille).
3. Transfert de plateau bimanuel (Bimanual Plate Handover) : Transfert coordonné entre les mains.
Modèles comparés :
- GROD : Modèle à poids fermés via une API de SFT gérée.
- $\pi_{0.5}$ : VLA à poids ouverts (Physical Intelligence) avec accès direct aux poids.
Protocole : Les deux modèles ont été initialisés avec 2 heures de démonstrations par téléopération et soumis à deux cycles de CLIFT.

4. Résultats Clés

Gains de Performance

GROD (Poids Fermés) : CLIFT a réussi à pousser GROD vers une maîtrise quasi parfaite de la tâche après deux cycles de volant d'inertie, malgré un accès uniquement par API.
- Emballage de boîte : 93% $\to$ 100%
- Insertion de tasse : 70% $\to$ 98%
- Transfert de plateau bimanuel : 53% $\to$ 96%
$\pi_{0.5}$ (Poids Ouverts) : CLIFT a également amélioré le modèle à poids ouverts, mais celui-ci a plafonné à un seuil nettement inférieur (ex: 5% $\to$ 30% pour le transfert de plateau).
Comparaison : Le SFT direct sur GROD surpassait déjà $\pi_{0.5}$ entraîné sur les mêmes données. Même lorsque $\pi_{0.5}$ bénéficiait d'une adaptation « invasive » (conditionnement de type FiLM pour injecter des signaux de préférence directement dans le réseau), il restait en retrait de la version de GROD adaptée par API.

Dense vs Sélection d'Épisodes

Les auteurs ont comparé deux variantes de CLIFT :

Avantage Dense Conditionné : Étiquette chaque bloc dans chaque déroulement (positif ou négatif).
Sélection d'Épisodes à Haut Rendement : Ne conserve que les 30 % supérieurs des épisodes réussis (approche standard de type DAgger).

Constat : Sur les tâches faciles, les deux méthodes étaient similaires. Sur la tâche la plus difficile (Transfert de plateau), la variante Dense a nettement surpassé la sélection d'épisodes (96% contre ~84%). Cela démontre que conserver les échecs de déroulement et ré-étiqueter les blocs bien exécutés comme exemples positifs (et les mauvais comme négatifs) est crucial pour apprendre de l'échec.

Comportements Émergents

CLIFT a permis à la politique d'acquérir des comportements absents des démonstrations originales :

Pré-manipulation : Réorienter une boîte avec les doigts/le poignet pour faciliter la saisie.
Récupération : Tenter une seconde insertion après un premier échec, plutôt que de stagner.

5. Signification et Revendications

L'article affirme que CLIFT démontre que les API de SFT gérées peuvent servir non seulement d'interfaces de personnalisation, mais aussi de mécanismes pratiques d'amélioration de politique en boucle fermée.

Maîtrise Non Invasive : Il est possible de pousser un modèle de fondation à poids fermés vers une maîtrise quasi parfaite de tâches complexes et riches en contacts sans « ouvrir la boîte noire du modèle » (accès aux poids, gradients ou pertes).
Importance du Modèle de Fondations : Le choix du modèle de base est critique. Un modèle de fondation à poids fermés plus fort (GROD) adapté via une interface d'API étroite surpasse un modèle à poids ouverts plus faible ( $\pi_{0.5}$ ), même lorsque ce dernier dispose d'un accès complet interne. Cela suggère que pour l'adaptation en boucle fermée, la force du prior pré-entraîné peut être plus importante que le niveau d'accès à l'entraînement.
Efficacité des Données : En convertissant les échecs de déploiement en signaux denses au niveau du bloc, CLIFT extrait la valeur maximale des déroulements réels sur robot, transformant l'échec en un signal d'apprentissage plutôt que de le rejeter.

Les auteurs concluent que bien que les déroulements sur robot réel soient coûteux, cette approche offre une voie viable vers la maîtrise des tâches pour les robots humanoïdes à l'ère des modèles de fondation propriétaires.