How to Peel with a Knife: Aligning Fine-Grained Manipulation with Human Preference

Cet article présente un cadre d'apprentissage en deux étapes pour la manipulation robotique fine, tel que l'épluchage au couteau, qui combine l'apprentissage par imitation et un affinage basé sur les préférences humaines pour atteindre des taux de réussite élevés et une forte généralisation avec peu de données.

L'essentiel

🍎 Le Défi : Éplucher une pomme sans la transformer en purée

Imaginez que vous demandez à un robot de vous éplucher une pomme, une pomme de terre ou un concombre. Ce n'est pas aussi simple que de dire « attrape la pomme ».

Pourquoi ? Parce que l'épluchage est un art subtil.

• Si le robot appuie trop fort, il coupe la chair (gaspillage).
• S'il appuie trop doucement, il ne retire pas la peau.
• Si la pomme est bosselée ou irrégulière, le robot doit s'adapter en temps réel.

De plus, comment un robot sait-il qu'il a fait du « bon travail » ? Pour un humain, c'est subjectif : « La peau est-elle fine ? Est-elle continue ? Est-ce joli ? » Pour un robot, c'est un cauchemar mathématique.

Les chercheurs de l'Université de Berkeley ont créé un système pour résoudre ce problème. Ils appellent leur méthode « Apprendre à éplucher comme un chef, pas comme un robot rigide ».

---

🛠️ La Recette en Deux Étapes

Leurs robots utilisent une approche en deux temps, un peu comme on apprendrait à conduire une voiture de course.

Étape 1 : L'Apprentissage par l'Expérience (Le « Copier-Coller » intelligent)

D'abord, ils ne demandent pas au robot de deviner. Ils lui montrent comment faire.

• Le matériel : Le robot est un bras mécanique (Kinova Gen3) avec un couteau vissé au bout. Il a deux « yeux » (caméras) sur le poignet pour voir ce qu'il fait, et des « nerfs » (capteurs de force) pour sentir la pression du couteau.
• L'entraînement : Un humain prend le contrôle du robot à distance (comme avec une manette de jeu) et épluche des fruits. Le robot enregistre tout : les mouvements, la force appliquée et ce qu'il voit.
• Le résultat : Le robot apprend une « politique de base ». C'est comme un élève qui a bien copié les mouvements de son maître. Il sait éplucher, mais il est un peu rigide.

Étape 2 : La Correction par le Goût Humain (L'« Affinage »)

C'est ici que la magie opère. Le robot sait éplucher, mais est-ce bien épluché ?

• Le problème : Parfois, le robot enlève trop de chair ou laisse des bouts de peau. C'est techniquement un succès, mais humainement, c'est raté.
• La solution : Les chercheurs ont créé un « juge invisible ». Ils montrent des vidéos d'épluchages au robot et lui disent : « Ça, c'est parfait (note 9/10) », « Ça, c'est trop épais (note 3/10) ».
• L'apprentissage : Le robot apprend à prédire ces notes. Ensuite, il s'entraîne à nouveau, mais cette fois, il essaie de maximiser la note du « juge ». Il ajuste ses mouvements pour être plus doux, plus précis et plus joli.

---

🌟 Les Résultats Surprenants

Ce qui est incroyable, c'est la capacité d'adaptation du robot :

1. Peu de données suffisent : Le robot n'a pas besoin de voir des milliers de pommes. Avec seulement 50 à 200 exemples (ce qui équivaut à quelques dizaines de fruits), il devient un expert. C'est comme si un enfant apprenait à faire du vélo après seulement quelques chutes, alors que d'autres méthodes auraient besoin de millions d'heures d'entraînement.
2. La généralisation « Zéro-shot » : C'est le point fort. Le robot a été entraîné uniquement sur des concombres. Pourtant, quand on lui donne une poire ou un daikon (un gros radis blanc) qu'il n'a jamais vu, il arrive à les éplucher avec succès !
   • L'analogie : C'est comme si vous appreniez à conduire une petite citadine, et que vous arriviez à conduire un camion ou une moto sans jamais avoir touché à ces véhicules auparavant, simplement parce que vous avez compris les principes de base de la route.

---

🧠 Pourquoi est-ce important ?

Avant ce travail, les robots étaient soit trop rigides (ils cassaient tout), soit ils avaient besoin de données énormes et coûteuses pour apprendre.

Ce papier montre que si on combine :

1. La force (sentir la résistance du fruit),
2. La vision (voir la peau),
3. Le goût humain (apprendre ce qui est « beau » et « propre »),

...alors un robot peut apprendre des tâches complexes et délicates très rapidement.

En résumé

Imaginez un robot qui, après avoir regardé un humain éplucher quelques pommes, devient si habile qu'il peut éplucher n'importe quel fruit, même bizarre, en ajustant sa pression comme un chef cuisinier, le tout guidé par le désir de faire un travail « joli » et non juste « fonctionnel ».

C'est un grand pas vers des robots qui pourront vraiment nous aider dans la cuisine, la chirurgie ou l'artisanat, des domaines où la précision et le toucher sont rois.

Résumé technique

1. Problématique

La tâche de l'épluchage de fruits et légumes avec un couteau représente un défi majeur pour la robotique autonome. Elle se distingue des tâches de manipulation classiques (comme saisir et déposer) par plusieurs caractéristiques complexes :

• Dynamique riche en contacts et sensible à la force : Le robot doit réguler précisément la force appliquée par la lame sur une surface instable et déformable, tout en évitant de couper la chair du fruit ou de glisser.
• Critères de succès implicites et subjectifs : Contrairement à une tâche binaire (succès/échec), la qualité de l'épluchage est continue et subjective. Elle dépend de l'épaisseur de la peau retirée, de la régularité de la coupe, de l'absence de défauts et de l'efficacité du mouvement. Ces critères sont difficiles à formaliser mathématiquement pour la conception de récompenses (reward engineering).
• Généralisation : Les produits naturels présentent une grande variabilité de formes, de tailles, de textures et de propriétés physiques, rendant les contrôleurs basés sur des modèles rigides peu robustes.

2. Méthodologie

Les auteurs proposent un cadre d'apprentissage en deux étapes pour surmonter les goulots d'étranglement liés à la quantité de données et à la qualité de l'alignement avec les préférences humaines.

A. Configuration Matérielle et Collecte de Données

• Robotique : Utilisation d'un bras robotique Kinova Gen3 (7 degrés de liberté) avec un contrôleur d'impédance pour assurer un contrôle compliant.
• Capteurs : Un capteur de force/torque (ATI mini45) et deux caméras RealSense D405 montées au poignet, pointant vers le couteau et le produit.
• Collecte de données : Les données sont collectées via une téléopération humaine utilisant un SpaceMouse 3D. Une méthode de cinématique inverse (IK) pondérée est utilisée pour lisser les mouvements et privilégier les articulations distales.
• Prétraitement : Les données incluent les angles articulaires, les lectures du capteur de force et les images RGB-D. Les masques de segmentation (couteau et objet) sont générés en ligne via le modèle SAM2.

B. Apprentissage de la Politique de Base (Stage 1)

• Architecture : Un Diffusion Policy est entraîné par apprentissage par imitation (Imitation Learning).
• Entrées : Le modèle intègre la vision (images RVB converties en niveaux de gris + profondeur) et la force (capteur F/T). L'utilisation d'images en niveaux de gris force le modèle à se concentrer sur la géométrie plutôt que sur la texture, favorisant la généralisation.
• Sortie : La politique prédit les corrections de pose de l'effecteur terminal (proprioception relative).
• Objectif : Obtenir une politique robuste capable d'éplucher divers produits avec un taux de réussite initial d'au moins 60 %.

C. Affinement par Préférences Humaines (Stage 2)

Pour aligner la politique avec la qualité humaine, les auteurs introduisent un modèle de récompense appris :

• Design de la Récompense Hybride :
  • Composante Quantitative : Mesure l'épaisseur de la peau découpée (catégorisée en 6 niveaux).
  • Composante Qualitative : Évalue l'apparence globale (continuité, uniformité) via une échelle de Likert (0 à 9) basée sur le jugement humain.
• Modèle de Récompense : Un réseau de neurones (MLP) est entraîné pour prédire le score de préférence humaine à partir des paires état-action.
• Affinement Résiduel : Au lieu de réentraîner la politique de base, un politique résiduelle (MLP à 2 couches) est apprise pour prédire des corrections d'actions guidées par le modèle de récompense.
• Objectif d'entraînement : Un apprentissage par comportement pondéré par la récompense (Reward-weighted Behavioral Cloning) est utilisé, où les étapes de haute qualité reçoivent un poids exponentiellement plus élevé.

3. Contributions Clés

1. Cadre d'apprentissage en deux étapes : Combinaison de la collecte de données compliantes, de l'apprentissage par imitation sensible à la force, et d'un affinement basé sur les préférences pour des tâches de manipulation fine.
2. Modèle de récompense basé sur les préférences : Démonstration de la capacité à définir des récompenses combinant métriques quantitatives (géométrie) et qualitatives (perception humaine), et à utiliser ce modèle pour améliorer significativement les performances sur un robot réel.
3. Généralisation efficace avec peu de données : Un pipeline évolutif permettant d'apprendre des politiques complexes à partir de très peu de démonstrations réelles (50 à 200 trajectoires, soit environ 8 à 33 fruits).
4. Généralisation Zero-Shot : Les politiques entraînées sur une catégorie de produit (ex: concombres) généralisent sans réentraînement à des instances non vues et à des catégories totalement différentes (ex: pommes, poires, radis daïkon).

4. Résultats Expérimentaux

Les expériences ont été menées sur des concombres, des pommes et des pommes de terre.

• Taux de réussite :
  • Sur les produits vus lors de l'entraînement : 100 % de réussite.
  • Sur des produits hors distribution (Zero-shot) : Taux de réussite supérieur à 90 % en moyenne (ex: 90 % pour les poires avec une politique entraînée sur les pommes).
• Amélioration par affinement : L'affinement basé sur les préférences humaines améliore les performances de jusqu'à 40 % par rapport à la politique de base.
• Efficacité des données :
  • Avec seulement 50 trajectoires (environ 8 concombres), la politique atteint 100 % de réussite et un score moyen de 8,5/9.
  • Avec 200 trajectoires (pommes de terre), le taux de réussite atteint 80 %.
• Comparaison avec les méthodes existantes :
  • La téléopération par SpaceMouse est nettement supérieure aux méthodes de planification heuristique (20 % de réussite) et à la téléopération VR (20 % de réussite) pour la collecte de données de haute qualité.
  • L'affinement par préférences surpasse les méthodes d'apprentissage par renforcement hors ligne (IQL) et les affînements basés uniquement sur des récompenses quantitatives ou qualitatives isolées.
• Analyse d'ablation :
  • L'utilisation de deux caméras (avant et après l'action) est cruciale, la caméra "avant" étant plus importante pour éviter l'occlusion.
  • L'entrée en niveaux de gris est essentielle pour la généralisation.
  • L'architecture résiduelle (geler la base + apprendre la correction) est indispensable pour la stabilité de l'apprentissage.

5. Signification et Impact

Ce travail démontre que les robots peuvent acquérir des compétences de manipulation contact-riche, précises et adaptatives (comme l'épluchage au couteau) à partir d'une expérience réelle limitée, à condition que l'apprentissage soit guidé par une notion riche de la qualité de la tâche.

• Avancée théorique : Il comble le fossé entre les tâches de manipulation simples (souvent binaires) et les tâches complexes où la qualité est subjective et continue.
• Application pratique : La méthode offre une voie praticable pour développer des systèmes de manipulation polyvalents capables de maîtriser une large classe de tâches sensibles à la force dans le monde réel (préparation alimentaire, chirurgie, artisanat).
• Limitations et perspectives : Le principal défi reste la dépendance à la collecte manuelle de données. Les auteurs suggèrent l'intégration de l'apprentissage par renforcement en ligne et l'utilisation de "produits de substitution" réutilisables pour réduire le gaspillage alimentaire et améliorer l'évolutivité.