💻 computer science

FORGE-plus: Force-Budgeted Recovery for Contact-Rich Assembly with a Frozen LLM Supervisor

FORGE-plus introduit un cadre à deux couches qui exploite un LLM gelé pour assigner des plafonds de force et sélectionner des manœuvres de récupération basées sur des signatures textuelles, permettant à un contrôleur de bas niveau de réaliser un assemblage riche en contacts, robuste et sans rupture, avec des jeux serrés et une récupération de glissement sans jamais contrôler directement la force ni dépasser les limites de sécurité.

Auteurs originaux : Kyupaeck Jeff Rah, Midum Oh

Publié 2026-07-24

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kyupaeck Jeff Rah, Midum Oh

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où les robots sont comme des bambins maladroits essayant de construire avec une boîte de LEGO, mais ces LEGO sont faits de verre, et les instructions sont écrites dans une langue que le robot ne parle pas. C'est le défi de l'assemblage riche en contacts : apprendre à une machine à pousser, faire glisser et emboîter délicatement des pièces sans les briser. Par le passé, les robots apprenaient par essais et erreurs, brisant souvent les pièces jusqu'à ce qu'ils comprennent la bonne force. Mais que se passe-t-il si les pièces sont trop fragiles pour être brisées ?

Pour résoudre cela, les scientifiques utilisent un mélange d'Apprentissage par Renforcement (RL) — où un robot apprend en recevant des points pour un succès et des pénalités pour les erreurs — et de Modèles de Langage de Grande Taille (LLM), le même type d'IA qui peut écrire des histoires ou répondre à des questions. La grande question a été : comment dire au robot avec quelle force pousser, et que doit-il faire s'il est coincé ? Si un robot bloque une vis, l'instinct naturel est de « pousser plus fort ». Mais si vous tenez une bouteille en verre fragile, pousser plus fort est le moyen le plus rapide de la transformer en un tas d'éclats. Ce document explore une nouvelle façon d'apprendre aux robots à être doux, intelligents et sûrs, en utilisant une simulation où les « pièces » peuvent se briser si la force devient trop élevée.

Le robot avec un panneau « Ne touchez pas à ça »

Rencontrez FORGE-plus, un nouveau système conçu pour aider les robots à assembler des objets délicats, comme mettre une bouteille en verre dans un porte-bouteilles ou faire glisser un minuscule engrenage sur un axe avec presque aucune marge de manœuvre. Les chercheurs ont construit un cerveau à deux couches pour le robot, et il fonctionne un peu comme un patron strict et un mécanicien réactif.

Le Patron (le LLM figé) :
Avant même que le robot ne touche l'objet, une IA « figée » (un lecteur de texte intelligent qui n'apprend pas et ne change pas pendant la tâche) examine le nom et la description de l'objet. C'est comme un patron lisant une étiquette qui dit « Verre Fragile » ou « Engrenage en Acier ». Sur la base de ce texte, le patron définit un plafond de force. Voyez cela comme un panneau de limitation de vitesse pour la force. Si l'objet est une bouteille fragile, le patron dit : « Vous pouvez pousser avec une force maximale de 8,8 Newtons. » S'il s'agit d'un engrenage en acier robuste, la limite est plus élevée. Crucialement, le robot ne peut pas demander au patron de changer cette limite plus tard, même s'il est coincé.

Le Mécanicien (la boucle de contrôle rapide) :
La main du robot bouge à une vitesse fulgurante, guidée par une boucle informatique rapide. Cette boucle possède un « serre-joint » (clamp) rigide qui agit comme une soupape de sécurité. Peu importe ce que pense le cerveau du robot, le serre-joint arrête physiquement le robot de pousser plus fort que la limite du patron. Si le robot essaie de pousser avec 10 Newtons, le serre-joint le réduit instantanément à la limite. Cela garantit que même si le robot fait une erreur, il ne peut pas briser l'objet en poussant trop fort.

Que se passe-t-il quand les choses tournent mal ?

Dans le monde réel, les choses se bloquent. Peut-être que la bouteille heurte le rebord du support, ou que l'engrenage est incliné à l'intérieur de la pince. Par le passé, les robots auraient pu essayer la stratégie « appuyer plus fort » pour forcer le passage. Les chercheurs ont testé cette stratégie de « presser plus fort », et ce fut un désastre. Sur un type de pince, cela ne faisait rien d'autre que perdre du temps ; sur une autre, cela a brisé 96 % des pièces fragiles.

FORGE-plus adopte une approche différente. Lorsque le robot est coincé, il ne demande pas au patron de relever la limite. Au lieu de cela, il observe une signature de force. Imaginez que le robot écoute le « son » du contact à travers ses capteurs. Une bouteille bloquée sonne différemment d'un engrenage coincé. Le robot envoie ce « son » (qui est juste une courte description textuelle des forces) au patron. Le patron choisit alors un mouvement de récupération dans un menu fixe, comme « osciller », « pivoter » ou « lâcher et réessayer ».

La magie réside dans le fait que le robot ne augmente jamais la limite de force. Il essaie simplement différents mouvements à l'intérieur de la limite de sécurité. Si la bouteille est coincée, le robot peut la faire pivoter légèrement pour trouver une ouverture, plutôt que de la pousser vers le bas.

Les résultats : Une réussite en simulation

Les chercheurs ont testé cela dans une simulation informatique très réaliste (utilisant Isaac Lab) avec deux mains de robot différentes : une pince Robotiq et une main Franka Panda. Ils ont utilisé deux tâches principales :

La Bouteille : Placer une bouteille en verre fragile dans un support.
L'Engrenage : Faire glisser un engrenage sur un axe avec un espace minuscule de 0,4 mm (plus fin qu'un cheveu humain).

Les bonnes nouvelles :
Le système a incroyablement bien fonctionné dans la simulation. Un seul « cerveau » de robot (un checkpoint) a réussi à loger les engrenages fragiles et robustes 256 fois sur 256 sans en briser un seul. Il a également appris à lâcher l'objet parfaitement, avec zéro mauvais relâchement. Même lorsque le robot a glissé et saisi l'engrenage selon un mauvais angle, le système a utilisé la signature de force pour réaliser : « Hé, je tiens ça de travers », et a décidé de le reposer sur la table et de le reprendre. Cette stratégie de « re-préhension » a sauvé la mise, récupérant 40 % à 64 % des blocages selon la main du robot.

Les mauvaises nouvelles (et les leçons importantes) :
Le papier est aussi célèbre pour ce qui n'a pas fonctionné. Les chercheurs ont essayé d'utiliser une méthode d'apprentissage standard appelée PPO (qui aide habituellement les robots à apprendre en explorant des mouvements aléatoires). Ils ont découvert qu'à un espacement aussi minuscule de 0,4 mm, les mouvements d'« exploration » aléatoires du robot étaient si grands qu'ils brisaient les pièces fragiles avant même que le robot puisse apprendre comment les ajuster. C'est comme essayer d'enfiler une aiguille en jetant l'aiguille vers le fil ; vous n'y arriverez jamais, et vous casserez l'aiguille.

Ils ont également découvert que si l'on tente d'enseigner au robot à être « parfaitement optimal » en le laissant pousser juste jusqu'au point de rupture, il échoue plus souvent. Parce que les mouvements du robot ont un petit « dépassement » (il pousse un tout petit peu trop fort avant de s'arrêter), une limite fixée exactement au point de rupture entraîne tout de même la casse des pièces. La limite « sûre » fixée par le patron (basée sur l'identité de l'objet) était en fait meilleure que la limite « parfaite » calculée par un code de triche.

Pourquoi cela importe

Ce document ne prétend pas avoir construit un robot capable de faire cela dans une véritable usine ; il s'agit uniquement d'une simulation. Mais il prouve une idée puissante : la sécurité ne vient pas du fait que le robot soit assez intelligent pour savoir quand s'arrêter ; elle vient d'une limite stricte que le robot ne peut pas franchir.

En séparant la « réflexion » (le patron fixant la limite) de l'« action » (le serre-joint rapide imposant la limite), le système garantit que le robot peut essayer de résoudre des problèmes sans jamais devenir destructeur. Cela montre que pour les tâches délicates, la meilleure stratégie n'est pas de pousser plus fort, mais d'être plus intelligent sur la manière de pousser, et d'avoir une règle stricte qui dit : « Peu importe ce qui arrive, tu ne peux pas pousser aussi fort. »

En fin de compte, FORGE-plus suggère que l'avenir du travail robotique délicat ne consiste pas à construire des IA plus fortes et plus intelligentes capables de deviner la bonne force, mais à construire des systèmes qui sont forcés d'être doux, en utilisant un « budget de force » que le robot respecte quoi qu'il arrive.

Résumé Technique : FORGE-plus

Énoncé du Problème

Les compétences d'apprentissage par renforcement (RL) conditionnées par la force ont démontré leur succès dans les tâches d'assemblage riches en contacts en respectant un plafond de force commandée ( $F_{max}$ ). Cependant, deux lacunes critiques subsistent pour le déploiement de ces compétences sur des objets fragiles :

Qui fixe le plafond ? Les méthodes actuelles optimisent souvent $F_{max}$ pour maximiser les taux de réussite. Cette approche échoue lorsqu'un système unique doit manipuler à la fois des pièces robustes (ex: acier) et fragiles (ex: nylon ou verre), car un plafond suffisant pour les premières détruira les secondes.
Que faire en cas d'échec ? Lorsqu'une insertion échoue, la stratégie de récupération intuitive — « appuyer plus fort » — est précisément l'action qui détruit les composants fragiles. Les raisonneurs de défaillance basés sur la vision existants (ex: REFLECT, DoReMi) opèrent au niveau de la tâche et manquent souvent les distinctions subtiles entre les modes d'échec (ex: coincement vs filetage de travers) qui sont évidentes uniquement dans les traces de force, et non dans les pixels visuels.

Méthodologie : Architecture FORGE-plus

FORGE-plus introduit un système à deux couches conçu pour imposer la sécurité sans dépendre de l'autorité de contrôle en temps réel de l'LLM. Le système fonctionne entièrement en simulation (Isaac Lab) avec une dynamique de corps rigides et une rupture modélisée.

1. Le Système à Deux Couches

Couche Lente (Superviseur LLM Gelé) :
- Fixateur de Budget : Avant un épisode, un LLM textuel gelé lit l'identité de l'objet (nom, étiquette de matériau, géométrie) et génère un plafond de force par objet ( $F_{max}$ ). Il ne voit ni images ni données de rupture spécifiques à l'instance.
- Sélecteur de Récupération : Lors de la détection d'un échec, l'LLM lit une « signature de force » textuelle compacte (dérivée de l'historique de force/couple, de la durée de contact et des événements de glissement) et sélectionne une manœuvre de récupération parmi un menu fixe (ex: retrait_et_reapproche, oscillation_de_recherche, rotation_alignement, reprise_en_main, abandon).
- Contrainte : Le menu exclut explicitement toute option visant à « augmenter le plafond ». La sortie de l'LLM est écrasée côté serveur pour garantir que $F_{max}$ reste immuable pendant la récupération.
Couche Rapide (Compétence RL Conditionnée par la Force) :
- Une politique MLP conditionnée par la force (entraînée via Behavior Cloning et DAgger) exécute l'insertion.
- Écrêtage Dur (Hard Clamp) : Un écrêtage de sécurité dans la boucle de contrôle rapide (60–120 Hz) sature toutes les forces commandées à la valeur $F_{max}$ définie par l'LLM. Cela garantit que l'LLM n'a jamais d'autorité directe sur la force physique appliquée.
- Tête de Relâchement (Release Head) : Une tête linéaire apprise (contournant le tronc principal de la politique) décide quand relâcher l'objet en fonction des observations brutes.

2. Conception de l'Évaluation (Non-Circularité)

L'évaluation est conçue pour empêcher le raisonnement circulaire concernant la fragilité :

Rupture Cachée : La force de rupture ( $F_{break}$ ) est échantillonnée par épisode à partir d'une distribution et n'est jamais observée par la politique, l'LLM ou l'encodeur de signature. Elle est visible uniquement par l'évaluateur.
Invariants de Sécurité : $F_{max}$ est fixe pendant la récupération, et l'autorité de force réside strictement dans la boucle de contrôle rapide.

Contributions Clés

1. Architecture et Benchmark

Le papier présente une architecture unifiée pour l'assemblage à budget de force sous fragilité par objet. Il introduit une métrique de rupture non-circulaire et un benchmark impliquant deux tâches distinctes :

Placement de Bouteille Fragile : Insertion d'une bouteille de vin dans un support (classe simulée fragile avec $F_{break} \approx 22$ N).
Insertion d'Engrenage à Jeu Serré : Insertion d'un engrenage avec un jeu diamétral de 0,4 mm (engrenage ABS simulé fragile avec $F_{break} \approx 38 \pm 5$ N).
Embodiments : Les expériences sont menées sur deux préhenseurs : Robotiq 2F-140 et main Franka Panda.

2. Résultats du Cycle Complet

Un point de contrôle unique et unifié (une « soupe de poids » de politiques entraînées sur des classes fragiles et robustes) a obtenu :

Passages Propres : 256/256 insertions réussies sans aucune rupture sur les classes d'engrenages fragiles et robustes avec le Robotiq 2F-140.
Relâchement : 256/256 relâchements appris réussis avec zéro « mauvais relâchement » (prématuré ou échoué).
Flux Physique : Un flux complet de ramassage sur table physique (sans téléportation ni ancrage cinématique) a complété 64/64 épisodes avec une force de pointe moyenne d'insertion de 5,4 N.

3. Efficacité de la Récupération vs Baselines

Sous des perturbations injectées (coincements de bordure et glissements de prise de 5 mm) :

Récupération par Signature de Force : Le système proposé a récupéré 40 % des blocages (Robotiq) et 64 % des blocages (Franka) en routant les signatures de force spécifiques vers la bonne primitive de récupération (ex: reprise_en_main pour les prises inclinées).
Baseline « Appuyer Plus Fort » : Cette baseline (modélisant le comportement publié de Tactile-VLA) a montré deux modes d'échec distincts :
- Robotiq 2F-140 : 100 % de futilité (délais dépassés) car l'alésage incliné n'engageait jamais la charge, rendant l'escalade de force inutile.
- Franka Panda : 96 % de destruction, cassant les pièces fragiles en escaladant la force.
Proxy Vision-LLM : Un proxy de sampling de menu pour les raisonneurs purement visuels a obtenu des taux de réussite inférieurs (28 % et 32 %) car il ne pouvait pas distinguer la signature de force d'une prise inclinée des autres échecs.

4. Résultats Négatifs comme Découvertes

Le papier rapporte rigoureusement ce qui ne fonctionne pas :

Échec de PPO : L'entraînement PPO on-policy échoue à 0,4 mm de jeu sur le Robotiq 2F-140 ; le bruit d'exploration requis pour trouver l'entonnoir est intrinsèquement destructeur pour les pièces fragiles.
Polissage de Faible Écart-Type : L'ajustement fin (fine-tuning) d'une politique de Behavior Cloning (BC) fonctionnelle avec PPO (faible écart-type) détruit la politique en 20 itérations à cause de l'amplification du gradient.
Oracle de Budget : Même un « oracle » fixant $F_{max} = F_{break} - \epsilon$ échoue (50 % de rupture) car l'overshoot du contrôleur dépasse le budget. Cela prouve qu'un budget sûr doit tenir compte de la distribution de l'overshoot du contrôleur, et non simplement du seuil de rupture.
Designs de Tête de Relâchement : Trois designs naturels pour une tête de relâchement apprise ont échoué ; seul un design à saut d'entrée linéaire (contournant le tronc) a réussi.

Signification et Revendications

Le papier affirme que FORGE-plus fournit une solution structurelle aux problèmes de « qui fixe le plafond » et « que faire en cas d'échec » dans l'assemblage riche en contacts :

Budgets Dérivés de l'Identité : Un budget conservateur dérivé de l'identité de l'objet surpasse un budget « oracle » car il tient compte de l'overshoot du contrôle, garantissant la sécurité sans avoir besoin de connaître le seuil de rupture spécifique de chaque instance.
Récupération Fondée sur la Force : Les stratégies de récupération doivent être ancrées dans les signatures de force, et non la vision. La signature de force est le seul signal capable de distinguer un besoin de « reprise en main » (prise inclinée) d'autres échecs, surpassant la sélection basée sur la vision d'un facteur d'environ 2.
L'Échec de « Appuyer Plus Fort » : La récupération naturelle consistant à augmenter la force est prouvée être soit futile, soit destructive selon le préhenseur et le mode d'échec, et n'est jamais la bonne solution pour l'assemblage fragile.
Séparation de la Sécurité : La sécurité est garantie par l'écrêtage dur dans la boucle rapide, et non par l'LLM. L'LLM agit uniquement comme un sélecteur sémantique de primitives de mouvement, et non comme une autorité de force.

Les auteurs soulignent que ces résultats sont uniquement en simulation avec une physique de corps rigides et une rupture modélisée. Aucun transfert sim-to-real n'est revendiqué, bien que le style de conditionnement de force FORGE sous-jacent soit noté pour ses succès de transfert antérieurs. Ce travail sert de benchmark rigoureux et de recueil de résultats négatifs pour guider les recherches futures en manipulation fragile.