💻 computer science

FAWAM: Force-Aware World Action Models for Closed-Loop Contact-Rich Manipulation

FAWAM est un modèle d'action mondiale sensible à la force qui intègre des signaux de force/couple à 6 axes à travers la perception, la prédiction et l'exécution en boucle fermée pour modéliser explicitement l'évolution du contact et affiner les actions en ligne, atteignant des taux de réussite nettement plus élevés dans la manipulation robotique riche en contacts par rapport aux approches uniquement basées sur la vision et aux bases de référence sensibles à la force existantes.

Auteurs originaux : Haotian He, Zeyu Yan, Qipeng Liu, Ning Guo, Wenzhao Lian

Publié 2026-06-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Haotian He, Zeyu Yan, Qipeng Liu, Ning Guo, Wenzhao Lian

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un robot essayant d'essuyer un tableau blanc, d'éplucher un concombre ou de pousser une boîte. Pour un humain, ces tâches semblent naturelles car nous possédons un « sixième sens » du toucher. Nous savons instantanément si nous appuyons trop fort, si quelque chose glisse ou si nous avons rencontré un obstacle. Nous ne nous contentons pas de regarder l'objet ; nous ressentons l'interaction et ajustons notre prise ou notre pression en temps réel.

Les robots actuels, cependant, sont souvent comme des personnes essayant d'accomplir ces tâches en portant des gants épais et engourdis tout en ayant les yeux bandés. Ils comptent principalement sur les caméras (la vision). Si la caméra voit un tableau blanc, le robot tente de l'essuyer. Mais si le robot appuie trop fort et que le feutre s'étale, ou s'il n'appuie pas assez et que rien ne se passe, le robot ne comprend souvent pas pourquoi il a échoué avant qu'il ne soit trop tard. C'est comme essayer de conduire une voiture en regardant uniquement une carte, en ignorant la sensation du volant ou le bruit du moteur.

FAWAM est un nouveau « cerveau » pour les robots qui leur redonne ce sens du toucher, mais avec un super-pouvoir : il peut prédire l'avenir.

Voici comment fonctionne FAWAM, décomposé en trois étapes simples en utilisant une analogie culinaire :

1. L'« intuition du chef » (Perception)

La plupart des robots se contentent de regarder les ingrédients (la vision). FAWAM est comme un chef qui ne voit pas seulement la marmite, mais qui sent aussi la chaleur monter et l'odeur de la vapeur.

Ce qu'il fait : Il prend l'historique des forces (la force avec laquelle le robot a poussé ou tiré au cours des dernières secondes) et l'utilise pour comprendre la situation actuelle.
L'analogie : Au lieu de simplement voir une marmite qui bout, le robot « ressent » la vibration et la chaleur pour savoir exactement comment la soupe réagit à la cuillère. Cela l'aide à comprendre l'« état de contact » : l'objet est-il en train de glisser ? Est-il coincé ?

2. La « boule de cristal » (Prédiction)

C'est la plus grande innovation de l'article. La plupart des robots réagissent à ce qui se passe maintenant. FAWAM demande : « Si je fais cette action, qu'arrivera-t-il à la force exercée dans la seconde suivante ? »

Ce qu'il fait : Il ne prédit pas seulement où la main du robot se trouvera, il prédit la force que la main ressentira. Il simule l'interaction future.
L'analogie : Imaginez un chef goûtant une cuillerée de soupe et prédisant immédiatement : « Si j'ajoute plus de sel, ce sera trop salé dans 10 secondes. » FAWAM fait cela avec la physique. Il dit : « Si je pousse cette boîte vers l'avant, je prédis que je vais ressentir une résistance soudaine dans 0,5 seconde. » En prédisant l'« aïe » ou le « glissement » futur, le robot peut mieux planifier.

3. Le « réflexe instantané » (Correction)

Même avec une boule de cristal, les choses peuvent mal tourner. Peut-être que la table est légèrement inégale, ou que l'objet est plus lourd que prévu.

Ce qu'il fait : Pendant que le robot se déplace, il compare constamment sa prédiction (ce qu'il pensait qu'il allait se passer) avec la réalité (ce que les capteurs ressentent réellement). S'il y a un décalage, il ajuste instantanément son mouvement pour le corriger.
L'analogie : C'est comme un funambule. Il a un plan pour traverser, mais s'il sent une rafale de vent soudaine (un écart par rapport à sa prédiction), il déplace instantanément son poids pour garder l'équilibre. FAWAM fait cela 10 fois par seconde. Si le robot a prédit un glissement fluide mais ressent un choc soudain, il ajuste instantanément sa prise pour éviter un accident.

Les résultats : Pourquoi c'est important

Les chercheurs ont testé cela sur de vrais robots effectuant des tâches complexes et tactiles comme éplucher un concombre ou essuyer un vase.

Les robots basés uniquement sur la vision (les modèles « aveuglés ») ont réussi moins de la moitié du temps.
Les robots qui « ressentaient » simplement la force (sans la prédiction et la correction) ont mieux réussi, mais ont tout de même éprouvé des difficultés.
FAWAM a réussi 85 % du temps.

L'article affirme qu'en combinant le ressenti du passé, la prédiction de la force future et la correction sur le moment, le robot devient beaucoup plus robuste. Il ne se contente pas de réagir à un problème ; il l'anticipe et le corrige avant que la tâche n'échoue.

En bref : FAWAM transforme un robot d'une machine maladroite et visuelle en un artisan habile capable de « tâter » son chemin à travers des tâches complexes, prédisant les obstacles avant qu'ils ne surviennent et ajustant sa prise instantanément pour mener à bien le travail.

Résumé Technique : FAWAM – Modèles d'Action de Monde Sensibles à la Force pour la Manipulation en Boucle Fermée

1. Énoncé du Problème

Les tâches de manipulation robotique riches en contacts (ex. : essuyage, épluchage, poussée) nécessitent une régulation continue de l'interaction avec l'environnement. Bien que les observations visuelles soient la norme, elles sont souvent insuffisantes pour inférer les états d'interaction critiques tels qu'un contact faible, une pression excessive ou un blocage. Les méthodes existantes qui intègrent des capteurs de force les traitent généralement comme une modalité d'observation supplémentaire pour l'apprentissage de politiques ou les utilisent pour un contrôle réactif de bas niveau. Cependant, ces approches ne parviennent pas à modéliser explicitement l'évolution des futurs états de contact (ex. : futurs wrenches/efforts) et manquent de références prédictives pour guider les corrections lors de l'exécution. Par conséquent, les robots peinent à anticiper les résultats de contact et à s'ajuster de manière proactive lorsque le retour sensoriel s'écarte des attentes.

2. Méthodologie

Les auteurs proposent FAWAM (Force-Aware World Action Model), un cadre en boucle fermée qui intègre les signaux de force à trois niveaux : perception, prédiction et exécution. Le système fonctionne sur deux fréquences distinctes : un Modèle d'Action Visionnaire de la Force fonctionnant à 1 Hz pour la planification de haut niveau, et un Correcteur Résiduel Guidé par la Force fonctionnant à 10 Hz pour l'ajustement en ligne.

A. Modèle d'Action Visionnaire de la Force
Ce composant étend un modèle d'action de monde (basé sur GE-Act) pour incorporer la sensibilité à la force :

Conditionnement de la Force : Les historiques récents de force/couple à 6 axes ( $w_{t-H_f+1:t}$ ) sont encodés en une caractéristique de contact compacte ( $c_t$ ) via un MLP léger. Cette caractéristique module la voie de génération d'actions en utilisant une modulation de type AdaLN-Zero, où des décalages conditionnés par la force sont ajoutés aux paramètres AdaLN-Zero standards (décalage, échelle, porte) au sein des blocs DiT.
Prédiction Conjointe : Au lieu d'utiliser une tête de prédiction de force isolée, le modèle remplace la projection d'action originale par une projection linéaire conjointe. Celle-ci produit des trajectoires d'actions futures concaténées ( $A_t$ ) et des trajectoires de wrenches futures ( $W_t$ ). Cette conception force le décodeur à apprendre une représentation partagée qui capture le couplage entre les mouvements du robot et leurs conséquences physiques de contact.
Entraînement : Le modèle utilise une stratégie d'entraînement en deux étapes. Premièrement, un modèle de génération de vidéo est affiné en utilisant le flow matching dans l'espace latent. Deuxièmement, le décodeur d'action sensible à la force est entraîné avec une fonction de perte combinée ( $L_{stage2} = L_{action} + \lambda_F L_{force}$ ) pour prédire simultanément les futurs mouvements et les forces de contact sous le même cadre de flow-matching.

B. Correction Résiduelle Guidée par la Force
Pour traiter les variations de contact inattendues (ex. : résistance soudaine) pendant l'exécution d'un bloc d'action (action chunk), un correcteur résiduel est introduit :

Entrées : Le correcteur prend le bloc d'action de base, la référence de wrench prédite, le retour de wrench en temps réel et l'état proprioceptif actuel.
Calcul de l'Erreur : Il calcule explicitement une erreur de suivi de wrench ( $e^w_t$ ) en comparant le retour de force mesuré ( $w^{meas}$ ) avec la trajectoire de wrench prédite ( $w^{pred}$ ).
Mécanisme de Porte (Gating) : Une tête de porte prédit un scalaire de porte ( $g^{res}_t$ ) pour déterminer si une correction est nécessaire. Un masque binaire ( $\kappa_t$ ) est appliqué basé sur un seuil pour empêcher le modèle résiduel de perturber les exécutions nominales.
Sortie : Le système produit une action résiduelle ( $\Delta a^{res}$ ) qui est ajoutée à l'action de base uniquement lorsque la porte est active, affinant l'exécution en ligne.
Collecte de Données : Les données de correction sont collectées à l'aide d'un système de téléopération maître-esclave à retour de force (FACTR). Les opérateurs humains interviennent lors de contacts anormaux, et la différence entre la commande corrigée et la commande de la politique de base sert de cible résiduelle.

3. Contributions Clés

Cadre FAWAM : Un modèle d'action de monde sensible à la force qui exploite les signaux de force à travers les niveaux de perception, de prédiction et d'exécution pour permettre une manipulation riche en contacts robuste.
Correction Résiduelle Guidée par la Force : Un mécanisme novateur qui utilise l'écart entre les forces prédites et les retours sensoriels pour corriger les actions pendant l'exécution, allant au-delà du simple contrôle réactif pour un ajustement proactif guidé par la prédiction.
Validation Empirique : Expériences étendues en conditions réelles sur un bras robotique Franka Research 3 (FR3) démontrant des gains de performance significatifs par rapport aux meilleures méthodes de référence (state-of-the-art).

4. Résultats Expérimentaux

Les expériences ont été menées sur un bras robotique Franka Research 3 (FR3) à travers quatre tâches : Effacer un tableau blanc, Éplucher un concombre, Pivoter une boîte et Essuyer un vase. Les tâches impliquaient diverses conditions de contact induites par des variations d'inclinaison de surface, de hauteur de table et de position d'objets.

Performance : FAWAM a atteint un taux de succès (SR) moyen de 85,00 %.
- Cela représente une amélioration de 36,25 % par rapport aux bases uniquement visuelles (ex. : $\pi0.5$ à 47,50 %, GE-Act à 48,75 %).
- Cela montre une amélioration de 21,25 % par rapport aux bases sensibles à la force existantes (ForceVLA et TA-VLA, toutes deux à 63,75 %).
Analyse d'Ablation :
- La politique de base sans correction résiduelle (FAWAM sans Res) a atteint un taux de succès de 73,75 %, indiquant que le modèle d'action visionnaire de la force seul fournit une base solide.
- L'ajout du correcteur résiduel a apporté le boost final à 85,00 %, validant l'efficacité de la correction en ligne.
- L'étude d'ablation a confirmé que les trois composants (Observation conditionnée par la force, Prédiction conjointe et Correction résiduelle) contribuent positivement à la performance.

5. Signification et Revendications

L'article affirme que la manipulation riche en contacts n'est pas simplement une cartographie réactive observation-action, mais un paradigme de prédiction proactive. En modélisant explicitement l'évolution des futurs états de contact et en utilisant ces prédictions comme références en ligne, FAWAM permet aux robots d'anticiper les résultats de contact et de corriger les écarts avant que les échecs ne surviennent. Les auteurs soutiennent que leur intégration systématique des signaux de force — allant au-delà de la simple fusion d'observations vers la modélisation prédictive et la correction résiduelle — produit des comportements robustes adaptables aux variations environnementales dynamiques et aux perturbations externes. Les résultats suggèrent que la prédiction de contact future est un composant critique manquant dans les politiques visuomotrices actuelles pour les tâches nécessitant une interaction physique soutenue.