Résumé Technique : History-Aware VErifier (HAVE)

Énoncé du Problème

Les robots opérant dans le monde réel rencontrent fréquemment des objets visuellement ambigus où des apparences identiques masquent des comportements physiques très différents (par exemple, une porte qui nécessite de pousser plutôt que de tirer, ou des objets ayant des distributions de masse interne inconnues). Dans de tels scénarios, l'état réel de l'environnement est partiellement observable, ce qui en fait un processus de décision de Markov partiellement observable (POMDP).

Le défi central est que les politiques génératives standards, même lorsqu'elles sont conditionnées par l'historique des actions, peinent à lever ces ambiguïtés. Des preuves théoriques et empiriques suggèrent qu'entraîner une politique générative unique pour imiter des jeux de données d'experts hétérogènes (où la solution de vérité terrain varie pour une même observation) conduit à des performances sous-optimales. Les auteurs soutiennent que s'appuyer uniquement sur un générateur conditionné par l'historique ne permet pas d'exploiter efficacement les interactions passées pour résoudre l'incertitude en temps réel.

Méthodologie : Le cadre HAVE

Les auteurs proposent HAVE (History-Aware VErifier), un cadre qui découple explicitement la génération d'actions de la vérification d'actions. Le système fonctionne selon un paradigme de génération-vérification :

1. Générateur Inconditionnel ($\pi_G$) : Un modèle de diffusion génère un lot de $N$ actions candidates basées sur l'observation actuelle. Crucialement, ce générateur est inconditionnel concernant l'historique ; il propose des candidats diversifiés sans être biaisé par les échecs ou les succès passés durant la phase de génération.
2. Vérificateur Sensible à l'Historique ($V$) : Un réseau de neurones évalue les candidats proposés en raisonnant sur l'historique complet des interactions (actions passées et observations résultantes). Il produit un score scalaire (récompense estimée) pour chaque candidat.
3. Sélection : Le système sélectionne et exécute l'action ayant le score estimé le plus élevé selon le vérificateur.

Architecture du Réseau

Le vérificateur utilise une architecture spécifique conçue pour relier les propositions actuelles aux données historiques :

• Encodage : Les actions sont représentées comme des champs d'actions denses (nuages de points avec des vecteurs d'action) et sont encodées via PointNet++. Les observations sont encodées en calculant le « Flux d'Observation » (le mouvement des points entre des images consécutives) et en encodant ce flux.
• Mécanisme d'Attention : Le cœur du vérificateur utilise une couche d'attention explicite. La proposition d'action actuelle sert de Requête (Query - Q), tandis que les plongements (embeddings) des actions historiques et des flux d'observation servent de Clés (Keys - K) et de Valeurs (Values - V). Cela permet au modèle de récupérer des expériences passées pertinentes similaires à la proposition actuelle.
• Branche Inconditionnelle : Pour gérer les cas où aucun historique similaire n'existe, l'architecture inclut une branche d'évaluation inconditionnelle qui évalue l'action sans contexte historique, laquelle est intégrée au mécanisme d'attention final.
• Perte d'Entraînement : Le modèle est entraîné à l'aide de trois composantes de perte :
  • Perte de Score Final : Supervise le score prédit final pour l'action sélectionnée.
  • Perte de Score Historique : Supervise les scores des résultats d'actions historiques.
  • Perte de Score Inconditionnel : Supervise la branche d'évaluation inconditionnelle.

Motivation Théorique

L'article fournit une justification théorique pour la séparation génération-vérification :

• Écart Génération-Vérification : Citant Setlur et al., les auteurs notent que dans les contextes présentant des traces de solutions hétérogènes, une politique générative souffre d'un écart de récompense qui se contracte à un taux de $O(\sqrt{1/n})$, alors qu'un vérificateur entraîné pour s'ajuster aux termes de récompense se contracte à un taux plus rapide de $O(e^{-H/n})$ (où $H$ est la longueur de l'horizon).
• Bénéfice de la Sélection : Les auteurs prouvent que si un vérificateur possède une précision supérieure à 50 % ($p_V > 0.5$) et que le générateur a une probabilité non nulle d'échantillonner une bonne action, la sélection de la meilleure action parmi $N$ échantillons à l'aide du vérificateur produit une espérance de récompense strictement plus élevée que l'échantillonnage d'une seule action à partir du générateur.

Résultats Expérimentaux

La méthode a été évaluée dans trois environnements distincts impliquant des ambiguïtés fondamentales, tant en simulation qu'en conditions réelles :

1. Objets Articulés (Simulation) :

   • Tâche : Ouvrir divers objets articulés (PartNet-Mobility) à partir d'un état fermé.
   • Résultats : HAVE a réduit le taux d'échec d'environ 6 fois par rapport à FlowBot3D (de 13 % à 2 %) et de 10 fois par rapport à un générateur conditionné par l'historique sans vérificateur.
   • Ablations : L'utilisation de champs d'actions denses et l'extraction explicite du flux d'observation se sont révélées supérieures aux représentations éparses et aux séquences de nuages de points bruts.

2. Portes Multi-modales (Simulation et Monde Réel) :

   • Tâche : Déterminer la direction d'ouverture correcte (pousser/tirer, gauche/droite) pour des portes ayant la même géométrie mais des configurations de joints différentes.
   • Résultats : HAVE a nettement surpassé les bases de référence tant en termes de taux d'échec que du nombre d'étapes nécessaires pour ouvrir la porte. Dans les expériences réelles avec un robot Franka Emika Panda, HAVE a démontré des taux de réussite et une efficacité plus élevés pour les quatre modes de portes.

3. Ramassage d'Objets Déséquilibrés (Simulation) :

   • Tâche : Soulever des tiges et des objets ayant des distributions de masse inconnues et inégales.
   • Résultats : HAVE a réduit les taux d'échec sur les jeux de données de tiges ambigus et sur les jeux de données d'objets non vus par rapport aux bases de référence, démontant la capacité à inférer le centre de masse par des interactions d'essais et d'erreurs.

Contributions Clés

1. Structure de Vérificateur Novatrice : Un vérificateur sensible à l'historique qui raisonne explicitement sur les interactions passées pour lever l'incertitude dans les scénarios ambigus, découplant ce raisonnement du processus de génération d'actions.
2. Analyse Théorique : Une démonstration formelle qu'utiliser un vérificateur pour sélectionner parmi les propositions d'un générateur améliore la qualité attendue de l'action, à condition que le vérificateur soit meilleur que le hasard.
3. Validation Empirique : Des expériences exhaustives dans des environnements simulés et réels (objets articulés, portes ambiguës, objets à masse inégale) montrant des améliorations significatives par rapport aux bases de référence de l'état de l'art et des études d'ablation confirmant l'efficacité de choix de conception spécifiques (ex: champs d'actions denses, attention explicite).

Signification et Limites

L'article affirme que HAVE offre une solution robuste pour la levée d'ambiguïté en ligne dans des tâches de manipulation multi-modales et ambiguës. En combinant une politique générative avec un vérificateur sensible à l'historique, le système peut adapter sa stratégie en fonction des résultats d'essais et d'erreurs, surmontant ainsi les limites des approches purement génératives.

Les auteurs reconnaissent des limites :

• La performance du système est strictement limitée par l'expressivité du générateur ; si le générateur échoue à proposer une action viable, le vérificateur ne peut pas compenser.
• L'entraînement actuel repose sur des connaissances privilégiées (actions de vérité terrain et scores) obtenues par simulation, qui pourraient ne pas être directement disponibles dans des scénarios réels diversifiés.
• Les travaux futurs visent à explorer comment les vérificateurs peuvent activement améliorer la qualité des générateurs et comment apprendre des scores sans supervision privilégiée.