Résumé technique : Récompense Robotique Intrinsèque (IRR - Intrinsic Robot Rewarding)

Énoncé du problème

Les modèles de Vision-Langage-Action (VLA), tels qu'OpenVLA, ont établi une base pour la manipulation robotique en connectant les observations visuelles et les instructions linguistiques aux actions. Cependant, l'adaptation de ces politiques à de nouvelles tâches industrielles nécessite généralement des signaux de récompense externes pour faciliter l'apprentissage par l'expérience (par exemple, via l'apprentissage par renforcement). Les approches actuelles reposent souvent sur :

• Des modèles de fondation de récompense dédiés ou des évaluateurs de vision-langage distincts.
• Des architectures de perception supplémentaires.
• Un étiquetage humain extensif des résultats pour générer des signaux de récompense.

Cette séparation augmente l'effort d'intégration, la surcharge de calcul et les coûts de supervision humaine récurrents. L'article postule que les ressources déjà disponibles dans un pipeline VLA — spécifiquement l'encodeur visuel gelé et les points terminaux des démonstrations réussies utilisés pour l'apprentissage par imitation — sont sous-utilisées pour l'évaluation de la performance du robot. Le problème central est de savoir comment exploiter ces représentations internes existantes pour générer des récompenses intrinsèques pour l'amélioration de la politique sans introduire de nouveaux modèles ou de supervision externe significative.

Méthodologie : Récompense Robotique Intrinsèque (IRR)

L'IRR propose un cadre où le robot évalue ses propres résultats en utilisant les mêmes ressources perceptuelles qu'il utilise pour la génération d'actions. La méthodologie se compose de quatre composantes principales :

1. Banque de Référence Conditionnée par la Tâche

Au lieu d'entraîner un modèle de récompense séparé, l'IRR construit une banque de référence ($Z^+_g$) à partir des points terminaux réussis des démonstrations déjà collectées pour l'apprentissage par imitation.

• Extraction de Caractéristiques : Un checkpoint gelé de l'encodeur visuel du VLA ($\phi$) extrait des vecteurs de caractéristiques ($z_t$) à partir des observations de la caméra ($o_t$).
• Construction de la Référence : Les trajectoires de démonstration réussies ($\tau_i$) fournissent un ensemble de plongements (embeddings) de référence représentant des issues de tâches valides. Cette banque accepte de multiples issues valides (par exemple, différentes poses d'objets) plutôt que de forcer un prototype visuel unique.

2. Notation Basée sur la Similitude

Les nouvelles tentatives du robot sont évaluées en fonction de leur similitude avec la banque de référence.

• Métrique de Distance : Le système calcule la distance euclidienne au carré moyenne ($d_g$) entre l'embedding de l'observation actuelle et ses $k$ plus proches voisins dans la banque de référence.
• Fonction de Notation : Un score ($s_g$) est dérivé à l'aide d'une fonction de décroissance exponentielle contrôlée par un paramètre de température spécifique à la tâche ($\tau_g$).
• Persistance : Pour éviter les correspondances visuelles transitoires, un score de persistance ($s^{pers}_g$) prend le score minimum sur une courte fenêtre d'observation après la tentative.
• Signal de Récompense : La récompense intrinsèque finale ($r^{IRR}_T$) est une valeur binaire ou mise à l'échelle dérivée du score de persistance, appliquée à l'instant terminal de l'épisode.

3. Amélioration de la Politique via le RL Résiduel

Le cadre intègre l'IRR avec un contrôleur d'apprentissage par renforcement (RL) résiduel.

• Architecture : La politique de base ($\pi_0$) est le VLA entraîné par imitation. Une politique résiduelle ($\pi_\theta$) apprend à produire des corrections cartésiennes ($\delta a_t$) basées sur le feedback de l'IRR.
• Exécution : L'action finale est la somme bornée de l'action de la politique de base et de la correction résiduelle. Cela permet au système d'apprendre des améliorations sans réentraîner immédiatement l'ensemble de la structure (backbone) du VLA.
• Algorithme d'Apprentissage : Des méthodes acteur-critique hors-politique (off-policy) (par exemple, Soft Actor-Critic) sont proposées pour gérer le mécanisme d'apprentissage stochastique.

4. Étalonnage et Validation

• Positif-uniquement vs Étalonné : Le système peut fonctionner en mode "positif-uniquement" (utilisant uniquement les démonstrations réussies pour construire la banque) ou en mode "étalonné" (utilisant un petit ensemble d'échecs étiquetés pour ajuster les seuils de décision ou entraîner une petite tête de récompense).
• Audit Indépendant : Pour garantir la fiabilité, les étiquettes de succès/échec pour l'évaluation sont générées par des évaluateurs humains examinant des vidéos synchronisées, processus distinct du processus de génération de la récompense.

Contributions Clés

L'article présente les contributions spécifiques suivantes :

1. Réutilisation des Ressources : Une conception qui réutilise l'encodeur visuel gelé et les données de démonstration existantes d'un VLA pour l'exécution de l'action et l'évaluation du résultat, éliminant ainsi le besoin de modèles de récompense de fondation séparés.
2. Formulation de la Récompense : Une formulation mathématique concrète pour générer des récompenses conditionnées par la tâche basées sur la similitude avec une banque de référence de points terminaux réussis.
3. Démonstrateur TRL 4 : La présentation d'un laboratoire opérationnel de base utilisant un bras industriel COMAU Racer 3, un préhenseur Robotiq Hand-E et OpenVLA-7B, atteignant actuellement un taux de réussite de tâche de 56 % sur une tâche de cube-vers-conteneur.
4. Cadre de Recherche : Un ensemble structuré de questions de recherche (RQ) et de métriques d'évaluation pour évaluer l'efficacité de la réutilisation des représentations, de l'amélioration de la politique physique et des gains d'efficacité.

Résultats Actuels et Fondement Expérimental

L'article ne rapporte pas les résultats finaux de la boucle d'apprentissage IRR, car la recherche proposée vise à connecter la formulation de la récompense à l'amélioration de la politique physique. Cependant, il fournit une base de référence validée :

• Système : Un bras COMAU Racer 3 avec une caméra à vue de troisième personne et une pile de contrôle ROS.
• Performance de Base : Dans une étude de 50 essais physiques (placement d'un cube vert dans un conteneur), la politique OpenVLA-7B entraînée par imitation a atteint un taux de réussite de 56 % (28/50 essais).
• Analyse d'Échec : Le principal mode d'échec (8 des 22 échecs) était le défaut de centrage de l'effecteur terminal sur l'objet, identifiant une cible spécifique pour la correction par RL résiduel.
• Disponibilité des Données : 245 épisodes de démonstration sont disponibles pour la construction de la banque de référence.

Signification et Revendications

L'article positionne l'IRR comme une voie pratique vers des robots industriels auto-évaluables et auto-améliorables. Sa signification est articulée autour de trois dimensions :

1. Réduction de l'Effort d'Intégration : En réutilisant l'encodeur VLA existant et les données de démonstration, l'approche évite la complexité de l'entraînement et de la maintenance de modèles de fondation de récompense ou de structures de perception supplémentaires.
2. Efficacité de la Supervision : Elle vise à réduire l'effort humain récurrent requis pour la notation des résultats lors de la phase d'apprentissage, car le système peut évaluer l'autosuffisance du succès basé sur des représentations internes.
3. Évolutivité : L'approche offre un mécanisme pour s'adapter à de nouvelles tâches (nouvelles pièces, fixations ou conditions) simplement en mettant à jour la banque de référence avec de nouvelles démonstrations réussies, sans réentraîner le modèle de perception central.

Les auteurs maintiennent une position modeste, reconnaissant que bien que le fondement théorique et le démonstrateur TRL 4 soient établis, l'étape critique suivante est de valider empiriquement que ce signal de récompense intrinsèque conduit efficacement à une amélioration de la politique physique et que la fiabilité de l'évaluation interne correspond aux audits humains indépendants. Ce travail sert de papier de position et de proposition de direction de recherche plutôt que de rapport sur un problème entièrement résolu.