Résumé Technique : QuickLAP

Énoncé du Problème

Les robots opérant dans des systèmes semi-autonomes doivent apprendre les préférences humaines pour aligner leur comportement sur l'intention de l'utilisateur. Les humains communiquent généralement ces préférences via deux modalités : les corrections physiques (par exemple, pousser un volant ou un bras robotique) et le langage naturel (par exemple, « Éloignez-vous des cônes »). Cependant, s'appuyer sur l'une ou l'autre modalité de manière isolée présente des limitations significatives :

• Corrections Physiques : Bien qu'ancrées dans l'environnement physique et précises dans leur exécution, elles sont souvent ambiguës quant à l'intention. Un seul ajustement physique peut simultanément affecter plusieurs caractéristiques de récompense (par exemple, éviter un cône peut involontairement modifier l'alignement de la voie), rendant difficile pour le robot de déduire quelle caractéristique spécifique l'utilisateur souhaitait modifier.
• Langage Naturel : Bien que capable d'exprimer des objectifs de haut niveau et de clarifier l'intention, le langage manque souvent d'ancrage physique. Les énoncés peuvent être vagues (« Éloignez-vous ! »), sous-spécifiés ou dépendants du contexte, échouant à transmettre exactement comment le robot doit agir sans référence à l'état actuel.

Les méthodes existantes échouent souvent à exploiter pleinement la complémentarité de ces signaux. Certaines s'appuient sur de grands ensembles de données hors ligne de trajectoires appariées et de langage, limitant l'adaptation en ligne. D'autres traitent le langage comme précis et autonome, ignorant le contexte physique nécessaire pour désambiguïser des instructions vagues. Il existe un besoin d'un cadre capable de fusionner ces modalités en temps réel pour résoudre l'ambiguïté et inférer efficacement des fonctions de récompense.

Méthodologie : QuickLAP

Les auteurs proposent QuickLAP (Apprentissage des Préférences Langage-Action Rapide), un cadre bayésien conçu pour l'inférence de récompense en temps réel à partir de retours physiques et linguistiques conjoints. L'idée centrale est de traiter le langage non pas simplement comme une description d'objectifs, mais comme une observation probabiliste des préférences de récompense latentes de l'utilisateur. Cette observation module l'interprétation des corrections physiques.

Aperçu du Cadre

QuickLAP calcule la distribution a posteriori des paramètres de préférence $\theta$ étant donné une trajectoire proposée par le robot $\xi_R$, une trajectoire corrective humaine $\xi_H$ et un énoncé de langage naturel $l$ :
$$P(\theta | \xi_H, \xi_R, l) \propto P(\xi_H | \xi_R, \theta) \cdot P(l | \xi_H, \xi_R, \theta) \cdot P(\theta)$$

Le cadre décompose cette inférence en trois composantes :

1. Vraisemblance Physique ($P(\xi_H | \xi_R, \theta)$) :
   Modélisée à l'aide d'un modèle rationnel bruité de Boltzmann. Elle suppose que la correction humaine $\xi_H$ représente une amélioration par rapport à la trajectoire du robot $\xi_R$ basée sur la vraie récompense $\theta$, pénalisée par l'effort requis pour effectuer la correction.

2. Vraisemblance Linguistique ($P(l | \xi_H, \xi_R, \theta)$) :
   Au lieu de modéliser la distribution brute des énoncés, QuickLAP introduit une variable proxy latente $\mu_t = \theta - \theta_t$, représentant le décalage de récompense souhaité. Un pipeline dual de Modèle de Langage (LM) traite l'énoncé dans le contexte de la correction physique :

   • LM d'Attention ($LM_{att}$) : Identifie quelles caractéristiques de récompense sont pertinentes pour l'intention de l'utilisateur, produisant un masque d'attention $r \in \{0, 1\}^d$.
   • LM de Préférence ($LM_{pref}$) : Détermine l'ampleur et la direction du décalage pour les caractéristiques retenues, en sortant un vecteur de décalage $\mu$ et un vecteur de confiance $m$.
     La vraisemblance linguistique est modélisée comme une distribution gaussienne centrée sur le décalage prédit par le LM $\mu_t$, avec une variance modulée par le score de confiance $m$. Une haute confiance entraîne une faible variance (haute confiance), tandis qu'une faible confiance augmente la variance, réduisant l'influence du signal linguistique.

3. Prior Conditionnel ($P(\theta | \hat{r})$) :
   Le masque d'attention $\hat{r}$ dérivé du langage est utilisé pour moduler l'a priori sur $\theta$. Si une caractéristique n'est pas retenue (faible $r$), la précision de l'a priori est élevée, ancrant le poids à sa valeur actuelle. Si une caractéristique est retenue (haute $r$), la précision de l'a priori est plus faible, permettant au poids de s'adapter plus librement.

Règle de Mise à Jour sous Forme Close

En combinant ces composantes, QuickLAP dérive une règle de mise à jour du Maximum A Posteriori (MAP) pour chaque caractéristique $i$ :
$$\hat{\theta}_{t+1}^i = \hat{\theta}_t^i + \kappa_i(m_t^i, \hat{r}_t^i) \left[ \sigma_{L,i}^2(m_t^i) \Delta\Phi_i + \mu_t^i \right]$$
Où :

• $\Delta\Phi_i$ est la différence de caractéristique entre la correction humaine et le plan du robot.
• $\mu_t^i$ est le décalage suggéré par le langage.
• $\kappa_i$ est un terme de gain qui pondère de manière adaptative les contributions des signaux physiques et linguistiques en fonction de l'attention et de la confiance.

Cette formulation permet à QuickLAP de gérer de manière robuste les retours ambigus : le langage vague est interprété dans le contexte des corrections physiques, et les corrections physiques peu claires sont désambiguïsées par le langage.

Contributions Clés

1. Cadre Bayésien Efficace : Une méthode bayésienne sous forme close pour interpréter conjointement les corrections physiques et les retours de langage naturel en temps réel, étendant l'Apprentissage par Renforcement Inverse (IRL) à des contextes multimodaux.
2. Analyseur Sémantique Basé sur LM : Une procédure utilisant des Modèles de Langage de Grande Taille (LLM) pour mapper le langage libre-forme vers des signaux de récompense structurés (masques d'attention, vecteurs de décalage et scores de confiance) sans entraînement spécifique à la tâche.
3. Robustesse à l'Ambiguïté : La méthode gère explicitement le « fossé d'ambiguïté » où les actions physiques sont opaques quant à l'intention et le langage est vague, en les fusionnant de manière probabiliste.
4. Validation Empirique : Des simulations extensives et des études utilisateurs démontrant des améliorations significatives par rapport aux lignes de base.

Résultats Expérimentaux

Expériences Simulées

Les auteurs ont évalué QuickLAP dans deux domaines : une tâche de manipulation robotique (Robosuite) et un simulateur de conduite autonome (InterACT).

• Manipulation Robotique : Dans une tâche impliquant l'évitement d'obstacles et la progression vers un objectif, QuickLAP a réduit l'Erreur Quadratique Moyenne Normalisée (NMSE) des poids de récompense appris de plus de 2 fois par rapport aux lignes de base purement physiques.
• Scénarios de Conduite : À travers quatre environnements de complexité croissante (variant le nombre de voies, de cônes, de flaques et de voitures), QuickLAP a constamment surpassé les lignes de base purement physiques et heuristiques multimodales. Il a réduit l'erreur d'inférence de récompense de plus de 70 % dans des cas modérés (par exemple, éviter des cônes par rapport à des flaques) et a convergé significativement plus vite, se stabilisant après moins d'interventions que les lignes de base.
• Études d'Ablation : La variante « Langage Seul » (utilisant le contexte physique pour l'incitation des LLM mais aucune mise à jour physique) a bien performé en simulation, suggérant que les LLM peuvent inférer l'intention à partir du contexte. Cependant, le modèle complet QuickLAP s'est avéré plus robuste dans des scénarios avec des retours bruités ou un langage ambigu.

Études Utilisateurs

Deux études utilisateurs ont été menées pour valider l'approche avec de vrais humains :

1. Étude Pilote (Experts) : 12 utilisateurs experts ont contrôlé un bras robotique. Les variantes QuickLAP ont significativement surpassé la ligne de base purement physique en termes de NMSE.
2. Étude Non-Experts (Conduite) : 15 utilisateurs non experts ont contrôlé une voiture virtuelle.
   • Métriques Subjectives : Les participants ont jugé QuickLAP significativement plus compréhensible ($p=0,023$) et collaboratif ($p=0,029$) que la ligne de base purement physique.
   • Préférence : Les participants ont significativement préféré QuickLAP par rapport aux lignes de base purement physiques et purement linguistiques.
   • Performance Objective : Les comportements appris par QuickLAP présentaient une NMSE significativement plus faible que les lignes de base, indiquant que les utilisateurs pouvaient enseigner au robot leurs objectifs intentionnels plus efficacement.
   • Cas Limites : L'étude a mis en évidence la capacité de QuickLAP à résoudre des entrées contradictoires (par exemple, un utilisateur disant « éloignez-vous » tout en se déplaçant physiquement vers un obstacle) en s'appuyant sur la fusion pondérée par la confiance, empêchant ainsi des décalages de récompense incorrects.

Importance et Revendications

L'article revendique que QuickLAP offre un cadre général pour l'apprentissage des préférences dans tout domaine où les utilisateurs peuvent « montrer et dire ». Son importance réside dans :

• Adaptation en Temps Réel : Contrairement aux méthodes nécessitant de grands ensembles de données hors ligne, QuickLAP prend en charge l'apprentissage en ligne avec des entrées rares et ambiguës.
• Fusion Principée : Il va au-delà de la fusion heuristique en traitant le langage comme une observation probabiliste, fournissant une manière mathématiquement fondée de résoudre l'ambiguïté entre les modalités.
• Amélioration de l'Interaction Humain-Robot : En rendant le processus d'apprentissage du robot plus compréhensible et collaboratif, QuickLAP facilite des interactions plus intuitives et personnalisées, applicables à des domaines allant de la robotique d'assistance aux drones collaboratifs.

Les auteurs restent modestes concernant les limites, notant que le cadre suppose des sorties de LLM raisonnablement calibrées et se concentre actuellement sur des caractéristiques prédéfinies. Ils suggèrent que des travaux futurs pourraient explorer des modalités supplémentaires (regard, geste) et la génération dynamique de caractéristiques.