🤖 machine learning

Formulating Reinforcement Learning for Human-Robot Collaboration through Off-Policy Evaluation

Cet article propose un nouveau cadre d'apprentissage par renforcement hors ligne qui utilise l'évaluation hors politique sur des données d'interaction enregistrées pour sélectionner automatiquement les représentations d'état et les fonctions de récompense optimales pour la collaboration homme-robot, éliminant ainsi le besoin d'interactions coûteuses en temps réel avec l'environnement et améliorant la scalabilité de l'apprentissage par renforcement dans les applications critiques pour la sécurité.

Auteurs originaux : Saurav Singh, Rodney Sanchez, Alexander Ororbia, Jamison Heard

Publié 2026-02-04

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Saurav Singh, Rodney Sanchez, Alexander Ororbia, Jamison Heard

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à travailler aux côtés d'un humain, comme un copilote dans un cockpit ou un infirmier dans un hôpital. Pour ce faire, vous devez donner au robot un « cerveau » (l'apprentissage par renforcement) qui apprend par essais et erreurs. Mais voici le problème : dans le monde réel, vous ne pouvez pas laisser le robot s'écraser dans un avion ou blesser un patient juste pour voir ce qui se passe. C'est trop dangereux et trop coûteux.

Habituellement, les humains doivent passer des années à concevoir manuellement les « sens » du robot (ce sur quoi il porte son attention) et sa « motivation » (ce pour quoi il est récompensé). Si le robot échoue, vous devez deviner pourquoi et tout recommencer. C'est comme essayer de régler une radio en tournant le cadran à l'aveugle tout en étant dans une pièce insonorisée.

Ce document propose une manière plus intelligente de régler cette radio sans jamais quitter la pièce.

La grande idée : Le coach du « voyage dans le temps »

Les auteurs introduisent une méthode appelée Évaluation Hors-Politique (Off-Policy Evaluation - OPE). Considérez cela comme un « Coach du voyage dans le temps ».

Au lieu de laisser le robot s'entraîner dans le monde réel, les chercheurs utilisent une énorme pile de vieux journaux de bord — des enregistrements de la façon dont les humains et les robots ont interagi par le passé. Ils utilisent ces journaux pour simuler des milliers de scénarios de type « et si ».

Le Problème : Ils doivent déterminer quel ensemble de « sens » (Espace d'États) et quel ensemble de « règles de récompense » (Fonction de Récompense) feront du robot le meilleur partenaire.
La Solution : Ils utilisent le Coach OPE pour examiner les anciens journaux et dire : « Si nous avions enseigné au robot en utilisant ce ensemble spécifique de sens et cette règle de récompense spécifique, voici exactement comment il se serait comporté. »

Cela leur permet de choisir la meilleure recette d'entraînement sans jamais risquer une seule interaction réelle.

Les Expériences : Deux terrains de jeu différents

Pour prouver que cela fonctionne, ils ont testé leur « Coach du voyage dans le temps » dans deux environnements très différents.

1. Le Lunar Lander (Le test du jeu vidéo)

D'abord, ils ont utilisé un jeu vidéo appelé Lunar Lander, où un robot doit faire atterrir un vaisseau spatial sur la lune.

Le Test : Ils ont essayé d'enseigner au robot avec différents « sens ». Une version voyait tout (position, vitesse, angle). Une autre version voyait du « bruit » supplémentaire (des données fausses). Une troisième version voyait moins (pas de données de position).
Le Résultat : Le Coach a examiné les journaux et a correctement identifié que la « vue complète » était la meilleure. Il savait que l'ajout de faux bruit confondait le robot, et que supprimer les données de position le faisait s'écraser.
La Récompense : Ils ont également testé différentes façons de donner des points au robot. Ils ont découvert que le meilleur système de récompense n'était pas seulement de se poser en toute sécurité ; c'était un mélange de stabilité, d'utilisation judicieuse du carburant et d'atterrissage en douceur. Le Coach a choisi le vainqueur instantanément, leur évitant de construire un nouveau robot pour le tester.

2. Le NASA MATB-II (Le test de stress humain)

Ensuite, ils sont passés à un scénario humain réel en utilisant une simulation appelée MATB-II. Imaginez un contrôleur aérien ou un pilote très occupé gérant quatre tâches à la fois :

Suivi (Tracking) : Maintenir un point sur une cible mobile.
Surveillance (Monitoring) : Surveiller les cadrans pour détecter des alarmes.
Gestion des ressources : Maintenir l'équilibre des réservoirs de carburant.
Communications : Écouter les commandes radio.

Dans cette étude, des humains travaillaient aux côtés d'un système automatisé. Les chercheurs voulaient savoir : Quelles données le robot doit-il utiliser pour décider quand aider ?

Les Données : Ils ont essayé de donner au robot uniquement les données de tâche, uniquement les données de fréquence cardiaque, ou un mélange de données de tâche, de fréquence cardiaque et de niveaux de stress estimés.
La Découverte : Le « Coach du voyage dans le temps » a déterminé que le robot performait le mieux lorsqu'il pouvait tout voir : ce que l'humain faisait, sa fréquence cardiaque et son niveau de stress. Cependant, il a trouvé que regarder uniquement les niveaux de stress ne suffisait pas ; le robot avait besoin de voir les tâches réelles aussi.
La Récompense : Ils ont également testé différentes façons de récompenser le robot. Ils ont trouvé qu'un système de récompense « équilibré » (qui punissait les mauvaises actions et récompensait les bonnes) fonctionnait le mieux pour apprendre au robot comment être un partenaire utile.

Le Test en Conditions Réelles : Mise au travail du robot

Après avoir utilisé le Coach pour choisir la meilleure recette, ils ont réellement construit le robot et l'ont placé dans une pièce avec 19 volontaires humains. Ils ont comparé trois types d'assistants :

Le Robot basé sur des règles : Suit un manuel strict (ex : « Si l'humain est stressé, prend le contrôle de la Tâche A »).
Le Robot RL Standard : A appris à partir des journaux en utilisant la meilleure recette trouvée par le Coach.
Le Robot RL Affiné (Fine-Tuned) : A appris à partir des journaux, puis a tenté d'ajuster son comportement en temps réel en fonction de l'humain spécifique avec lequel il travaillait.

Les Résultats :

Le Robot RL Standard était le plus constant. Il était le meilleur pour le suivi des cibles mobiles et la surveillance des alarmes. Il a généré le moins de stress chez les humains et a instauré la plus grande confiance. C'était comme un copilote fiable et calme qui savait exactement quand intervenir.
Le Robot basé sur des règles était correct pour les tâches simples mais peinait lorsque les choses devenaient chaotiques.
Le Robot RL Affiné était intéressant. Il était le meilleur pour la tâche de « Communications » (écoute des commandes radio) car il s'adaptait parfaitement à chaque personne. Cependant, lorsque la charge de travail devenait lourde, il devenait un peu imprévisible. C'était comme un copilote excellent pour discuter, mais qui oubliait parfois de surveiller la jauge de carburant quand les choses devenaient folles.

Ce qu'il faut retenir

L'article conclut que vous n'avez pas besoin de faire s'écraser quelques fusées ou de stresser quelques pilotes pour comprendre comment construire une bonne équipe robotique. En utilisant l'Évaluation Hors-Politique (Off-Policy Evaluation), vous pouvez examiner d'anciennes données, simuler des millions de scénarios d'entraînement et choisir les meilleurs « sens » et la meilleure « motivation » pour votre robot avant même de l'allumer.

Cela rend la création d'équipes humain-robot sûres et efficaces beaucoup plus rapide, moins coûteuse et plus sécurisée. Cela transforme le processus de « devinette et vérification » en une science précise et basée sur les données.

Résumé Technique : Formulation de l'Apprentissage par Renforcement pour la Collaboration Humain-Robot via l'Évaluation Hors-Politique

1. Énoncé du Problème

L'apprentissage par renforcement (RL) possède un potentiel significatif pour optimiser la prise de décision séquentielle dans des environnements dynamiques, particulièrement dans l'interaction humain-robot (HRI). Cependant, le déploiement du RL dans des contextes réels et critiques pour la sécurité (ex. : santé, aérospatiale, conduite autonome) se heurte à des barrières substantielles. Les approches traditionnelles de RL reposent fortement sur des interactions en ligne extensives, des essais et erreurs, ainsi que sur l'expertise métier pour définir des représentations d'états et des fonctions de récompense efficaces. Ce processus est souvent coûteux, chronophage et dangereux.

Bien que l'Apprentissage par Renforcement Hors-Ligne (ORL) atténue le besoin d'interaction en temps réel en s'entraînant sur des données pré-collectées, un défi critique demeure : la sélection d'espaces d'états et de fonctions de récompense optimaux sans expérimentation en ligne. De plus, garantir que les politiques entraînées hors-ligne sont sûres et efficaces dans des scénarios de collaboration humain-robot dynamiques nécessite des méthodes d'évaluation robustes qui ne nécessitent pas de déploiement supplémentaire dans le monde réel.

2. Méthodologie

Les auteurs proposent un nouveau cadre qui exploite l'Évaluation Hors-Politique (OPE - Off-Policy Evaluation) pour sélectionner systématiquement les représentations optimales de l'espace d'états et les fonctions de récompense en utilisant uniquement des données d'interaction enregistrées. Cette approche élimine le besoin d'accès à l'environnement en temps réel ou de retour d'information de l'humain dans la boucle pendant la phase de conception.

2.1 Sélection de l'Espace d'États via l'OPE

Le cadre évalue plusieurs candidats de représentations d'états ( $S_1, S_2, ..., S_K$ ) dérivés de la connaissance métier ou de la sélection de caractéristiques.

Entraînement Hors-Ligne : Un agent de RL hors-ligne (spécifiquement le Q-Learning Contraint, CQL) est entraîné pour chaque espace d'états candidat en utilisant le jeu de données enregistré.
Estimation OPE : Un estimateur OPE (utilisant des méthodes telles que l'Importance Sampling, la Méthode Directe ou le Fitted Q-Evaluation) estime le rendement attendu de chaque politique entraînée sans interaction en ligne.
Sélection : L'espace d'états optimal ( $S^*$ ) est sélectionné sur la base du rendement estimé par l'OPE le plus élevé, classant efficacement les représentations par leur capacité à induire des politiques performantes.

2.2 Sélection de la Fonction de Récompense via l'OPE

Le cadre évalue de manière similaire des fonctions de récompense candidates ( $r_1, r_2, ..., r_M$ ) en évaluant leur capacité à distinguer les politiques performantes des politiques peu performantes.

Évaluation de la Politique : Des politiques prédéfinies performantes ( $\pi^+$ ) et peu performantes ( $\pi^-$ ) sont évaluées sous chaque fonction de récompense candidate via l'OPE.
Métriques de Séparation : L'efficacité d'une fonction de récompense est quantifiée par la divergence entre les rendements estimés de $\pi^+$ $π^{+}$ et $\pi^-$ $π^{-}$ . Les auteurs utilisent :
- La différence de rendement moyenne ( $\Delta V$ ).
- La divergence de Kullback-Leibler (KL).
- La divergence de Jensen-Shannon (JS).
Sélection : La fonction de récompense optimale ( $r^*$ ) est celle qui maximise la séparation entre les bonnes et les mauvaises politiques, garantissant un signal d'apprentissage fort.

3. Validation Expérimentale

La méthodologie proposée a été validée dans deux environnements distincts :

3.1 Environnement Contrôlé : OpenAI Gym Lunar Lander

Objectif : Évaluer la capacité du cadre à sélectionner des espaces d'états et des fonctions de récompense dans un environnement contrôlé.
Résultats de l'Espace d'États : Trois candidats ont été testés : l'original ( $S_{orig}$ ), élargi avec du bruit ( $S_{more}$ ), et réduit ( $S_{less}$ ). L'OPE a correctement identifié $S_{orig}$ comme la représentation optimale, démontrant que l'expansion inutile des caractéristiques dégrade la performance tandis qu'une compression excessive omet des informations critiques.
Résultats de la Fonction de Récompense : Le cadre a identifié avec succès une fonction de récompense de base incorporant des récompenses basées sur l'état, l'action et le terme final comme étant supérieure aux alternatives (ex. : uniquement sur le terme final ou uniquement sur l'action). La fonction sélectionnée présentait la divergence JS la plus élevée, confirmant sa capacité à fournir des signaux d'apprentissage efficaces.

3.2 Environnement Réel : Étude de Sujets Humains NASA-MATB-II

Objectif : Évaluer l'applicabilité à la collaboration humain-robot à l'aide de données provenant d'une simulation de la Batterie de Tâches Multi-Attributs-II (MATB-II) impliquant neuf participants sous diverses conditions de charge de travail.
Sélection de l'Espace d'États : Les candidats incluaient des combinaisons de données de tâches, de données physiologiques (rythme cardiaque, respiration) et de charge de travail estimée.
- Résultat : L'espace d'états multimodal ( $S_{task+physio+wl}$ ) a produit le rendement OPE le plus élevé. Cependant, une analyse plus approfondie a indiqué que les données de charge de travail apportaient un bénéfice marginal lorsque les données de tâche et physiologiques étaient présentes. Par conséquent, $S_{task+physio}$ a été sélectionné comme la représentation préférée, équilibrant performance et efficacité computationnelle.
Sélection de la Fonction de Récompense : Trois fonctions de récompense ont été testées : pénalisant les mauvais comportements ( $r_1$ $r_{1}$ ), récompensant les bons comportements ( $r_2$ $r_{2}$ ), et une somme pondérée ( $r_3$ $r_{3}$ ).
- Résultat : La somme pondérée ( $r_3$ ) a été sélectionnée comme optimale, montant les divergences KL et JS les plus élevées, indiquant la meilleure séparation entre les performances des politiques.

3.3 Validation par Sujets Humains en Ligne

Une étude ultérieure approuvée par un IRB avec 19 participants a comparé trois agents :

Basé sur des Règles (RB) : Règles prédéfinies activant l'automatisation lors de la surcharge.
Agent RL : Entraîné hors-ligne en utilisant l'espace d'états et la fonction de récompense sélectionnés par l'OPE.
Affinage RL (RLFT) : L'agent RL est affiné via une interaction en temps réel.

Principales Conclusions :

Performance de la Tâche : L'agent RL a démontré la performance la plus constante à travers les tâches de suivi et de surveillance du système, surpassant significativement RB et RLFT en termes de temps de réponse et de taux d'échec sous diverses charges. L'agent RLFT excellait dans la tâche de communication mais montrait une instabilité dans la gestion des ressources et des taux d'échec plus élevés sous surcharge.
Confiance et Charge de Travail : L'agent RL a reçu les niveaux de confiance les plus élevés et a entraîné la charge de travail perçue la plus faible et la plus grande fluidité. Inversement, le RLFT, malgré des scores de confiance post-essai élevés concernant la fiabilité, a induit la charge de travail subjective et la frustration les plus élevées, suggérant que l'affinement en temps réel peut introduire de l'imprévisibilité et une contrainte cognitive.
Fréquence d'Automatisation : L'agent RL utilisait une automatisation sélective et bien synchronisée, tandis que le RLFT automatisait souvent trop ou pas assez selon la tâche, menant à des performances incohérentes.

4. Principales Contributions

Cadre de Conception Piloté par l'OPE : L'introduction d'un cadre utilisant l'Évaluation Hors-Politique pour sélectionner les espaces d'états et les fonctions de récompense optimaux à partir de données enregistrées, évitant ainsi le besoin d'interactions en temps réel coûteuses.
Optimisation Basée sur les Données : Une méthode pour optimiser les formulations de RL pour des environnements contrôlés (Lunar Lander) et des scénarios complexes d'interaction humain-robot (NASA-MATB-II) en évaluant systématiquement les configurations candidates.
Validation Empirique : Démonstration que la sélection basée sur l'OPE conduit à des agents de RL qui surpassent les bases basées sur des règles et les variantes affinées en termes d'adaptabilité, de fiabilité et de confiance de l'utilisateur dans des environnements multi-tâches critiques pour la sécurité.

5. Signification et Revendications

L'article affirme que ce travail améliore la faisabilité et l'extensibilité de l'apprentissage par renforcement hors-ligne pour les environnements réels en automatisant les décisions de conception critiques. En réduisant la dépendance aux essais et erreurs et aux interactions en ligne, le cadre offre une approche plus fiable, efficace et durable pour formuler le RL dans des contextes complexes d'HRI.

Les auteurs soulignent un compromis critique observé dans leurs résultats : bien que la personnalisation par affinement (RLFT) puisse améliorer l'alignement sur des tâches spécifiques, elle peut compromettre la stabilité du système et augmenter la charge cognitive. Par conséquent, l'approche hors-ligne basée sur l'OPE offre une alternative robuste qui équilibre adaptabilité et prévisibilité. Le travail suggère que pour les domaines critiques pour la sécurité, garantir une évaluation robuste des politiques avant le déploiement via l'OPE est essentiel, et que l'intégration de données physiologiques dans les représentations d'états peut considérablement améliorer les performances de collaboration humain-robot sans les risques associés aux expérimentations intensives en ligne.