Towards an Adaptive Social Game-Playing Robot: An Offline Reinforcement Learning-Based Framework

1. Problématique et Contexte

La recherche en interaction humain-robot (HRI) évolue vers des robots capables de répondre de manière significative aux émotions des utilisateurs, en particulier dans des scénarios d'apprentissage par le jeu pour des étudiants ayant des difficultés d'apprentissage. L'objectif est de former les utilisateurs aux compétences de jeu tout en adaptant les réponses du robot à leur engagement et à leurs intérêts.

Cependant, l'apprentissage par renforcement (RL) en ligne (online RL), qui repose sur l'exploration directe par essais-erreurs avec des humains, présente des défis majeurs :

• Coût et temps : Nécessite un grand nombre d'interactions réelles.
• Sécurité et confort : L'exploration aléatoire peut générer des comportements socialement inappropriés, dangereux ou inconfortables pour les participants.
• Évolutivité : Difficile à déployer à grande échelle sans supervision humaine constante (méthode "Wizard-of-Oz").

L'article propose d'utiliser l'Apprentissage par Renforcement Hors Ligne (Offline RL) comme alternative sûre et efficace. Cette approche permet d'apprendre des politiques de décision à partir de jeux de données pré-collectés, évitant ainsi les risques d'exploration en temps réel.

2. Architecture du Système et Méthodologie

Architecture en quatre couches

Le système proposé est structuré en quatre couches interconnectées :

1. Capteurs (Sensing) : Utilisation de trois dispositifs matériels :
   • Un dispositif portable (Empatica E4) pour les signaux biométriques (excitation physiologique).
   • Une caméra montée sur la tête pour capturer les expressions faciales (RGB).
   • Une caméra montée sur le bras pour surveiller l'état du plateau de jeu.
2. Interprétation :
   • Reconnaissance émotionnelle multimodale : Fusion des données physiologiques (détection de l'excitation via la conductance de la peau) et des expressions faciales (classification en colère, joie, neutre).
   • Analyseur d'état de jeu : Calcul du score de jeu basé sur la position des pièces (dames américaines).
3. Prise de décision (Decision-making) :
   • Module de contrôle adaptatif émotionnel : Génère des commandes d'expression faciale pour le robot et des signaux d'ajustement de difficulté.
   • Module de contrôle du jeu : Ajuste la difficulté et détermine les coups à jouer.
4. Action (Actuation) : Affichage des expressions faciales sur l'écran du robot et exécution physique des coups via les bras du robot (Baxter).

Formulation de l'Apprentissage par Renforcement

Le problème est modélisé comme un Processus de Décision Markovien (MDP) :

• État ($s_t$) : Combiné de l'état du jeu (gagner/perdre/nul), de l'émotion faciale (colère, joie, neutre) et de l'excitation physiologique (présente/absente). Total : 18 états.
• Action ($a_t$) : Combinaison de l'expression faciale du robot et de l'ajustement de difficulté (plus dur, plus facile, constant). Total : 9 actions.
• Fonction de récompense ($r_t$) : Conçue pour équilibrer la performance compétitive et l'état émotionnel de l'utilisateur. Elle intègre le score de jeu et un score émotionnel pondéré par l'intensité des réponses de conductance cutanée (SCR).

Collecte de données et Algorithmes

• Données : Un jeu de données a été collecté auprès de 5 participants jouant aux dames américaines contre le robot (qui jouait de manière aléatoire pour garantir l'équité). Le jeu de données contient 232 étapes, couvrant 63 % des paires état-action.
• Algorithmes testés : Six algorithmes d'Offline RL ont été comparés : NFQ, DQN, DDQN, SAC, BCQ et CQL.
• Expérimentation : Une recherche par grille (grid search) a été effectuée sur les hyperparamètres (taux d'apprentissage, taille de lot, architecture du réseau) pour chaque algorithme, avec une validation croisée (Stratified Group K-Fold) pour assurer la généralisation.

3. Contributions Clés

1. Cadre Offline RL Multimodal : Présentation d'une architecture complète transformant des signaux utilisateurs complexes (physiologiques et visuels) en un espace d'états RL pour un robot social.
2. Étude Comparative Rigoureuse : Analyse systématique de la robustesse et de la performance de différents algorithmes d'Offline RL dans un contexte HRI avec des données limitées.
3. Validation de la Sécurité : Démonstration qu'il est possible d'apprendre des comportements adaptatifs complexes sans risque d'interaction dangereuse ou inconfortable pour l'utilisateur pendant la phase d'entraînement.

4. Résultats et Analyse

Sensibilité aux Hyperparamètres

• Robustesse : Les algorithmes DDQN et BCQ ont montré la plus grande robustesse face aux variations d'hyperparamètres, avec les écarts-types (STD) les plus faibles (0,10 et 0,14 respectivement). Cela les rend idéaux pour des déploiements où le réglage fin est coûteux.
• Instabilité : L'algorithme NFQ a présenté une instabilité extrême (STD de 51,47) et une divergence, probablement due à l'absence de réseau cible distinct.

Performance et Biais d'Estimation

• Précision : CQL (Conservative Q-Learning) a obtenu la meilleure performance globale avec l'erreur absolue la plus faible (0,23).
• Gestion du Biais : CQL s'est avéré le plus efficace pour atténuer le biais de surestimation (overestimation bias), un problème courant en RL où les agents surestiment les valeurs des états hors distribution. Ses prédictions étaient les plus proches de la vérité terrain.
• Configuration optimale : La fonction d'activation ReLU s'est révélée supérieure à Tanh pour tous les algorithmes, même si l'espace de récompense était borné entre -1 et 1.

Convergence

Cinq des six algorithmes ont convergé avec succès. CQL a montré la plus grande stabilité après une légère augmentation de la fonction de perte (due à la synchronisation des réseaux cibles), tandis que NFQ a divergé.

5. Signification et Conclusion

Cette recherche établit une base fondamentale pour le développement d'agents sociaux intelligents capables d'apprendre des comportements adaptatifs complexes à partir de jeux de données hors ligne.

• Implications pratiques : Les résultats guident le choix des algorithmes pour la robotique sociale réelle : CQL est recommandé pour sa précision et sa gestion du biais, tandis que DDQN et BCQ sont préférés pour leur robustesse opérationnelle.
• Avantages : L'approche permet de déployer des robots éducatifs ou d'assistance sans exposer les utilisateurs à des phases d'apprentissage risquées ou inefficaces.
• Limites et Perspectives : L'étude note que le jeu de données est encore restreint (5 participants) et que le modèle suppose une observabilité totale. Les travaux futurs devront intégrer des modèles de MDP partiellement observables (POMDP) pour mieux gérer la nature latente des émotions et enrichir la diversité des données collectées.

En résumé, ce travail valide l'Offline RL comme une méthode viable, sûre et évolutive pour créer des robots sociaux capables de réagir de manière empathique et adaptative aux états émotionnels humains.