Fine-Tuning Robot Policies While Maintaining User Privacy

Ce papier présente PRoP, un cadre agnostique au modèle qui permet de personnaliser les politiques robotiques tout en préservant la vie privée des utilisateurs grâce à l'utilisation de clés uniques pour transformer mathématiquement les poids du réseau, empêchant ainsi la divulgation des préférences personnelles à des agents non autorisés.

L'essentiel

Imaginez que vous avez un robot cuisinier très talentueux. Ce robot sait déjà faire des milliers de recettes : il connaît la technique parfaite pour retourner un steak, couper des légumes ou faire un sandwich. C'est son "mode par défaut", son comportement généraliste.

Mais vous, vous avez des goûts très spécifiques. Vous aimez votre steak saignant avec un peu de poivre, mais pas de sel. Votre voisin, lui, veut le sien bien cuit avec beaucoup de sel. Si vous demandez au robot de s'adapter à vos goûts, il va apprendre.

Le problème de la vie privée
Voici le souci : si le robot apprend simplement à faire votre sandwich préféré en modifiant son cerveau, alors n'importe qui d'autre qui utilise ce robot verra aussi votre sandwich préféré.
C'est comme si vous laissiez votre recette secrète écrite sur le tableau noir de la cuisine. Si le voisin vient regarder, il verra exactement comment vous aimez manger. Dans le monde des robots, cela signifie que si quelqu'un récupère le modèle du robot, il peut "lire" vos habitudes privées juste en regardant ce que le robot fait.

La solution : PRoP (Le "Système de Clé Magique")
Les auteurs de cette recherche ont inventé une méthode appelée PRoP. Imaginez cela comme un système de clés numériques ou de codes secrets.

Au lieu de modifier le cerveau du robot pour qu'il oublie ses compétences générales pour apprendre les vôtres, PRoP ajoute une petite "couche de magie" invisible.

Voici l'analogie du Casque de Realité Virtuelle (VR) :

1. Le Robot (Le Casque) : Le robot est comme un casque VR qui affiche toujours la même image de base (la cuisine standard).
2. La Clé (Votre Mot de Passe) : Vous avez une clé unique (votre mot de passe, votre empreinte digitale, ou même votre voix).
3. L'Effet :
   • Quand vous mettez votre clé dans le robot, le casque VR change l'image pour vous montrer votre version de la cuisine (votre sandwich préféré).
   • Si votre voisin essaie d'utiliser le même robot sans votre clé (ou avec une clé différente), il voit toujours la version standard, neutre. Il ne voit jamais votre sandwich spécial.
   • Si quelqu'un essaie une clé qui ressemble un peu à la vôtre (comme un mot de passe avec une lettre de changée), le robot ne se trompe pas : il reste sur la version standard.

Comment ça marche techniquement (sans les maths compliquées) ?
Normalement, pour personnaliser un robot, on doit réécrire une partie de son code, ce qui rend le code différent pour chaque personne. C'est lourd et risqué pour la vie privée.

PRoP fait quelque chose de plus malin : il ne touche pas au code de base. À la place, il utilise votre clé pour faire une petite "torse" mathématique sur les informations qui circulent à l'intérieur du robot.

• C'est comme si le robot avait un filtre de lunettes. Sans vos lunettes (votre clé), vous voyez le monde normal. Avec vos lunettes, tout change de couleur et de forme pour correspondre à vos préférences.
• Si vous enlevez les lunettes, le monde redevient normal instantanément.

Pourquoi c'est génial ?

1. Confidentialité totale : Personne ne peut deviner vos goûts en regardant le robot, sauf s'il a votre clé secrète.
2. Pas de perte de mémoire : Le robot n'oublie jamais ses compétences de base. Il peut passer de votre sandwich à celui de votre voisin instantanément, selon qui a la clé.
3. Efficacité : Les chercheurs ont testé cela avec des robots qui apprennent par imitation (comme un élève), par essai-erreur (comme un joueur de vidéo), et même pour reconnaître des images. Dans tous les cas, PRoP fonctionne mieux que les anciennes méthodes qui laissaient fuiter les informations.

En résumé
PRoP est comme un cadenas intelligent pour les robots. Il permet à chaque utilisateur de dire au robot : "Fais ça à ma façon", tout en verrouillant ces préférences derrière une clé que seul l'utilisateur possède. Le robot reste le même pour tout le monde, mais il devient unique pour vous, sans jamais révéler votre secret à vos voisins.

Résumé technique

Voici un résumé technique détaillé de l'article "Fine-Tuning Robot Policies While Maintaining User Privacy" (Affinement des politiques robotiques tout en maintenant la confidentialité des utilisateurs) par Benjamin A. Christie, Sagar Parekh et Dylan P. Losey.

1. Problématique : Le Dilemme de la Personnalisation et de la Vie Privée

L'article aborde un défi fondamental dans l'interaction humain-robot (HRI) : la nécessité de personnaliser les robots pour qu'ils s'adaptent aux préférences individuelles (par exemple, la façon dont un utilisateur prépare ses repas) tout en protégeant la confidentialité de ces préférences.

• Le contexte : Les politiques robotiques généralistes (entraînées sur des données larges) sont souvent affinées (fine-tuned) par les utilisateurs finaux pour correspondre à leurs habitudes spécifiques.
• Le risque de confidentialité : Lors de cet affinage, les données personnelles (préférences alimentaires, habitudes, styles) sont intégrées dans le modèle. Si un tiers (un autre utilisateur, un attaquant ou même le fabricant) accède au modèle affiné, il peut exécuter la politique (roll-out) et déduire les préférences privées de l'utilisateur original simplement en observant les actions du robot.
• Limites des approches existantes :
  • Les méthodes de confidentialité des données (comme la confidentialité différentielle) protègent le jeu de données d'entraînement mais pas la politique finale déployée.
  • Le chiffrement homomorphe complet est trop coûteux en calcul pour la robotique en temps réel.
  • Les approches basées sur des encodeurs conditionnels standards permettent souvent de déduire les préférences des utilisateurs précédents par un utilisateur suivant.

Objectif : Développer un système capable d'apprendre et de s'adapter à des utilisateurs individuels sans que leurs préférences ne soient accessibles à d'autres agents, même s'ils ont accès au modèle entraîné.

2. Méthodologie : PRoP (Personalized and Private Robot Policies)

Les auteurs proposent PRoP, un cadre d'apprentissage model-agnostic (indépendant du modèle) qui permet une personnalisation privée via l'utilisation de clés.

Concept Central

Au lieu d'entraîner des modèles séparés pour chaque utilisateur ou d'ajouter la clé comme entrée directe (ce qui changerait l'architecture), PRoP utilise une clé unique pour l'utilisateur afin de transformer mathématiquement les poids intermédiaires du réseau de neurones pré-entraîné.

Fonctionnement Technique

1. Encodage de la clé : Chaque utilisateur possède une clé unique $k$ (mot de passe, biométrie, etc.). Un encodeur de clé $\Delta_\phi$ mappe cette clé vers un espace latent.
2. Transformation Affine des Couches Intermédiaires :
   • Le réseau de politique pré-entraîné $\pi^*$ possède des couches cachées.
   • Pour un utilisateur donné, la clé est utilisée pour générer un vecteur de transformation $\delta_i$.
   • Ce vecteur modifie les poids de la couche $i$ via une transformation affine :
     $$z_{i+1} = f(W_i \cdot \text{diag}(\delta_i) \cdot z_i + b_i)$$
   • Cela permet de "verrouiller" le comportement personnalisé dans les poids du réseau sans changer la structure globale.
3. Comportement par Défaut : Si aucune clé n'est fournie (ou une clé incorrecte), la transformation est omise ou annulée, et le robot revient à son comportement généraliste pré-entraîné $\pi^*$.
4. Fonction de Perte (Loss Function) :
   • L'entraînement utilise une fonction de perte combinée qui optimise deux objectifs simultanément :
     1. Personnalisation : Minimiser l'erreur pour la clé de l'utilisateur cible $k'$ et son objectif $J'$.
     2. Généralité/Confidentialité : Maximiser la performance (ou minimiser l'erreur) pour toutes les autres clés (y compris les clés aléatoires et les clés proches) en les forçant à suivre l'objectif général $J^*$.
   • Une approximation par échantillonnage est utilisée pour gérer l'espace infini des clés possibles, en se concentrant sur les clés proches de la clé cible (pour renforcer la séparation des marges) et un échantillon stochastique du reste de l'espace.

3. Contributions Clés

1. Personnalisation basée sur des clés : Une formulation formelle permettant à un robot d'apprendre des spécifications utilisateurs tout en conservant son comportement général. La méthode contourne la nécessité de modifier la taille de l'architecture du réseau pré-entraîné.
2. Garanties de confidentialité : Le mécanisme PRoP rend les préférences inaccessibles sans la clé correcte. Même des clés mathématiquement proches (à un bit près) ne permettent pas de révéler les préférences de l'utilisateur, contrairement aux méthodes de base.
3. Indépendance de l'architecture : La méthode est compatible avec divers types d'apprentissage (Apprentissage par imitation, Apprentissage par renforcement, Classification) et ne nécessite pas de réentraînement complet de l'architecture de base.
4. Validation Empirique : Tests rigoureux dans des simulations et une étude utilisateur réelle.

4. Résultats Expérimentaux

Les auteurs ont évalué PRoP sur plusieurs tâches : Apprentissage par imitation (Imitation Learning), Apprentissage par renforcement (PPO dans PandaGym), Classification d'images (MNIST) et allocation de tâches.

• Performance de Personnalisation : PRoP surpasse les méthodes de base (MLP et CVAE conditionnels) en termes de précision lorsque la clé correcte est fournie.
• Protection de la Vie Privée :
  • PRoP présente une fuite d'information statistiquement significative inférieure ($p < 0.05$) par rapport aux baselines.
  • Les clés incorrectes (même à un bit de distance) ne permettent pas de déduire les préférences de l'utilisateur, ce qui rend les attaques par force brute ou par proximité beaucoup plus difficiles.
• Capacité de Mise à l'Échelle :
  • Dans l'étude de capacité (Section V-D), PRoP peut gérer jusqu'à environ 16 utilisateurs avec une seule clé encodeur partagée avant que les performances ne commencent à décliner linéairement.
  • Les méthodes alternatives (MLP/CVAE) montrent une dégradation exponentielle des performances dès que le nombre d'objectifs personnalisés augmente.
• Étude Utilisateur Réelle (Cuisine) :
  • Avec 12 participants, PRoP a démontré une meilleure capacité à personnaliser les commandes de sandwichs selon le mot de passe de l'utilisateur.
  • La fuite d'information (Privacy Leakage) était significativement plus faible pour PRoP que pour les modèles CVAE et MLP.

5. Signification et Impact

Ce travail représente une avancée majeure pour l'interaction humain-robot domestique et collaborative.

• Sécurité des Données : Il résout le problème de la "fuite de préférences" via le modèle lui-même, permettant aux robots d'être réellement personnels sans compromettre la vie privée des utilisateurs face à d'autres utilisateurs ou administrateurs.
• Efficacité : En évitant le chiffrement lourd et en réutilisant les architectures pré-entraînées, PRoP est viable pour des applications robotiques en temps réel.
• Futur de l'HRI : Cela ouvre la voie à des robots de service qui peuvent apprendre de multiples utilisateurs dans un même environnement (ex: une maison partagée) sans que les habitudes d'un membre ne soient révélées aux autres, tout en conservant les compétences générales du robot.

En résumé, PRoP offre un mécanisme élégant et efficace pour "verrouiller" les préférences d'un utilisateur derrière une clé cryptographique intégrée aux poids du réseau, assurant ainsi une personnalisation privée et sécurisée.