🤖 machine learning

Leveraging Human Feedback for Semantically-Relevant Skill Discovery

Ce papier présente SRSD, une nouvelle approche d'apprentissage par renforcement intégrant le feedback humain via l'étiquetage sémantique pour découvrir des compétences diversifiées, pertinentes et efficaces en termes de données.

Auteurs originaux : Maxence Hussonnois, Thommen George Karimpanal, Santu Rana

Publié 2026-04-28

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Maxence Hussonnois, Thommen George Karimpanal, Santu Rana

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : L'élève qui apprend tout, mais n'importe quoi

Imaginez que vous vouliez apprendre à un robot à devenir un athlète complet. En informatique, on utilise souvent l'apprentissage par renforcement : on laisse le robot s'agiter dans un environnement et on lui donne des "points" (une récompense) quand il fait quelque chose de nouveau.

Le problème, c'est que le robot est comme un enfant hyperactif et sans limites : s'il découvre qu'en tournant sur lui-même de façon bizarre il gagne des points, il va passer sa journée à faire ça. Il va apprendre des milliers de mouvements, mais la plupart seront inutiles (comme essayer de jouer au foot en faisant la sieste) ou même dangereux.

Jusqu'ici, on essayait de corriger ça en demandant à des humains de comparer deux vidéos : "Est-ce que la vidéo A est mieux que la vidéo B ?". Mais c'est épuisant pour l'humain ! Si vous avez 50 types de mouvements différents à apprendre, comparer les vidéos deux par deux, c'est comme essayer de trier une montagne de chaussettes en demandant à quelqu'un à chaque fois : "Est-ce que celle-ci est plus bleue que celle-là ?". On finit par perdre un temps fou.

La Solution : Le "Labeleur de Compétences" (SRSD)

Les chercheurs ont eu une idée géniale : au lieu de demander à l'humain de comparer, demandons-lui de nommer. C'est ce qu'ils appellent le Semantic Labelling (l'étiquetage sémantique).

L'analogie du Chef de Cuisine

Imaginez que vous formez un apprenti cuisinier.

L'ancienne méthode (Préférence) : Vous regardez deux plats et vous dites : "Le plat A est meilleur que le plat B". L'apprenti sait que le plat A est bien, mais il ne sait pas pourquoi.
La méthode de l'article (SRSD) : Vous regardez ce qu'il fait et vous dites : "Ça, c'est une sauce tomate", "Ça, c'est une cuisson à la vapeur", ou "Ça, c'est juste du désordre, c'est inutile".

Grâce à ces étiquettes ("courir", "sauter", "frapper dans un ballon"), le robot comprend non seulement ce qui est "bien", mais surtout la nature de ce qu'il fait. Il commence à organiser son cerveau par catégories : "Ok, j'ai une catégorie pour le saut, une pour la course, et une pour le lancer".

Comment ça marche concrètement ?

Le système SRSD fonctionne en trois étapes :

L'Exploration (Le Grand Bazar) : Au début, le robot fait n'importe quoi pour découvrir un maximum de mouvements possibles.
Le Feedback (Le Professeur) : L'humain intervient de temps en temps. Il regarde une séquence et dit : "C'est du saut" ou "C'est inutile".
Le Prédicteur (Le Cerveau de l'Apprenti) : Le robot crée un petit modèle interne qui essaie de deviner ce que l'humain dirait. Dès qu'il fait un mouvement qui ressemble à une catégorie utile (comme "courir"), il se donne des points à lui-même.

Pourquoi est-ce une révolution ?

Les chercheurs ont prouvé deux choses importantes :

C'est ultra-efficace : On a besoin de beaucoup moins d'interventions humaines pour que le robot devienne doué. C'est comme apprendre une langue : il est plus rapide de dire "Ceci est un chat" que de comparer 100 photos de chats pour dire laquelle est la plus "chatte".
C'est plus varié : Le robot ne se contente pas de trouver une seule façon de bouger. Il apprend une véritable "boîte à outils" de compétences variées et utiles (courir, sauter, faire des saltos, etc.), car il cherche activement à remplir chaque catégorie sémantique.

En résumé : Au lieu de simplement dire au robot "C'est bien" ou "C'est mal", on lui donne un dictionnaire de mouvements. Cela lui permet de passer du statut de "fou qui s'agite" à celui d' "athlète organisé".

Résumé Technique : Découverte de Compétences Sémantiquement Pertinentes via le Feedback Humain

1. Problématique (The Problem)

En apprentissage par renforcement (RL), la découverte de compétences non supervisée vise à motiver un agent à apprendre une panoplie de comportements diversifiés et réutilisables sans récompense explicite. Cependant, deux défis majeurs subsistent :

Désalignement : Les méthodes purement intrinsèques peuvent générer des comportements dangereux, non éthiques ou totalement hors contexte (ex: un robot qui "danse" au lieu de "marcher" dans un contexte de travail).
Inefficacité du feedback : Les approches actuelles basées sur les préférences humaines (comparaison par paires) deviennent extrêmement coûteuses en termes de temps et d'effort cognitif dès que le nombre de compétences à découvrir augmente. Elles peinent à maintenir une diversité sémantique (l'agent peut découvrir mille façons de courir, mais aucune façon de sauter).

2. Méthodologie (Methodology)

Les auteurs introduisent le cadre SRSD (Semantically Relevant Skill Discovery). L'idée centrale est de s'appuyer sur la capacité cognitive humaine à catégoriser intuitivement les comportements en "étiquettes sémantiques" (ex: "courir", "sauter", "kicker le ballon").

Les composantes clés de la méthode sont :

Étiquetage Sémantique (Semantic Labelling) : Au lieu de comparer deux trajectoires, l'humain reçoit un segment de trajectoire et doit soit le marquer comme "non pertinent" (irrelevant), soit lui assigner une catégorie sémantique spécifique parmi un ensemble de classes pertinentes ( $C^+$ ).
Prédicteur Sémantique : Un modèle paramétré $p_\psi(c|\sigma)$ apprend à prédire la probabilité qu'une trajectoire appartienne à une catégorie donnée en minimisant une perte d'entropie croisée sur les labels humains.
Fonction de Récompense SRSD : La récompense totale est une combinaison linéaire de trois termes :
1. $r_{div}$ : Récompense de diversité (basée sur l'information mutuelle).
2. $r_{expl}$ : Récompense d'exploration (basée sur l'entropie de l'état).
3. $r_{rel}$ : Nouvelle récompense de pertinence, qui encourage l'agent à produire des comportements que le prédicteur sémantique classera dans les catégories pertinentes.
Échantillonnage Actif (Active Sampling) : Pour optimiser le budget humain, le système sélectionne prioritairement des segments qui semblent appartenir à des catégories sémantiques sous-représentées ou incertaines, évitant ainsi de gaspiller du temps sur des comportements "non pertinents".
Critique Distributionnel (Distributional Critic) : Pour gérer l'incertitude et la complexité de la combinaison de ces trois récompenses, les auteurs utilisent des Truncated Quantile Critics (TQC), ce qui permet de mieux modéliser la distribution des retours et de limiter la surestimation de la valeur.

3. Contributions Clés (Key Contributions)

Nouveau mécanisme de feedback : L'étiquetage sémantique, prouvé théoriquement comme étant plus efficace que le feedback par préférence lorsque le nombre de classes augmente ( $O(1)$ contre $O(1/|C|)$ ).
Cadre SRSD : Un algorithme complet qui intègre la diversité, l'exploration et la pertinence sémantique dans une boucle de RL.
Gestion de l'incertitude : L'utilisation d'une perspective distributionnelle pour stabiliser l'apprentissage multi-objectif.
Preuve de robustesse : Une démonstration que la méthode fonctionne même avec un budget de feedback limité ou des humains "irrationnels" (erreurs, myopie).

4. Résultats (Results)

Les expériences ont été menées sur des environnements de navigation 2D et sur le DeepMind Control Suite (Walker, Cheetah, Hopper, Quadruped) :

Performance supérieure : SRSD surpasse systématiquement les méthodes de base (LSD, CIC, ComSD) et les méthodes guidées par préférences (HaSD) en termes de capacité de transfert (zero-shot, few-shot et fine-tuning).
Diversité sémantique : Contrairement aux méthodes par préférence qui s'effondrent lorsque le nombre de tâches augmente, SRSD maintient une couverture élevée et équitable de toutes les catégories sémantiques demandées.
Efficacité du feedback : Même avec un très faible budget de labels (ex: 40 instances), SRSD reste plus performant que les méthodes non supervisées classiques.

5. Signification (Significance)

Ce travail marque une étape importante vers des agents de RL plus utilisables et alignés avec les intentions humaines. En transformant le feedback humain d'une tâche de comparaison fastidieuse en une tâche de catégorisation intuitive, les auteurs ouvrent la voie à une découverte de compétences à grande échelle qui est à la fois diverse (couvre de nombreux types d'actions) et pertinente (respecte le contexte de l'utilisateur).