🤖 machine learning

Leveraging Human Feedback for Semantically-Relevant Skill Discovery

Dit paper introduceert *Semantically Relevant Skill Discovery* (SRSD), een nieuwe methode waarbij menselijke feedback via semantische labels wordt gebruikt om efficiënter en diverser betekenisvolle vaardigheden te ontdekken in reinforcement learning.

Oorspronkelijke auteurs: Maxence Hussonnois, Thommen George Karimpanal, Santu Rana

Gepubliceerd 2026-04-28

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Maxence Hussonnois, Thommen George Karimpanal, Santu Rana

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot aan het trainen bent om te leren bewegen. In plaats van hem stap voor stap te vertellen wat hij moet doen (zoals: "beweeg je linkerbeen 10 centimeter naar voren"), geef je hem een doel: "ontdek zoveel mogelijk verschillende manieren om te bewegen."

Dit is wat wetenschappers 'Unsupervised Skill Discovery' noemen. Het probleem? De robot is een beetje een chaos. Hij ontdekt misschien wel heel veel manieren om te bewegen, maar hij besteedt 90% van zijn tijd aan heel nutteloze dingen, zoals ongemakkelijk trillen op de grond of rondjes draaien in een hoekje. Dat is niet "gevaarlijk", maar wel een enorme verspilling van tijd.

Dit onderzoek introduceert een slimme oplossing genaamd SRSD. Laten we dit uitleggen met een metafoor.

De Metafoor: De Ongetemde Danser

Stel je een danser voor die in een studio staat. Hij heeft geen leraar, dus hij probeert alles uit: rollen, springen, wiebelen, stilstaan. Hij ontdekt duizenden bewegingen, maar de meeste zijn volkomen nutteloos voor een echte voorstelling.

De oude methode (De 'Ja/Nee' methode):
Vroeger probeerden we de danser te sturen door hem steeds vragen te stellen: "Vond je die beweging leuker dan die andere?" Dit is alsof je een jury hebt die alleen maar mag zeggen: "A is beter dan B." Dat duurt eeuwen! Als de danser 100 verschillende stijlen leert, moet de jury miljoenen vergelijkingen maken voordat de danser begrijpt wat de bedoeling is. Het is ontzettend inefficiënt.

De nieuwe methode van dit paper (De 'Label-methode'):
De onderzoekers zeggen: "Laten we de menselijke kracht gebruiken om de danser te helpen, maar op een slimme manier." In plaats van eindeloos te vergelijken, geven we de danser een etiket.

Als de danser een sprong maakt, roept de mens niet: "Dat was beter dan dat trillen!", maar zegt simpelweg: "Dat is een sprong!" of "Dat is irrelevant!".

Dit werkt als een soort 'slimme wegwijzer':

De Danser ontdekt: De robot begint wild te experimenteren (zoals de danser in de studio).
De Mens geeft labels: Een mens kijkt even mee en plakt digitale post-its op de bewegingen: "Dit is rennen", "Dit is springen", of "Dit is onzin".
De Robot leert de betekenis: De robot leert niet alleen hoe hij moet bewegen, maar hij begrijpt nu ook de categorieën. Hij begrijpt: "Ah, als ik deze beweging maak, hoort hij bij de categorie 'rennen'."

Waarom is dit zo bijzonder?

Het is supersnel (Feedback-efficiëntie): Omdat een mens in één keer een naam kan geven aan een beweging ("Dat is een salto!"), leert de robot veel sneller dan wanneer hij duizend keer moet horen dat de ene salto "beter" is dan de andere.
Het is gevarieerd (Semantische diversiteit): De robot stopt niet met alleen maar "verschillende manieren om te rennen" ontdekken. Omdat hij labels krijgt voor verschillende categorieën, gaat hij actief op zoek naar andere dingen, zoals springen, lopen of draaien. Hij bouwt een hele gereedschapskist aan vaardigheden op.
Het is slimme planning: De onderzoekers hebben een systeem gebouwd dat voorkomt dat de robot alleen maar de "makkelijke" dingen leert (zoals simpel heen en weer wiebelen). Het systeem dwingt de robot om ook de moeilijkere, maar nuttige labels te gaan verkennen.

Samenvatting in gewone mensentaal

In plaats van een robot blind te laten ronddwalen in een wereld van bewegingen, of hem eindeloos saaie vergelijkingen te laten maken, geeft dit onderzoek de robot een woordenboek van acties. Door mensen simpelweg te laten zeggen wat een beweging is, leert de robot razendsnel een breed en nuttig pakket aan vaardigheden te ontwikkelen.

Het is het verschil tussen een kind dat alleen maar leert dat "appel" lekkerder is dan "peer", en een kind dat leert dat een appel een fruit is en een peer ook. Het tweede kind begrijpt de wereld veel sneller!

Technische Samenvatting: Semantisch Relevante Skill Discovery (SRSD)

1. Het Probleem: De beperkingen van huidige 'Skill Discovery'

In Reinforcement Learning (RL) is unsupervised skill discovery bedoeld om agenten intrinsiek te motiveren om een diverse set gedragingen (skills) te leren zonder dat daar een expliciete beloningsfunctie voor nodig is. Er zijn echter twee fundamentele problemen met de huidige methoden:

Misalignment en onveiligheid: Ongecontroleerde methoden kunnen gedragingen aanleren die nutteloos, onveilig of ethisch ongewenst zijn.
Inefficiëntie van menselijke feedback: Recente methoden proberen dit op te lossen via human preferences (waarbij mensen twee gedragingen vergelijken). Dit proces is echter extreem inefficiënt wanneer er veel verschillende soorten vaardigheden zijn (bijv. rennen, springen, lopen, trappen). Naarmate het aantal mogelijke vaardigheden toeneemt, neemt de kans dat een menselijke vergelijking nuttige informatie oplevert exponentieel af. Bovendien missen deze methoden vaak "semantische diversiteit": ze leren wel verschillende manieren om te rennen, maar ontdekken geen andere relevante vaardigheden zoals springen.

2. Methodologie: Semantische Labeling en SRSD

De auteurs introduceren Semantically Relevant Skill Discovery (SRSD). In plaats van te vragen "welke van deze twee is beter?", maken zij gebruik van de menselijke cognitieve kracht om gedrag te categoriseren in betekenisvolle labels.

Kerncomponenten van de methodologie:

Semantic Labelling (Semantische Labeling): Een menselijke beoordelaar krijgt een traject te zien en krijgt drie opties: het gedrag is "relevant" (met een specifiek label zoals "rennen") of het is "irrelevant" (bijv. slapen tijdens een voetbalwedstrijd). Dit proces is veel efficiënter omdat de informatie per feedback-moment directer is.
Semantic Predictor: Er wordt een neuraal netwerk ( $q_\psi$ ) getraind dat de waarschijnlijkheid voorspelt dat een bepaald trajectsegment tot een specifieke semantische categorie behoort.
Relevance Reward ( $r_{rel}$ ): De agent krijgt een extra intrinsieke beloning gebaseerd op de voorspelling van de semantic predictor. De agent wordt dus beloond voor het uitvoeren van gedragingen die de mens als "semantisch relevant" zou labelen.
Multi-objective Optimization: De totale beloning ( $r_{SRSD}$ $r_{S R S D}$ ) is een combinatie van drie factoren:
1. $r_{exp}$ (Exploratie): Stimuleert het ontdekken van nieuwe staten.
2. $r_{div}$ (Diversiteit): Stimuleert het onderscheidbaar maken van verschillende skills.
3. $r_{rel}$ (Relevantie): Zorgt dat de ontdekte skills aansluiten bij menselijke concepten.
Distributional Critics (TQC): Omdat de gecombineerde beloningsfunctie complex en ruisgevoelig is, gebruiken de auteurs Truncated Quantile Critics. Dit helpt bij het modelleren van de onzekerheid (aleatorische onzekerheid) en voorkomt overschatting van de waarde van bepaalde acties.

3. Belangrijkste Bijdragen

Nieuw Feedback-mechanisme: De introductie van Semantic Labelling, dat bewezen schaalbaar is naar een groot aantal vaardigheden, in tegenstelling tot traditionele voorkeursvergelijkingen.
SRSD Framework: Een integraal raamwerk dat menselijke semantiek direct koppelt aan de intrinsieke motivatie van een RL-agent.
Actieve Sampling: Een strategie om menselijke feedback efficiënt in te zetten door prioriteit te geven aan zeldzame of relevante categorieën, wat zorgt voor een gebalanceerde dataset.
Robuustheid tegen onzekerheid: Het gebruik van een distributionele benadering om de complexiteit van meerdere beloningsfuncties te beheersen.

4. Resultaten

De auteurs testten SRSD in een 2D-navigatieomgeving en vier complexe locomotie-omgevingen (DeepMind Control Suite: Walker, Quadruped, Cheetah, Hopper).

Superieure Prestaties: SRSD presteerde consistent beter dan baselines zoals CIC, ComSD en HaSD op zowel zero-shot (directe toepassing), few-shot als fine-tuning evaluaties.
Semantische Diversiteit: In de navigatietests bleek dat SRSD in staat was om alle gewenste semantische sectoren gelijkmatig te dekken, terwijl de voorkeursmethode (HaSD) faalde zodra het aantal categorieën toenam.
Efficiëntie: Zelfs met een zeer beperkt budget aan menselijke feedback (slechts 40 labels) bleef SRSD beter presteren dan methoden zonder menselijke feedback.
Robuustheid: De methode bleef effectief, zelfs wanneer de menselijke feedback imperfect of "irrationeel" was (bijv. foutieve labels of een beperkt geheugen van de mens).

5. Betekenis en Impact

Dit onderzoek is significant omdat het een brug slaat tussen de abstracte wereld van ongesuperviseerde RL en de menselijke behoefte aan begrijpelijk en bruikbaar gedrag. Door gebruik te maken van hoe mensen van nature categorieën vormen, biedt SRSD een schaalbare oplossing voor het trainen van agenten die niet alleen diverse, maar ook contextueel relevante en mensgerichte vaardigheden bezitten. Dit is cruciaal voor de toekomstige ontwikkeling van robots en autonome systemen die veilig en effectief in menselijke omgevingen moeten opereren.