Quantifying the Effect of Feedback Frequency in Interactive Reinforcement Learning for Robotic Tasks

1. Probleemstelling

Versterkend Leren (RL) wordt veel gebruikt in de robotica, maar lijdt aan lage data-efficiëntie en vereist vaak miljoenen interacties om complexe problemen op te lossen. Interactief Versterkend Leren (IRL) lost dit op door lerarenfeedback (menselijk of kunstmatig) te integreren om de agent te sturen. De literatuur mist echter een consensus over de optimale feedbackfrequentie:

• Sommige studies suggereren dat hogere frequenties robuustere agenten opleveren.
• Anderen betogen dat excessieve feedback leidt tot "reward hacking" of het begin van het leerproces vertraagt.
• Een derde groep pleit voor intermediaire frequenties.

De auteurs veronderstellen dat deze tegenstrijdigheden ontstaan omdat eerdere studies voornamelijk lage-dimensionale, discrete grid-world-omgevingen gebruikten. Zij stellen dat het effect van feedbackfrequentie waarschijnlijk varieert afhankelijk van taakcomplexiteit en het proficiëntieniveau van de agent (fase van training), wat in continue robotbesturingsopgaven niet systematisch is geïsoleerd.

2. Methodologie

Experimentele Opstelling

• Robotplatforms: De studie gebruikte inverse kinematica-leeropgaven voor twee robots:
  • NAO: Configuraties met 2 Vrijheidsgraden (DoF) en 4 DoF.
  • KUKA LBR iiwa 14 R820: Configuraties met 2 DoF, 4 DoF en 7 DoF.
• Taak: De agent moet de robotarm in de gewrichtsruimte besturen om willekeurige doelzones in de Cartesische taakruimte te bereiken.
• Beloningsfunctie: Er werd een spaarzame beloningsfunctie gebruikt (Beloning = 1 bij bereiken van het doel, 0 anders) om het effect van feedback te isoleren zonder verstorende beloningsvorming.
• Algoritme: Continuous Actor-Critic Learning Automaton (CACLA) geïmplementeerd met Multi-Layer Perceptrons (MLP's) met behulp van PyTorch en Adam-optimatie.

Interactief Mechanisme (Foutcorrectie)

• Feedbacktype: De leraar geeft binaire feedback op basis van of een actie de Euclidische afstand tot het doel verkleint.
• Mechanisme: Als een actie de afstand vergroot (een "fout"), signaleert de leraar dit en ongedaan de agent de actie en exploreert een nieuwe. Dit leidt het exploratieproces in plaats van direct de beloningsfunctie te vormen.
• Controlevariabele (Kans op Vragen, $L$): De waarschijnlijkheid dat de agent lerarenfeedback accepteert.
  • $L = 0.0$: Vanilla RL (geen feedback).
  • $L = 0.99$: Zeer interactief (feedback op bijna elke stap).
  • De studie testte $L$-waarden van 0.0 tot 0.99 in stappen.

Evaluatiemetingen

• Foutpercentage: Percentage gemiste doelen (equivalent aan $1 - \text{gemiddelde cumulatieve beloning}$).
• Positioneringsfout: Gemiddelde Euclidische afstand tot het doel.
• Analysestrategie: De prestaties werden niet alleen geanalyseerd op basis van de uiteindelijke convergentie, maar door tijd-gethresholdde foutpercentages. De auteurs vergeleken hoe snel verschillende $L$-waarden specifieke prestatiedrempels bereikten (bijv. 50%, 10%, 5% foutpercentage) in verschillende trainingsfasen.

3. Belangrijkste Resultaten

De experimenten toonden aan dat de "optimale" feedbackfrequentie niet statisch is; deze hangt sterk af van taakcomplexiteit en de trainingsfase.

A. Afhankelijkheid van Taakcomplexiteit

• Eenvoudige Taken (NAO 2 DoF): Hoge feedbackfrequenties ($L \geq 0.7$) verbeterden consequent de prestaties en leidden tot perfecte convergentie. Lage frequenties divergeerden later in de training.
• Complexe Taken (KUKA 2, 4, 7 DoF):
  • Vroege Training: Hoge feedbackfrequenties waren vaak schadelijk, wat leidde tot een vertraagd begin van het leerproces of aanzienlijk slechtere prestaties vergeleken met lage/intermediaire frequenties.
  • Late Training: Naarmate de agent bekwaamer werd, werden hoge feedbackfrequenties gunstig, wat leidde tot robuustere beleidsregels en lagere foutpercentages op de lange termijn.
  • Divergentie: Agenten met lage frequenties in complexe taken bereikten vaak een lokaal optimum en divergeerden vervolgens (prestaties verslechterden), terwijl agenten met hoge frequenties stabiliteit behielden.

B. De "Optimale Trajectorie"

De studie vond dat geen enkele $L$-waarde optimaal is voor de volledige trainingsduur.

• Vroege Fase: Intermediaire of lage $L$-waarden zijn vaak superieur om te voorkomen dat de agent te afhankelijk wordt van vereenvoudigde feedback, wat de exploratie van de volledige toestandsruimte belemmert.
• Late Fase: Hoge $L$-waarden worden optimaal om het beleid te verfijnen en robuustheid tegenover hyperparametergevoeligheid te waarborgen.

C. Kwantificering van Taakcomplexiteitsreductie

De auteurs introduceerden een heuristiek om de optimale initiële $L$ te voorspellen. Zij maten de Relatieve Taakcomplexiteit veroorzaakt door feedback (hoeveel de leraar de taak voor een willekeurige agent vereenvoudigt).

• Vinding: Feedbackfrequenties die de taakcomplexiteit te drastisch reduceren (de taak te makkelijk maken) zijn in het begin schadelijk.
• Optimaal Bereik: De meest gunstige initiële $L$-waarden corresponderen met een reductie van de relatieve taakcomplexiteit van ongeveer 0,78 tot 0,95. Dit suggereert dat de leraar de taak licht moet vereenvoudigen, maar niet zozeer dat de agent geen generaliseerbaar gedrag leert.

D. Bewijs van Concept voor Adaptieve Strategie

De auteurs demonstreerden een adaptief interactieregime op de KUKA 2 DoF-taak:

1. Start met $L=0.0$ (geen feedback) voor snelle initiële exploratie.
2. Schakel over naar $L=0.5$ bij epoch 14.
3. Schakel over naar $L=0.99$ bij epoch 18.

• Resultaat: Deze adaptieve agent behaalde de snelle vroege convergentie van lage-$L$-agenten en de langetermijnprecisie van hoge-$L$-agenten, en presteerde beter dan elke vaste-$L$-strategie gemeten aan de oppervlakte onder de foutpercentage-curve.

4. Belangrijkste Bijdragen

1. Oplossing van Tegenstrijdigheden: Het paper verenigt tegenstrijdige literatuur door aan te tonen dat "meer feedback is beter" en "minder feedback is beter" beide waar zijn, afhankelijk van de taakcomplexiteit en trainingsfase.
2. Validatie in Continue Ruimte: In tegenstelling tot eerdere grid-world-studies valideert dit werk deze dynamieken in continue toestands- en actieruimten met behulp van real-world robotkinematica (NAO en KUKA).
3. Dynamische Optimale Frequentie: Het stelt vast dat de optimale feedbackfrequentie een temporale trajectorie is, geen statische hyperparameter.
4. Heuristiek voor Initialisatie: Het stelt een methode voor om de initiële feedbackfrequentie te selecteren op basis van de reductie van relatieve taakcomplexiteit, waardoor een praktische richtlijn voor practitioners wordt geboden.

5. Betekenis en Conclusie

Dit onderzoek verschuift fundamenteel het paradigma van Interactief RL van het zoeken naar een "one-size-fits-all" feedbackfrequentie naar het adopteren van adaptieve interactieregimes.

• Praktische Impact: Voor robottoepassingen suggereert dit dat menselijke leraren of geautomatiseerde orakels geen constante, hoge-frequentie feedback moeten geven. In plaats daarvan moeten zij beginnen met spaarzame of intermediaire feedback om exploratie te stimuleren en de feedbackfrequentie geleidelijk verhogen naarmate de agent de taakstructuur leert.
• Robuustheid: Hoge-frequentie feedback in latere stadia is cruciaal om divergentie van beleidsregels te voorkomen en robuustheid te waarborgen, met name in hoge-dimensionale (7 DoF) taken.
• Toekomstige Richtingen: De auteurs suggereren dat toekomstig werk zich moet richten op het automatiseren van de detectie van de optimale schakelpunten voor $L$ en het onderzoeken van de relatie tussen feedbackfrequentie en "capaciteitsverlies" in neurale netwerk-functieapproximatoren.

Kortom, het paper betoogt dat adaptieve feedbackfrequentie, afgestemd op het proficiëntieniveau van de agent en de specifieke complexiteit van de robottaak, de sleutel is tot het maximaliseren van data-efficiëntie en prestaties in Interactief Versterkend Leren.