HierKick: Hierarchical Reinforcement Learning for Vision-Guided Soccer Robot Control

Hieronder volgt een gedetailleerde technische samenvatting van het artikel "HierKick: Hierarchical Reinforcement Learning for Vision-Guided Soccer Robot Control" in het Nederlands.

Probleemstelling

Het besturen van een voetballende humanoid robot vereist complexe besluitvorming over meerdere tijdschalen. Er is een evenwicht nodig tussen langetermijn tactische planning (bijv. het benaderen van de bal, het kiezen van een schietpositie) en korte-termijn bewegingsuitvoering (bijv. balans houden, beenbewegingen coördineren). Traditionele end-to-end Reinforcement Learning (RL) methoden stuiten op de volgende beperkingen in dynamische omgevingen:

• Spaarzame beloningen (Reward Sparsity): Dit leidt tot convergentieproblemen.
• Instabiliteit: Strategieën zijn vaak niet robuust genoeg.
• Hoge vertraging: Controlevertragingen maken het moeilijk om aan de eisen van laagfrequente acties te voldoen.
• Moeilijkheid bij aanpassing: Aanpassing aan dynamische omgevingsveranderingen vereist vaak grote hoeveelheden handmatige tussenkomst.

Het doel is een systeem te creëren dat zowel tactisch slim als motorisch precisie kan handelen, waarbij het de kloof tussen strategische beslissingen en fysieke uitvoering overbrugt.

Methodologie: Het HierKick Framework

Het artikel introduceert HierKick, een hiërarchisch RL-framework met een dubbele frequentie-architectuur. Dit systeem ontkoppelt tactische besluitvorming van bewegingsuitvoering.

1. Hiërarchische Architectuur

• Hoge-niveau Beleid (Coach Policy): Werkt op 5 Hz.
  • Functie: Voert tactische planning uit en selecteert taken (benaderen, uitlijnen, dribbelen, schieten).
  • Perceptie: Gebruikt YOLOv8 voor real-time detectie van de bal en het doel (10 Hz).
  • Output: Genereert versnellingscommando's die worden geïntegreerd tot snelheidscommando's.
  • Observatieruimte: Omvat posities van bal en doel, robotstatus, en geschiedenis van commando's.
• Laag-niveau Beleid (Motion Policy): Werkt op 50 Hz.
  • Functie: Voert precieze gewrichtscontrole uit.
  • Aanpak: Gebruikt een voorgeladen (pre-trained) controller voor locomotie. Dit lost het "cold-start"-probleem op en stabiliseert het trainingproces.
  • Input: Ontvangt snelheidscommando's van de Coach en proprioceptieve data.
  • Output: Doelposities voor de gewrichten van de benen (12 dimensies).

2. Multi-Stadia Beloningsmechanisme
Om conflicterende doelen te vermijden en het leerproces te stroomlijnen, wordt een beloningsfunctie gebruikt die dynamisch schakelt tussen vier fasen, afhankelijk van de afstand tot de bal:

1. Benaderen (Approach): Beloning voor efficiënte beweging richting de bal.
2. Uitlijnen (Alignment): Beloning voor het richten van het lichaam op een optimale schietlijn (robot-bal-doel).
3. Dribbelen (Dribble): Beloning voor het voorzichtig bewegen van de bal richting het doel zonder de bal te verliezen.
4. Schieten (Shoot): Beloning voor uitlijning en hoge snelheid voor een krachtige trap.

• Regularisatie: Er wordt een term toegevoegd om abrupte commandowisselingen te straffen en soepele overgangen te garanderen.

3. Training en Perceptie

• Algoritme: Proximal Policy Optimization (PPO) met een asymmetrische actor-critic architectuur (gebruik van voorkeursinformatie tijdens training, gedeeltelijke observaties tijdens implementatie).
• Perceptie: YOLOv8 detecteert de bal in RGB-beelden. 2D-bounding boxes worden omgezet naar 3D-positie via camera-calibratie en diepteberekening.
• Domain Randomization: Om de overdracht naar de echte wereld (Sim-to-Real) te verbeteren, worden factoren zoals wrijving, balmassa, ruis en vertragingen gevarieerd tijdens de training.

Belangrijkste Bijdragen

1. HierKick Framework: Een nieuw dual-frequency RL-framework dat adaptieve snelheidscontrole mogelijk maakt door tactiek en uitvoering te scheiden.
2. Coach Model: Een model dat via curriculum learning is getraind om situaties te evalueren en versnellingscommando's uit te geven, waardoor de robot geleidelijk complexe vaardigheden kan beheersen.
3. Real-World Implementatie: Succesvolle implementatie op de Booster T1 humanoid robot met een end-to-end latentie van ongeveer 20 ms bij 50 Hz, wat voldoet aan de eisen voor real-time controle.
4. Modulair Ontwerp: Het hergebruik van voorgeladen vaardigheden versnelt training en verbetert de convergentie.

Resultaten

Het framework is getest in drie omgevingen met de volgende succespercentages voor de taak (benaderen, dribbelen, schieten):

• Isaac Gym (Simulatie): 95,2% succes.
• MuJoCo (Simulatie): 89,8% succes.
• Real World (Booster T1 Robot): 80,0% succes.

Ablatie Studies:

• Het verwijderen van afstandsinformatie ($d_{ball}, d_{goal}$) liet de succes率 dalen naar 23,2%.
• Het vervangen van commando-geschiedenis door directe bal-robot vector liet de succes率 dalen naar 8,2%.
• Een End-to-End methode (zonder hiërarchie) behaalde slechts 25,6% succes.
• Dit bevestigt dat de hiërarchische structuur en specifieke observaties essentieel zijn voor stabiliteit en prestatie.

Analyse:
De volledige HierKick-methode toont de kleinste variantie in de schietafstand (meest precieze trappen) vergeleken met andere methoden. De prestatiedaling in de echte wereld wordt toegeschreven aan onzekerheden zoals graswrijving, balrebound en lichtreflecties, maar het 80% succespercentage toont sterke overdraagbaarheid.

Betekenis en Impact

HierKick biedt een effectief paradigma voor robotbesturing in complexe, dynamische omgevingen. Door de taak op te splitsen in tactische planning (hoge frequentie) en motorische uitvoering (lage frequentie), overwint het de beperkingen van traditionele end-to-end RL.

• Schaalbaarheid: De architectuur is uitbreidbaar naar andere multi-tijdschaal taken.
• Efficiëntie: Het gebruik van voorgeladen vaardigheden en modulaire ontwerpen maakt training sneller en robuuster.
• Toekomst: Het biedt een nieuwe route voor intelligente robotbesturing, waarbij de synergie tussen "hoge" besluitvorming en "lage" uitvoering wordt geoptimaliseerd, vergelijkbaar met biologische systemen (hersenen vs. cerebellum).

Samenvattend bewijst HierKick dat hiërarchisch reinforcement learning, gecombineerd met visuele perceptie en voorgeladen vaardigheden, een krachtige oplossing is voor het realiseren van complexe, real-time interactieve taken met humanoid robots.