💻 computer science

PACE: Physics Augmentation for Coordinated End-to-end Reinforcement Learning toward Versatile Humanoid Table Tennis

Dit paper introduceert PACE, een reinforcement learning-framework dat end-to-end whole-body controle voor mensachtige tafeltennisrobots mogelijk maakt door gebruik te maken van voorspellende signalen en fysisch geleide beloningen, wat resulteert in een hoogwaardige prestatie in simulatie en succesvolle zero-shot implementatie op een fysieke Booster T1-robot.

Oorspronkelijke auteurs: Muqun Hu, Wenxi Chen, Wenjing Li, Falak Mandali, Zijian He, Renhong Zhang, Praveen Krisna, Katherine Christian, Leo Benaharon, Dizhi Ma, Karthik Ramani, Yan Gu

Gepubliceerd 2026-03-19

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Muqun Hu, Wenxi Chen, Wenjing Li, Falak Mandali, Zijian He, Renhong Zhang, Praveen Krisna, Katherine Christian, Leo Benaharon, Dizhi Ma, Karthik Ramani, Yan Gu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot wilt bouwen die niet alleen kan lopen, maar ook ping-pong kan spelen tegen een mens. En niet zomaar een beetje, maar op een niveau waarbij hij snel moet reageren, zijn benen en armen perfect moet coördineren en zelfs moet "voorspellen" waar de bal gaat landen voordat hij daar is.

Dat is precies wat deze paper beschrijft. Hier is de uitleg in simpele taal, met wat creatieve vergelijkingen:

1. Het Grote Probleem: De "Vaste Standaard" vs. De "Dynamische Dans"

Vroeger waren robot-pingpongspelers als een automatische deur. Ze wachten tot de bal op een heel specifiek punt is (een denkbeeldig vlak), en dan slaan ze. Ze bewegen hun benen nauwelijks; ze staan als een paal op het veld.

Maar een echte menselijke speler is als een dancer. Hij loopt naar voren, naar achteren, naar links en rechts. Hij buigt zijn knieën, draait zijn romp en slaat de bal op het allerbeste moment. De auteurs van dit paper wilden een robot die ook zo kan dansen, in plaats van als een starre machine te werken.

2. De Oplossing: Een "Voorspellende Coach" en "Dichte Beloningen"

Het trainen van een robot om dit te doen is heel lastig. Als je de robot alleen maar laat oefenen en zegt "Goed zo!" als hij wint, of "Fout!" als hij verliest, leert hij te langzaam. Het is alsof je iemand leert fietsen door alleen te zeggen "Je viel" of "Je reed goed", zonder te vertellen hoe je peddelt.

De auteurs hebben twee slimme trucjes bedacht:

De Voorspellende Coach (De Predictor):
De robot krijgt een extra "hersencel" die werkt als een kijkende crystal ball. Deze kleine computer kijkt naar de bal die net is geserveerd en zegt: "Hé, over 0,5 seconde is de bal daar!"
In plaats van te wachten tot de bal er is, geeft deze coach de robot een commando: "Beweeg nu alvast naar die plek!" Dit zorgt ervoor dat de robot proactief is (hij denkt vooruit) in plaats van reactief (hij holt achter de bal aan).
De Dichte Beloning (De GPS voor de robot):
In plaats van alleen te wachten tot het einde van de rally om te zien of de robot heeft gewonnen, geven ze de robot continu feedback.
- Vergelijking: Stel je voor dat je een schat zoekt. Een oude methode is: "Je bent bij de schat" (ja/nee). De nieuwe methode is: "Je bent 100 meter te ver, ga naar links... nu 50 meter... nu heel dichtbij."
  De robot krijgt steeds kleine "punten" als hij de bal goed benadert, als hij op de juiste hoogte staat, en als hij de bal in de goede richting terugslaat. Hierdoor leert hij veel sneller wat hij moet doen.

3. De Training: Een Virtuele Gymzaal

De robot (een model genaamd Booster T1, met 23 gewrichten, net als een mens) heeft in de computerwereld (simulatie) 250.000 keer geoefend.

De bal werd met verschillende snelheden en hoeken gegooid.
De robot leerde dat hij voor een korte bal snel naar voren moet stappen, en voor een lange bal snel naar achteren moet rennen.
Het resultaat? In de computerwereld slaagde hij in 96% van de gevallen om de bal te raken en 92% om hem terug te slaan.

4. De Realiteit: De Echte Test

Het moeilijkste deel is het overbrengen van wat de robot in de computer heeft geleerd naar de echte wereld (Sim2Real). In de echte wereld zijn er trillingen, zware motoren en onnauwkeurige sensoren.

Toch hebben de onderzoekers de robot zonder extra training (zero-shot) in de echte wereld laten spelen tegen een balmachine.

Het resultaat: De robot kon de bal vangen en terugslaan.
De dans: Je zag de robot niet alleen met zijn arm zwaaien, maar hij liep echt. Hij stapte zijwaarts en naar voren/achteren, precies zoals een mens dat doet.
De snelheid: Hij kon de bal terugslaan met een snelheid die zelfs hoger was dan de bal die op hem afkwam.

Samenvatting in één zin

Deze paper laat zien dat je een robot ping-pongspeler kunt maken die niet als een starre robot werkt, maar als een voorspellende danser, door hem te leren kijken naar de toekomst en hem constant kleine aanwijzingen te geven tijdens het oefenen, zodat hij uiteindelijk de bal met zijn hele lichaam kan terugslaan.

Het is een enorme stap richting robots die niet alleen kunnen lopen, maar ook echte sporten kunnen spelen met ons mee!

Probleemstelling

Mensachtige robots (humanoids) hebben moeite om snelle, dynamische taken uit te voeren die een hoge mate van coördinatie tussen armen en benen vereisen, zoals tafeltennis. Bestaande benaderingen voor robotisch tafeltennis maken vaak gebruik van:

Modelgebaseerde planning: Deze methoden gebruiken vaak een "virtueel raakvlak" (virtual hitting-plane) aanname. Hierbij wordt de baltraject voorspeld en wordt de robot geprogrammeerd om op een specifiek punt te slaan. Dit beperkt de robot tot voorspelbare bewegingen en elimineert de noodzaak voor adaptieve voetwerkstrategieën en complexe arm-benencoördinatie.
Lerende methoden: Bestaande end-to-end Reinforcement Learning (RL) methoden zijn vaak succesvol bij robotarmen met een glijdende basis, maar falen bij mensachtige robots met benen. Dit komt door de hoge dimensionaliteit van de actieruimte, de inherent instabiele locomotie van humanoids, en het probleem van spaarzame beloningen (sparse rewards). Een robot leert moeilijk als de beloning alleen komt na een succesvolle slag, wat te laat is voor effectief onderzoek (exploratie) tijdens het trainen.

Het doel van dit paper is een end-to-end RL-framework te ontwikkelen dat direct waarnemingen van de balpositie en robotproprioceptie omzet in coördineerde bewegingen van het hele lichaam (armslag en voetwerk) voor mensachtige tafeltennis, zonder gebruik te maken van modulaire decompositie of hiërarchische planning.

Methodologie

De auteurs introduceren PACE (Physics Augmentation for Coordinated End-to-end Reinforcement Learning), een unificerend RL-framework dat twee kerncomponenten combineert om de trainingsuitdagingen op te lossen:

1. Predictor-verrijkte Actor Policy (Proactieve Besluitvorming)

Lichtgewicht Predictor: Een leerbaar netwerk (MLP) voorspelt de toekomstige toestand van de bal (specifiek het hoogste punt na de eerste stuiter) op basis van recente balposities.
Actie: De output van deze predictor wordt gebruikt om een "doelbasisverschuiving" ( $\Delta \tilde{p}_{base}$ ) te genereren. Dit geeft de robot een proactieve instructie om zich naar de verwachte slagpositie te verplaatsen voordat de bal aankomt.
Observatie: De actor (het beleid dat acties kiest) ontvangt deze voorspellingen als input, terwijl de criticus (die de waarde schat) tijdens het trainen toegang heeft tot de perfecte, op fysica gebaseerde voorspellingen (privilege informatie).

2. Voorspellingsgebaseerde Dichte Beloningen (Physics-Augmented Rewards)
In plaats van alleen te belonen bij een geslaagde slag (wat spaarzaam is), worden continue, dichte beloningen gegenereerd op basis van fysicasimulaties:

Reaching Reward (Bereikbeloning): Straft de afstand tussen de eind-effector (paddle) en het voorspelde slagpunt, evenals de positie van de basis van de robot. Dit stimuleert de robot om proactief naar de juiste positie te bewegen.
Returning Reward (Terugslagbeloning): Voorspelt direct na de impact waar de bal zal landen en hoe hoog deze over het net zal gaan. De robot wordt beloond als de bal op de tegenstanderskant landt en het net niet raakt.
Voordeel: Deze beloningen zijn direct beschikbaar bij contact, in plaats van te wachten tot de bal landt, wat de leerefficiëntie drastisch verbetert.

Trainingsopzet:

Omgeving: Gebaseerd op IsaacLab en LeggedLab.
Algoritme: Proximal Policy Optimization (PPO) met een asymmetrische actor-critic architectuur.
Sim2Real: Gebruik van domeinrandomisatie (massa, wrijving, ruis) en een aangepast luchtweerstandsmodel voor de bal om de kloof tussen simulatie en realiteit te minimaliseren.

Belangrijkste Bijdragen

Eerste Unified End-to-End Framework: Dit is een van de eerste werken dat een enkel RL-beleid trainen om zowel voetwerk als armslagen voor mensachtige tafeltennis te coördineren, zowel in simulatie als op echte hardware.
Overcoming Virtual Hitting-Plane: Het framework elimineert de beperkende aanname van een vast virtueel raakvlak. De robot leert dynamisch voetwerk (zijwaarts en voor-achterwaarts) en aanpassing van de romp om de bal op diverse posities te slaan.
Physics-Augmented Learning: De combinatie van een leerbare balvoorspeller voor de actor en fysica-gebaseerde dichte beloningen voor het trainingsproces lost het probleem van spaarzame beloningen en trage convergentie op.
Zero-Shot Deployment: Het beleid is succesvol overgebracht naar de fysieke Booster T1 humanoid (23 draaibare gewrichten) zonder extra fine-tuning (zero-shot).

Resultaten

Simulatie:

De policy bereikte een slagkans (hit rate) van ≥96% en een succeskans (success rate) van ≥92% over een breed scala aan opslagen (variërend in snelheid en afstand).
De robot toonde divers voetwerk: bij korte opslagen stapte de robot snel naar voren, bij lange opslagen bewoog deze zich achterwaarts om balans en bereik te behouden.
Ablatiestudies: Zonder de voorspeller of de dichte beloningen daalde de prestatie drastisch. Zonder voorspeller kon de robot de bal wel raken, maar faalde hij in het uitvoeren van een stabiele en succesvolle terugslag.

Hardware (Booster T1):

Zero-shot prestaties: De robot slaagde erin om 29 van de 31 opgeslagen ballen te raken (93,5% slagkans) en 19 geldige terugslagen te maken (61,3% succeskans).
De daling in succespercentage ten opzichte van de simulatie wordt toegeschreven aan verschillen in de enkelactuatoren (serieel vs. parallel) en niet-gemodelleerde motor-dynamica.
Bewegingskwaliteit: De robot toonde gecoördineerde zijwaartse en voor-achterwaartse voetbewegingen, evenals rotatie van de romp, vergelijkbaar met menselijke spelers.
De gemiddelde uitgaande balna-snelheid was 6,9 m/s, wat hoger is dan de ingaande snelheid, wat aantoont dat de robot krachtige slagen kan uitvoeren.

Betekenis en Toekomstperspectief

Dit werk markeert een belangrijke stap in de ontwikkeling van mensachtige robots als veelzijdige, competitieve sporters. Het bewijst dat end-to-end RL, versterkt met fysica-inzicht en voorspellende mechanismen, in staat is om complexe, snelle whole-body coördinatie te leren die eerder alleen mogelijk was met handmatige planning of beperkte modelgebaseerde methoden.

Toekomstige werk:

Uitbreiden naar meer complexe armontwerpen (meer vrijheidsgraden, inclusief pols) om backhand-slagen en dexteriteit te verbeteren.
Gebruik van curriculum learning om stapsgewijs vaardigheden op te bouwen.
Integratie van menselijke demonstratiegegevens om het leergedrag te verfijnen.

Kortom, PACE biedt een praktische route naar mensachtige robots die niet alleen kunnen lopen, maar ook kunnen reageren op snelle, dynamische interacties in de echte wereld.