💻 computer science

Vision-Based Dribbling for Humanoid Soccer via Privileged Representation Learning

Dit artikel stelt een geïntegreerd reinforcement learning-framework voor dat een temporele diepte-encoder in een beleid inbedt om een humanoïde robot in staat te stellen robuust, visie-gebaseerd voetballen met de bal te leren tegen statische en dynamische tegenstanders direct vanuit onboard diepte-observaties, waarbij hoge succespercentages worden behaald zonder te vertrouwen op expliciete staatsschatting of geprivilegieerde informatie.

Oorspronkelijke auteurs: Flavio Maiorana, Valerio Spagnoli, Eugenio Bugli, Flavio Volpi, Daniele Affinita, Vincenzo Suriani, Daniele Nardi, Luca Iocchi

Gepubliceerd 2026-07-15

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Flavio Maiorana, Valerio Spagnoli, Eugenio Bugli, Flavio Volpi, Daniele Affinita, Vincenzo Suriani, Daniele Nardi, Luca Iocchi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een robotvoetballer voor die probeert een bal naar beneden te dribbelen over een veld, terwijl hij een hoogtechnologische bril draagt. Stel je nu voor dat deze robot, in plaats van een supercomputer in zijn hoofd te hebben die de exacte snelheid en positie van de bal en zijn tegenstanders kent, alles moet uitzoeken door simpelweg te kijken naar een videofeed van zijn eigen ogen, terwijl hij ook nog eens probeert niet om te vallen. Dat is de wilde uitdaging waar dit artikel over gaat.

De onderzoekers bouwden een systeem waarbij een humanoïde robot leert om een voetbal te dribbelen door "zien" en "bewegen" samen te smelten tot één groot brein. Normaal gesproken zijn robots gebouwd als een estafette: één team detecteert de bal, geeft de informatie door aan een tweede team dat het pad plant, en een derde team beweegt de benen. Maar de auteurs stellen dat deze ouderwetse methode is als proberen een auto te besturen terwijl je alleen kijkt naar een kaart die door iemand anders is getekend; als de kaart een klein beetje fout is of als de bal een fractie van een seconde uit het zicht verdwijnt, rijdt de bestuurder tegen de vlakste bumper. In plaats daarvan leerden ze de robot om perceptie en controle samen te leren, zoals een mens die leert fietsen door het evenwicht te voelen in plaats van de fysica van elke wiebel te berekenen.

Om deze robot te leren, gebruikten ze een slim twee-stappen trainingskamp. Eerst lieten ze de robot oefenen in een videogame-simulatie waarin hij over "cheat codes" beschikte (genaamd geprivilegieerde informatie). Hij wist precies waar de bal en eventuele vijanden waren, zelfs als ze achter een muur stonden. De robot leerde perfect dribbelen in deze cheat-modus, waarbij hij meester werd in het dicht bij de bal houden en het ontwijken van obstakels. Vervolgens, in de tweede fase, namen ze de cheat codes af. Ze trainden een speciale "visie-encoder" — denk aan een student die als tutor optreedt — om naar dezelfde dieptecamera-video te kijken als die de robot in de echte wereld zou zien, en te raden wat de "cheat code" getallen zouden zijn geweest. Het brein van de robot gebruikte deze gissingen vervolgens om beslissingen te nemen, waardoor hij effectief leerde het spel te spelen met alleen zijn ogen.

De resultaten van deze training waren indrukwekkend, maar met enkele zeer specifieke beperkingen. Wanneer de robot op een leeg veld speelde zonder dat iemand de bal probeerde te stelen, was hij een perfecte ster en slaagde hij 100% van de tijd. Wanneer ze een enkel, stilstaand obstakel toevoegden (zoals een pion of een muur) in zijn pad, deed hij het nog steeds fantastisch, met een succespercentage van 96%, waarbij hij er slechts een klein beetje langer over deed om het doel te bereiken.

Echter, het verhaal verandigt wanneer de robot een bewegende tegenstander te vrezen krijgt. Wanneer een tweede robot werd geprogrammeerd om de bal te achtervolgen en te proberen de bal weg te slaan, daalde het succespercentage naar 46%. In deze simulaties viel de robot vaker om of verloor hij de bal, en hij botste 68% van de tijd tegen de tegenstander op. De auteurs suggereren dat hoewel de robot geweldig is in het zelfstandig zien en bewegen, de echte uitdaging ligt in het reageren op een levende, bewegende tegenstander die actief probeert te interfereren. De ogen van de robot werkten prima — hij kon de bal en de tegenstander nog steeds redelijk goed zien — maar het "brein" moest nog leren hoe het een bewegend doelwit kon ontwijken zonder om te vallen, wat nog een werk in uitvoering is.

Het is belangrijk om te onthouden dat dit alles plaatsvond binnen een computersimulatie met behulp van een specifiek robotmodel genaamd de Booster T1. De auteurs benadrukken dat dit een sterk fundament is voor de toekomst, maar ze hebben het nog niet getest op een echte robot op een echt veld. Ze stellen voor dat deze methode om robots te leren vanuit videofeeds terwijl ze hun evenwicht bewaren een veelbelovend pad vooruit is, maar voor nu is de robot nog steeds een zeer getalenteerde student in een virtuele klaslokaal, nog niet klaar voor het WK.

Technische Samenvatting: Visie-gebaseerd dribbelen voor humanoïde voetbal via Privileged Representation Learning

Probleemstelling
Humanoïde voetbal dribbelen vormt een complexe loco-manipulatie uitdaging die tegelijkertijd het handhaven van dynamisch evenwicht, precieze balcontrole en bewustzijn van een dynamische tegenstander vereist onder beperkingen van onboard-sensoren. Bestaande benaderingen ontkoppelen doorgaans perceptie van controle, waarbij ze vertrouwen op modulaire pipelines (bijv. YOLO-detectie gevolgd door Kalman-filtering) om de toestanden van de bal en de tegenstander te schatten. Hoewel effectief in gecontroleerde omgevingen, faalt deze scheiding onder occlusie, snelle balbewegingen en complexe interacties met tegenstanders omdat de perceptiemodule niet is geoptimaliseerd voor de downstream-controlpolicy. Bovendien opereren moderne humanoïde platforms (bijv. Booster T1) op hogere snelheden, wat de eisen aan perceptie en real-time controle verhoogt. De specifieke uitdaging die wordt aangepakt, is het in staat stellen van een humanoïde robot om een voetbal naar een doel te dribbelen terwijl statische en dynamische obstakels worden vermeden, met gebruik van uitsluitend onboard diepte-observaties, zonder expliciete staatsschatting of geprivilegieerde scène-informatie.

Methodologie
De auteurs stellen een geïntegreerd framework voor dat perceptie en controle gezamenlijk leert via een temporele encoder die gevormd is naar de behoeften van de policy: een benadering die is geïnspireerd op Rapid Motor Adaptation (RMA) en gebruikmaakt van een twee-fasen trainingsschema binnen een Partially Observable Markov Decision Process (POMDP) formulering:

Fase 1: Privileged Representation Learning (Curriculum Learning):
- Doel: Een policy trainen met behulp van "geprivilegieerde" grondwaarheid-toestandinformatie (bal- en tegenstandertoestanden) om een robuuste baseline voor loco-manipulatie vast te stellen.
- Curriculum: De training verloopt via vier stadia: (0) balbenadering zonder obstakels; (1) doelgericht dribbelen met de bal nabij de robot; (2) dribbelen met een statische blokkade; en (3) dribbelen met een dynamische, de bal aanvallende tegenstander.
- Optimalisatie: Stadia 1–3 maken gebruik van een DAgger-geregulariseerde PPO-objectieve functie, waarbij de Stage 0 policy als leraar wordt gebruikt om catastrofaal vergeten te voorkomen. De beloningsfunctie bevat termen voor bal-snelheidsvolging, nabijheid, uitlijning, doelvoortgang, en straffen voor botsingen, vallen en onveilige contacten.
- Architectuur: De policy ontvangt proprioceptieve inputs (IMU, gewrichtstoestanden, gangfase) geconcateneerd met een latente vector $z_t$ afgeleid van de geprivilegieerde toestand via een kleine MLP.
Fase 2: Visual Adaptation (Privileged Distillation):
- Doel: De geprivilegieerde encoder vervangen door een inzetbare visuele encoder die dezelfde latente representatie $z_t$ afleidt uit onboard diepte-observaties.
- Architectuur: Een temporele diepte-encoder bestaande uit een Convolutional Neural Network (CNN) voor ruimtelijke feature-extractie en een Gated Recurrent Unit (GRU) voor temporele aggregatie.
- Training: De policy uit Fase 1 wordt bevroren. De visuele encoder wordt getraind om de L2-afstand te minimaliseren tussen de output van de visuele latente vector en de geprivilegieerde latente vector ( $L_{latent}$ ). Aanvullende heads regresseren de bal- en obstakeltoestanden om identificeerbaarheid te verbeteren ( $L_{adapt}$ ).
- Deployment: Tijdens de inferentie gebruikt de robot uitsluitend proprioceptie en de op diepte gebaseerde latente vector, zonder toegang tot grondwaarheid-toestanden.

Belangrijkste Bijdragen

Temporele Encoder via Privileged Distillation: Een methode om taakrelevante bal- en tegenstandertoestanden direct af te leiden uit onboard diepte-observaties, wat inzetbare perceptie mogelijk maakt zonder expliciete staatsschatting.
Obstakelbewust Trainingspipeline: Een curriculum dat de robot stapsgewijs blootstelt aan toenemende moeilijkheidsgraad, van nominale controle tot statische blokkades en dynamische tegenstander-achtige obstakels.
End-to-End RL Systeem: Een verenigd policy-framework dat perceptie, balanscontrole, balbehandeling en tegenstandervermijding integreert, vrijgegeven als open-source code.

Experimentele Resultaten
Experimenten werden uitgevoerd in simulatie met het Booster T1 humanoïde platform en het mjlab framework. De evaluatie besloeg drie condities: geen obstakels, een enkel statisch obstakel, en een enkel dynamische "bal-aanvallende" tegenstander.

Succespercentages: De uiteindelijke policy bereikte 100% succes in de conditie zonder obstakels en 96% succes met een statisch obstakel. Het succes daalde naar 46% tegen een actief bewegende tegenstander.
Foutmodi: In het scenario met een dynamische tegenstander waren de primaire foutmodi vallen (52% faalpercentage) en botsingen (68% botsingspercentage), wat aangeeft dat robuuste closed-loop controle tegen bewegende tegenstanders een uitdaging blijft.
Perceptie en Controle: Fouten in de snelheidsvolging bleven stabiel tussen de condities zonder obstakels en met een statisch obstakel. In het dynamische scenario traden grotere hoek- en vectorfouten op tijdens "geblokkeerde" tijdstappen (wanneer de tegenstander tussen de bal en het doel stond), wat suggereert dat de policy opzettelijk afwijkt van de gecommandeerde balbeweging om botsingen te vermijden. Perceptiemetrieken (positie- en snelheidfouten van de bal/obstakel) bleven relatief stabiel over de condities heen, wat aangeeft dat de prestatievermindering in het dynamische scenario te wijten was aan de moeilijkheid van de controle in plaats van aan perceptiefouten.
Ablatie: Het verwijderen van de curriculumstadia verslechterde de prestaties aanzienlijk, vooral in de obstakelscenario's, wat de noodzaak van progressieve blootstelling aan moeilijkheidsgraad valideert.

Betekenis en Claims
Het artikel beweert dat het voorgestelde framework robuust visie-gebaseerd dribbelen ondersteunt in nominale en matig dynamische settings. De resultaten laten zien dat het mogelijk is om tegenstander-bewust dribbelen direct uit diepte-observaties te leren zonder expliciete staatsschatting. De auteurs zijn echter bescheiden over het dynamische scenario en erkennen dat robuust dribbelen tegen een actief bewegende tegenstander nog steeds een openstaand probleem is. Het werk legt een fundament voor het aanpakken van meer uitdagende scenario's met bewegende tegenstanders en schetst een principiële roadmap voor sim-to-real transfer op het Booster T1 platform. De auteurs merken op dat de huidige bewijslast beperkt wordt door de simulatieomgeving en het aantal onafhankelijk getrainde policies.

Meer zoals dit