💻 computer science

Vision-Based Dribbling for Humanoid Soccer via Privileged Representation Learning

Questo articolo propone un framework di apprendimento per rinforzo integrato che incorpora un encoder di profondità temporale in una policy per consentire a un robot umanoide di apprendere un dribbling calcistico basato sulla visione, robusto contro avversari statici e dinamici, direttamente dalle osservazioni di profondità a bordo, raggiungendo elevati tassi di successo senza fare affidamento su una stima esplicita dello stato o su informazioni privilegiate.

Autori originali: Flavio Maiorana, Valerio Spagnoli, Eugenio Bugli, Flavio Volpi, Daniele Affinita, Vincenzo Suriani, Daniele Nardi, Luca Iocchi

Pubblicato 2026-07-15

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Flavio Maiorana, Valerio Spagnoli, Eugenio Bugli, Flavio Volpi, Daniele Affinita, Vincenzo Suriani, Daniele Nardi, Luca Iocchi

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate un robot calciatore che cerca di palleggiare con un pallone lungo un campo, indossando un paio di occhialini tecnologici. Ora, immaginate che invece di avere un supercomputer nella testa che conosce l'esatta velocità e posizione della palla e dei nemici, questo robot debba capire tutto semplicemente guardando il feed video dai propri occhi, il tutto cercando di non cadere. Questa è la sfida selvaggia affrontata in questo articolo.

I ricercatori hanno costruito un sistema in cui un robot umanoide impara a palleggiare con un pallone da calcio combinando il "vedere" e il "muoversi" in un unico grande cervello. Di solito, i robot sono costruiti come una staffetta: un primo team rileva la palla, passa le informazioni a un secondo team che pianifica il percorso e un terzo team muove le gambe. Ma gli autori sostengono che questo vecchio metodo sia come cercare di guidare un'auto guardando solo una mappa disegnata da qualcun altro; se la mappa è leggermente sbagliata o se la palla viene nascosta per una frazione di secondo, il conducente si schianta. Invece, hanno insegnato al robot a apprendere la percezione e il controllo insieme, come un essere umano che impara ad andare in bicicletta sentendo l'equilibrio piuttosto che calcolando la fisica di ogni oscillazione.

Per insegnare a questo robot, hanno utilizzato un astuto campo di addestramento in due fasi. Prima, hanno lasciato che il robot si esercitasse in una simulazione di un videogioco dove aveva dei "trucchi" (chiamati informazioni privilegiate). Sapeva esattamente dove si trovavano la palla e i nemici, anche se erano dietro un muro. Il robot ha imparato a palleggiare perfettamente in questa modalità con i trucchi, padroneggiando il modo di tenere la palla vicina e schivare gli ostacoli. Poi, nella seconda fase, hanno tolto i trucchi. Hanno addestrato un particolare "encoder visivo" — pensatelo come un tutor studente — per guardare lo stesso video della telecamera di profondità che il robot vedrebbe nel mondo reale e indovinare quali sarebbero stati i numeri del "trucco". Il cervello del robot ha poi usato queste ipotesi per prendere decisioni, imparando efficacemente a giocare al gioco usando solo i propri occhi.

I risultati di questo addestramento sono stati impressionanti, ma con alcuni limiti molto specifici. Quando il robot giocava su un campo vuoto senza nessuno che cercasse di rubargli la palla, era una stella perfetta, avendo successo il 100% delle volte. Quando hanno aggiunto un singolo ostacolo stazionario (come un cono o un muro) sul suo percorso, ha comunque svolto un lavoro fantastico, avendo successo il 96% delle volte e impiegando solo un pochino più di tempo per raggiungere l'obiettivo.

Tuttavia, la storia cambia quando il robot affronta un nemico in movimento. Quando un secondo robot è stato programmato per inseguire la palla e cercare di colpirla per allontanarla, il tasso di successo è sceso al 46%. In queste simulazioni, il robot cadeva o perdeva la palla molto più spesso, e urtava l'avversario il 68% delle volte. Gli autori suggeriscono che, sebbene il robot sia bravo a vedere e muoversi da solo, la vera sfida è reagire a un avversario vivo e in movimento che sta attivamente cercando di interferire. Gli occhi del robot funzionavano bene — riusciva ancora a vedere la palla e il nemico ragionevolmente bene — ma il "cervello" doveva ancora capire come schivare un bersaglio mobile senza cadere, ed è un lavoro ancora in corso.

È importante ricordare che tutto questo è accaduto all'interno di una simulazione al computer utilizzando un modello di robot specifico chiamato Booster T1. Gli autori sono cauti nell'affermare che questa è una solida base per il futuro, ma non l'hanno ancora testata su un robot reale in un campo reale. Propongono che questo metodo di insegnare ai robot come apprendere dai feed video mentre mantengono l'equilibrio sia una strada promettente, ma per ora, il robot è ancora uno studente molto talentuoso in un'aula virtuale, non ancora pronto per la Coppa del Mondo.

Sintesi Tecnica: Dribbling basato sulla Vision per l'Uomoide da Calcio tramite Apprendimento di Rappresentazioni Privilegiate

Definizione del Problema
Il dribbling di un umanoide da calcio rappresenta una complessa sfida di loco-manipolazione che richiede il mantenimento simultaneo dell'equilibrio dinamico, del controllo preciso della palla e della consapevolezza di un avversario dinamico sotto i vincoli della sensoristica di bordo. Gli approcci esistenti tipicamente disaccoppiano la percezione dal controllo, affidandosi a pipeline modulari (ad esempio, rilevamento YOLO seguito da filtraggio di Kalman) per stimare gli stati della palla e dell'avversario. Sebbene efficaci in ambienti controllati, questo separazione fallisce in presenza di occlusioni, movimenti rapidi della palla e interazioni complesse con l'avversario perché il modulo di percezione non è ottimizzato per la policy di controllo a valle. Inoltre, le moderne piattaforme umanoidi (ad esempio, Booster T1) operano a velocità più elevate, aumentando le richieste su percezione e controllo in tempo reale. La sfida specifica affrontata è quella di abilitare un robot umanoide al dribbling di una palla da calcio verso un obiettivo evitando ostacoli statici e dinamici utilizzando solo osservazioni di profondità (depth) di bordo, senza stima esplicita dello stato o informazioni privilegiate sulla scena.

Metodologia
Gli autori propongono un framework integrato che apprende congiuntamente percezione e controllo attraverso un encoder temporale modellato sulle necessità della policy. L'approccio si ispira alla Rapid Motor Adaptation (RMA) e utilizza uno schema di addestramento in due fasi all'interno di una formulazione di Processo Decisionale di Markov Parzialmente Osservabile (POMDP):

Fase 1: Apprendimento di Rappresentazioni Privilegiate (Apprendimento per Curriculum):
- Obiettivo: Addestrare una policy utilizzando informazioni di stato "privilegiate" (stato della palla e dell'avversario) per stabilire una base robusta per la loco-manipolazione.
- Curriculum: L'addestramento progredisce attraverso quattro stadi: (0) approccio della palla senza ostacoli; (1) dribbling diretto al target con la palla vicina al robot; (2) dribbling con un bloccante statico; e (3) dribbling con un avversario dinamico che attacca la palla.
- Ottimizzazione: Gli stadi 1–3 utilizzano un obiettivo PPO regolarizzato da DAgger, utilizzando la policy dello Stadio 0 come insegnante per mitigare l'oblio catastrofico. La funzione di ricompensa include termini per il tracciamento della velocità della palla, la prossimità, l'allineamento, il progresso verso il target e penalità per collisioni, cadute e contatti non sicuri.
- Architettura: La policy riceve input propriocettivi (IMU, stati dei giunti, fase del passo) concatenati con un vettore latente $z_t$ derivato dallo stato privilegiato tramite un piccolo MLP.
Fase 2: Adattamento Visivo (Distillazione Privilegiata):
- Obiettivo: Sostituire l'encoder privilegiato con un encoder visivo distribuibile che inferisca la stessa rappresentazione latente $z_t$ dalle osservazioni di profondità di bordo.
- Architettura: Un encoder di profondità temporale composto da una Rete Neurale Convoluzionale (CNN) per l'estrazione delle caratteristiche spaziali e una Unità Ricorrente Gated (GRU) per l'aggregazione temporale.
- Addestramento: La policy della Fase 1 viene congelata. L'encoder visivo è addestrato per minimizzare la distanza L2 tra il suo output latente e il latente privilegiato ( $L_{latent}$ ). Head ausiliari regressionano gli stati di palla e ostacoli per migliorare l'identificabilità ( $L_{adapt}$ ).
- Deployment: All'inferenza, il robot utilizza solo la proprioccezione e il vettore latente basato sulla profondità, senza accesso agli stati reali (ground-truth).

Contributi Chiave

Encoder Temporale tramite Distillazione Privilegiata: Un metodo per inferire stati di palla e avversario rilevanti per il compito direttamente dalle osservazioni di profondità di bordo, consentendo una percezione distribuibile senza stima esplicita dello stato.
Pipeline di Addestramento Consapevole degli Ostacoli: Un curriculum che espone progressivamente il robot a una difficoltà crescente, dal controllo nominale ai bloccanti statici e agli ostacoli simili ad avversari dinamici.
Sistema RL End-to-End: Un framework di policy unificato che integra percezione, controllo dell'equilibrio, gestione della palla ed evitamento dell'avversario, rilasciato come codice open-source.

Risultati Sperimentali
Gli esperimenti sono stati condotti in simulazione utilizzando la piattaforma umanoida Booster T1 e il framework mjlab. La valutazione ha coperto tre condizioni: nessun ostacolo, un singolo ostacolo statico e un singolo avversario dinamico "ball-attacker".

Tassi di Successo: La policy finale ha raggiunto il 100% di successo nella condizione senza ostacoli e il 96% di successo con un ostacolo statico. Il successo è sceso al 46% contro un avversario in movimento attivo.
Modalità di Fallimento: Nello scenario dell'avversario dinamico, le principali modalità di fallimento sono state le cadute (tasso di fallimento del 52%) e le collisioni (tasso di collisione del 68%), indicando che il controllo a ciclo chiuso robusto contro avversari in movimento rimane una sfida.
Percezione e Controllo: Gli errori di tracciamento della velocità sono rimasti stabili tra le condizioni senza ostacoli e con ostacolo statico. Nello scenario dinamico, si sono verificati maggiori errori angolari e vettoriali durante i timestep di "blocco" (quando l'avversario si trovava tra la palla e il target), suggerendo che la policy devia intenzionalmente dal moto comandato della palla per evitare collisioni. Le metriche di percezione (errori di posizione e velocità di palla/ostacolo) sono rimaste relativamente stabili in tutte le condizioni, indicando che il calo di prestazione nello scenario dinamico è dovuto alla difficoltà di controllo piuttosto che al fallimento della percezione.
Ablazione: La rimozione degli stadi del curriculum ha degradato significativamente le prestazioni, in particolare negli scenari con ostacoli, validando la necessità dell'esposizione progressiva alla difficoltà.

Significatività e Rivendicazioni
Il paper sostiene che il framework proposto supporta un dribbling basato sulla visione robusto in contesti nominali e moderatamente dinamici. I risultati dimostrano che è possibile apprendere il dribbling consapevole dell'avversario direttamente dalle osservazioni di profondità senza stima esplicita dello stato. Tuttavia, gli autori sono modesti riguardo allo scenario dinamico, riconoscendo che il dribbling robusto contro un avversario in movimento attivo è ancora un problema aperto. Il lavoro stabilisce una base per gestire scenari di avversari in movimento più impegnativi e delinea una roadmap strutturata per il trasferimento sim-to-real sulla piattaforma Booster T1. Gli autori notano che le evidenze attuali sono limitate dall'ambiente di simulazione e dal numero di policy addestrate indipendentemente.

Articoli simili