💻 computer science

LeRobot: An Open-Source Library for End-to-End Robot Learning

Il paper presenta LeRobot, una libreria open-source che integra l'intero stack di apprendimento robotico, dalla comunicazione hardware di basso livello alla raccolta di dataset su larga scala, per facilitare lo sviluppo di metodi scalabili e riproducibili basati sui dati.

Autori originali: Remi Cadene, Simon Aliberts, Francesco Capuano, Michel Aractingi, Adil Zouitine, Pepijn Kooijmans, Jade Choghari, Martino Russi, Caroline Pascal, Steven Palma, Mustafa Shukor, Jess Moss, Alexander Soa

Pubblicato 2026-02-27

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Remi Cadene, Simon Aliberts, Francesco Capuano, Michel Aractingi, Adil Zouitine, Pepijn Kooijmans, Jade Choghari, Martino Russi, Caroline Pascal, Steven Palma, Mustafa Shukor, Jess Moss, Alexander Soare, Dana Aubakirova, Quentin Lhoest, Quentin Gallouédec, Thomas Wolf

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina il mondo della robotica come un'immensa cucina professionale. Fino a poco tempo fa, per far cucinare un robot, gli chef (gli scienziati) dovevano scrivere ricette manuali, passo dopo passo, per ogni singolo movimento: "prendi il coltello, taglialo qui, gira il polso di 15 gradi". Se il robot si trovava in una cucina diversa o con un coltello leggermente diverso, la ricetta non funzionava più e bisognava riscriverla da capo. Era un lavoro lento, costoso e difficile da scalare.

Oggi, però, stiamo passando a un approccio diverso: invece di dare ricette precise, diamo al robot la possibilità di imparare guardando e facendo, proprio come un apprendista chef che osserva un maestro. Questo è il "Robot Learning".

Il problema? Fino ad ora, ogni chef aveva i suoi utensili, le sue pentole e i suoi quaderni di ricette tutti diversi. Non c'era un modo standard per condividere le esperienze. Se volevi imparare a cucinare un piatto, dovevi comprare il tuo set di pentole specifico e scrivere il tuo quaderno, rendendo impossibile condividere le conoscenze con gli altri.

LeroBot è la soluzione a questo caos. È una libreria open-source (un kit di strumenti gratuito e pubblico) che vuole essere il "coltellino svizzero" definitivo per chi vuole insegnare ai robot a muoversi e agire nel mondo reale.

Ecco come funziona, spiegato con delle metafore semplici:

1. Il "Traduttore Universale" (Middleware Unificato)

Immagina di avere robot di marche diverse: uno è un braccio robotico economico fatto in casa, un altro è un braccio umanoide costoso, un altro ancora è un robot su ruote. Normalmente, parlare con ciascuno di loro richiederebbe un linguaggio diverso, come dover imparare tre lingue straniere diverse per ordinare la pizza.
LeroBot agisce come un traduttore universale. Ti permette di usare lo stesso codice (la stessa "lingua") per comandare qualsiasi robot, dal più semplice al più complesso. Non devi più preoccuparti dei dettagli tecnici del motore; LeroBot si occupa di tradurre i tuoi comandi in azioni per il robot specifico che stai usando.

2. La "Biblioteca delle Ricette" (Dataset Standardizzati)

Prima, i dati raccolti dai robot (video, movimenti, sensori) erano salvati in formati caotici: alcuni in scatole rosse, altri in fogli Excel, altri ancora in file che solo il creatore originale capiva.
Con LeroBot, abbiamo creato un formato standard chiamato LeRobotDataset. Immaginalo come un formato di ricetta universale (tipo un PDF perfetto che tutti possono leggere). Ora, se un ricercatore in Giappone insegna a un robot a prendere una mela, quel "video della lezione" può essere scaricato e usato immediatamente da un ricercatore in Italia, senza dover riscrivere nulla. Questo ha permesso di raccogliere migliaia di "lezioni" (dataset) da tutta la comunità.

3. La "Cucina Remota" (Inferenza Ottimizzata)

I robot reali sono spesso piccoli e hanno computer poco potenti (come un vecchio smartphone), mentre i modelli di intelligenza artificiale moderni sono enormi e richiedono computer giganti (come un supercomputer).
Come fa un piccolo robot a usare un cervello gigante?
LeroBot risolve questo problema con un sistema di cucina remota:

Il robot (il "cameriere") raccoglie quello che vede e lo invia via internet a un server potente (la "cucina centrale").
Il server pensa velocemente, calcola il movimento migliore e lo invia indietro al robot.
Il robot esegue il movimento.
Grazie a un sistema intelligente, il robot non si blocca mai in attesa: mentre esegue un movimento, il server sta già calcolando il successivo. È come se il cameriere fosse sempre un passo avanti, ricevendo ordini mentre sta ancora servendo il piatto precedente.

4. La "Scuola di Cucina" (Algoritmi Pronti all'Uso)

LeroBot non ti dà solo gli utensili, ma ti offre anche ricette già pronte (algoritmi di apprendimento). Se vuoi insegnare a un robot a impilare cubetti, non devi inventare la matematica da zero. Puoi prendere una delle "ricette" già testate dalla comunità (come Diffusion Policy o ACT), caricarle sul tuo robot e iniziare a fare pratica subito. Se vuoi creare la tua ricetta, il sistema è così semplice che puoi farlo con poche righe di codice.

Perché è importante?

Prima, per fare robotica avanzata serviva un team di ingegneri, budget enormi e anni di lavoro. Con LeroBot, chiunque ha un computer e un robot economico (costo di pochi centinaia di euro, come un giocattolo ma intelligente) può unirsi alla comunità, scaricare dati, usare modelli potenti e contribuire a far evolvere la robotica.

In sintesi, LeroBot sta facendo per i robot quello che Hugging Face ha fatto per l'intelligenza artificiale del linguaggio: ha democratizzato l'accesso, creato uno standard comune e permesso a tutti di costruire, imparare e condividere, accelerando il passo verso un futuro in cui i robot saranno parte integrante della nostra vita quotidiana.

1. Il Problema: Frammentazione e Barriere all'Ingresso nel Robot Learning

Il campo del robot learning (apprendimento robotico) sta subendo una trasformazione guidata dai modelli impliciti basati sull'apprendimento automatico, che offrono una scalabilità superiore rispetto ai tradizionali modelli espliciti (cinematica analitica, modellazione dei contatti). Tuttavia, l'ecosistema attuale è gravemente frammentato, il che ostacola la riproducibilità e rallenta il progresso scientifico. Le principali sfide identificate sono:

Middleware Disaggregati: Le interfacce di controllo (middleware) sono spesso specifiche per singoli robot, rendendo difficile l'adattamento e l'integrazione tra diverse piattaforme hardware.
Formati Dati Eterogenei: I dataset sono condivisi in formati disparati (ROS bags, TensorFlow Datasets, JSON personalizzati), impedendo l'aggregazione su larga scala e l'addestramento di modelli fondazionali.
Complessità di Implementazione: Le differenze minori nelle pipeline di addestramento, gestione dei dati e valutazione portano a variazioni significative nei risultati, aggravate dalla variabilità dell'hardware.
Barriere Economiche e Tecniche: L'accesso a robot reali e sistemi di teleoperazione è spesso costoso e chiuso, limitando la ricerca a pochi laboratori ben finanziati.

2. Metodologia: La Libreria LeRobot

Per affrontare queste problematiche, gli autori presentano LeRobot, una libreria open-source che offre uno stack verticale integrato per l'apprendimento robotico end-to-end. La metodologia si basa su cinque pilastri fondamentali:

A. Integrazione Robotica Unificata e Accessibile

LeRobot fornisce un middleware Python unificato che astrae il controllo di basso livello per diverse piattaforme robotiche.

Supporto Hardware: Supporta nativamente piattaforme open-source a basso costo (es. SO-100/101, ALOHA-2, Koch-v1.1, HopeJR, LeKiwi) che costano una frazione dei robot industriali proprietari.
Teleoperazione: Permette di collegare un robot "leader" (teleoperatore) a un robot "follower" tramite un'API comune, facilitando la raccolta di dati di dimostrazione esperta.

B. Dataset Standardizzati: LeRobotDataset

Viene introdotto un formato di dataset multimodale unificato, progettato per la scalabilità.

Struttura: Combina dati tabulari (.parquet) per stati e azioni, video compressi (.mp4) per i feed delle telecamere e metadati leggeri.
Streaming: Implementa StreamingLeRobotDataset, che permette di elaborare dataset di milioni di episodi senza doverli scaricare interamente in memoria, caricando i frame on-demand da storage remoto. Questo riduce drasticamente le barriere all'ingresso per la ricerca.

C. Algoritmi di Apprendimento Efficienti e Riutilizzabili

La libreria include implementazioni ottimizzate in PyTorch degli algoritmi più avanzati (SOTA):

Imitation Learning (BC): Include modelli come ACT (Action Chunking with Transformers), Diffusion Policy, Flow Matching e modelli fondazionali come $\pi_0$ e SmolVLA (Vision-Language-Action).
Reinforcement Learning (RL): Supporta metodi come HIL-SERL e TD-MPC.
Accessibilità: Permette di addestrare modelli da zero o riutilizzare modelli pre-addestrati con poche righe di codice (<100 LOC per l'addestramento, <40 LOC per l'inferenza).

D. Stack di Inferenza Ottimizzato e Asincrono

Una caratteristica chiave è la disaccoppiamento fisico e logico tra la previsione dell'azione e la sua esecuzione.

Disaccoppiamento Fisico: L'inferenza può avvenire su una macchina remota potente (es. server GPU), mentre il robot esegue il controllo a bassa latenza.
Disaccoppiamento Logico: Utilizza uno schema produttore-consumatore asincrono. Il modello predice "chunk" di azioni (sequenze future) in parallelo all'esecuzione del controllo corrente. Le sovrapposizioni vengono gestite da una funzione di aggregazione generalizzata, garantendo una coda di azioni non vuota e un'adattabilità dinamica.

E. Supporto alla Simulazione

Sebbene focalizzata sul mondo reale, LeRobot supporta ambienti di simulazione come LIBERO e Meta-World per il benchmarking sistematico degli algoritmi.

3. Risultati ed Evidenze Sperimentali

Il paper presenta dati empirici che dimostrano l'adozione e l'efficacia della libreria:

Adozione della Comunità: A settembre 2025, sono stati condivisi oltre 16.000 dataset da più di 2.200 contributori, contenenti centinaia di migliaia di episodi.
Diversità delle Piattaforme: Sebbene LeRobot supporti nativamente robot economici (SO-10X), i dati mostrano che anche robot più complessi (come Panda e xArm) vengono portati nel formato LeRobotDataset dalla comunità, evidenziando la flessibilità dello schema.
Performance di Inferenza:
- I modelli più piccoli (es. ACT, 52M parametri) raggiungono frequenze di inferenza di ~100-200Hz su GPU di fascia alta (RTX 4090, A100).
- I modelli fondazionali più grandi (es. $\pi_0$ , 3.5B parametri) richiedono risorse computazionali significative e possono fallire l'inferenza entro 5 secondi su dispositivi consumer, sottolineando le sfide del deployment di modelli fondazionali.
Vantaggi dell'Inferenza Asincrona: I test su task reali (pick-and-place, stacking, sorting) mostrano che l'inferenza asincrona (disaccoppiata) riduce i tempi di completamento del task del ~30% (da 137.5s a 97.0s per 10 episodi) mantenendo tassi di successo comparabili rispetto all'inferenza sincrona.

4. Contributi Chiave

Stack Unificato End-to-End: La prima libreria che integra middleware, raccolta dati, formati dataset, algoritmi di training e stack di inferenza in un'unica soluzione open-source.
Democratizzazione dell'Hardware: Promuove l'uso di robot open-source a basso costo (SO-10X, ALOHA) per la raccolta dati decentralizzata, abbattendo i costi di ingresso.
Standardizzazione dei Dati: Il formato LeRobotDataset e lo strumento di streaming risolvono il problema della frammentazione dei dati, permettendo l'aggregazione di dataset eterogenei.
Inferenza Scalabile: L'architettura di inferenza asincrona permette di eseguire modelli complessi su hardware remoto senza bloccare il ciclo di controllo del robot.

5. Significato e Impatto

LeRobot rappresenta un passo significativo verso la standardizzazione e la democratizzazione del robot learning.

Riproducibilità: Fornisce una base comune per ricercatori e praticanti, riducendo il "rumore" ingegneristico e permettendo di concentrarsi sulla ricerca scientifica.
Scalabilità: Abilita l'addestramento di modelli fondazionali robotici su larga scala, sfruttando la crescita esponenziale dei dati raccolti tramite teleoperazione decentralizzata.
Accessibilità: Rende la robotica avanzata accessibile a laboratori con budget limitati, favorendo un ecosistema di ricerca più inclusivo e innovativo.

In sintesi, LeRobot non è solo una libreria software, ma un'infrastruttura abilitante che mira a colmare il divario tra la ricerca teorica sull'apprendimento robotico e il suo deployment pratico nel mondo reale, accelerando il passaggio da sistemi robotici rigidi e costosi a sistemi adattivi, scalabili e basati sui dati.