💻 computer science

RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation

Il paper introduce RoboCOIN, un vasto dataset open-source di oltre 180.000 dimostrazioni di manipolazione bimanuale raccolte da 15 piattaforme robotiche diverse in 16 ambienti, arricchito da annotazioni gerarchiche e da una pipeline di elaborazione dati chiamata CoRobot per migliorare le prestazioni dei modelli di manipolazione su diversi corpi robotici.

Autori originali: Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Runtian Xu, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang

Pubblicato 2026-04-15

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Shihan Wu, Xuecheng Liu, Shaoxuan Xie, Pengwei Wang, Xinghang Li, Bowen Yang, Zhe Li, Kai Zhu, Hongyu Wu, Yiheng Liu, Zhaoye Long, Runtian Xu, Yue Wang, Chong Liu, Dihan Wang, Ziqiang Ni, Xiang Yang, You Liu, Ruoxuan Feng, Lei Zhang, Denghang Huang, Chenghao Jin, Anlan Yin, Xinlong Wang, Zhenguo Sun, Junkai Zhao, Mengfei Du, Mingyu Cao, Xiansheng Chen, Hongyang Cheng, Xiaojie Zhang, Yankai Fu, Ning Chen, Cheng Chi, Sixiang Chen, Huaihai Lyu, Xiaoshuai Hao, Yequan Wang, Bo Lei, Dong Liu, Xi Yang, Yance Jiao, Tengfei Pan, Yunyan Zhang, Songjing Wang, Ziqian Zhang, Xu Liu, Ji Zhang, Caowei Meng, Zhizheng Zhang, Jiyang Gao, Song Wang, Xiaokun Leng, Zhiqiang Xie, Zhenzhen Zhou, Peng Huang, Wu Yang, Yandong Guo, Yichao Zhu, Suibing Zheng, Hao Cheng, Xinmin Ding, Yang Yue, Huanqian Wang, Chi Chen, Jingrui Pang, YuXi Qian, Haoran Geng, Lianli Gao, Haiyuan Li, Bin Fang, Gao Huang, Yaodong Yang, Hao Dong, He Wang, Hang Zhao, Yadong Mu, Di Hu, Hao Zhao, Tiejun Huang, Shanghang Zhang, Yonghua Lin, Zhongyuan Wang, Guocai Yao

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di voler insegnare a un robot come fare le cose in casa, come piegare una maglietta o preparare un caffè. Il problema è che i robot sono come bambini: se imparano solo da un "genitore" (un tipo specifico di robot), faranno fatica a capire le istruzioni se cambiano il "genitore" (un altro tipo di robot).

Ecco la storia di RoboCOIN, un progetto rivoluzionario descritto in questo documento, spiegato in modo semplice.

1. Il Problema: Troppi Robot, Troppi Lingue

Finora, per insegnare ai robot a usare due mani (come noi umani), gli scienziati raccoglievano dati da un solo tipo di robot alla volta. È come se volessi insegnare a guidare a un bambino mostrandogli solo come si guida una Fiat Panda. Se poi gli dai le chiavi di una Ferrari o di un Furgone, il bambino andrà in panico perché le dimensioni, i pedali e i comandi sono diversi.

Nel mondo dei robot, ogni modello ha "braccia", "mani" e "occhi" diversi. Questo rendeva difficile creare un'intelligenza artificiale che potesse funzionare su qualsiasi robot.

2. La Soluzione: La "Biblioteca Universale" (RoboCOIN)

I ricercatori hanno creato RoboCOIN. Immaginalo non come un semplice database, ma come una grande biblioteca di esperienze umane raccolta da 15 robot diversi.

Chi sono i robot? Hanno usato robot a due braccia (come braccia meccaniche), robot "mezzo-umani" (con la testa e le braccia) e robot completamente umani (con le mani vere).
Cosa hanno fatto? Hanno chiesto a persone reali di guidare questi robot (come se fossero dei burattinai) per compiere 421 compiti diversi (dall'aprire un cassetto al cucinare) in 16 ambienti (cucina, fabbrica, ufficio).
Il risultato: Hanno raccolto oltre 180.000 dimostrazioni. È come se avessero filmato milioni di ore di video di persone che fanno cose con due mani, ma su robot di marche diverse.

3. L'Innovazione Magica: La "Piramide delle Abilità"

Non basta solo guardare il video. Se guardi un video di qualcuno che fa un caffè, vedi solo il movimento finale. RoboCOIN aggiunge una mappa mentale a ogni video, chiamata Piramide delle Abilità. Immagina di dividere un compito in tre livelli:

Livello Alto (La Visione): "Stiamo preparando la colazione." (Cosa stiamo facendo nel complesso?)
Livello Medio (I Passaggi): "Prima prendi la tazza, poi versa il latte, poi metti lo zucchero." (Quali sono i sotto-compiti?)
Livello Basso (I Dettagli): "Muovi la mano a destra, veloce, poi rallenta." (Come si muovono esattamente i muscoli/braccia?)

Questa struttura permette al robot di capire non solo cosa fare, ma come farlo, passo dopo passo, indipendentemente dal fatto che abbia due braccia corte o due braccia lunghe.

4. Il Controllore di Qualità: RTML

A volte, quando le persone guidano i robot, fanno errori o movimenti goffi. Per pulire questi dati, hanno creato un "controllore di qualità" chiamato RTML.
Immagina RTML come un istruttore di guida molto severo. Se un robot guida troppo veloce, fa una curva troppo stretta o si ferma nel punto sbagliato, l'istruttore dice: "No, questo movimento non vale, buttalo via!".
Grazie a questo filtro, hanno scartato circa il 35% dei dati "spazzatura", assicurandosi che il robot impari solo dai movimenti perfetti.

5. I Risultati: Robot che Imparano a Volare

Hanno testato questo sistema su robot che non avevano mai visto prima.

Senza RoboCOIN: I robot fallivano spesso, specialmente nei compiti difficili che richiedevano di usare due mani insieme (come passare un oggetto da una mano all'altra).
Con RoboCOIN: I robot sono diventati molto più bravi. In alcuni casi, la loro capacità di successo è aumentata del 200%. Hanno imparato a generalizzare: se imparano a fare un compito su un robot, sanno farlo anche su un robot diverso, perché hanno capito la logica dietro il movimento, non solo la forma specifica delle braccia.

In Sintesi

RoboCOIN è come un corso di guida universale. Invece di insegnare a un robot a guidare solo la sua auto specifica, gli dai un libro di teoria che spiega le regole della strada, i segnali e la logica della guida, basato su milioni di esperienze di guida fatte su auto diverse.

Grazie a questo progetto, i robot non sono più "specialisti" di un solo modello, ma stanno diventando generalisti, pronti a lavorare in case, fabbriche e ospedali, indipendentemente dal fatto che siano costruiti da un'azienda o da un'altra. E la cosa più bella? È tutto gratuito e aperto a tutti i ricercatori del mondo.

Titolo: RoboCOIN: Un Dataset Open-Source Bimanuale per la Manipolazione Robotica Integrata

1. Il Problema

La manipolazione bimanuale (l'uso coordinato di due bracci robotici) è fondamentale per permettere ai robot di eseguire compiti complessi simili a quelli umani in ambienti non strutturati. Tuttavia, la ricerca in questo settore è ostacolata da tre carenze principali:

Scarsità di Dati: Esistono pochi dataset su larga scala e diversificati specifici per la manipolazione bimanuale.
Eterogeneità Hardware: Le piattaforme robotiche bimanuali variano notevolmente (dai robot a doppio braccio ai robot umanoidi), rendendo difficile raccogliere dati unificati e generalizzabili.
Mancanza di Struttura: I dataset esistenti spesso forniscono solo traiettorie di basso livello, trascurando la struttura gerarchica del processo di manipolazione (concetti globali, sottocompiti, dettagli cinematici), il che limita la capacità dei modelli di ragionare e generalizzare.

2. Metodologia

Per colmare queste lacune, gli autori hanno sviluppato RoboCOIN, un dataset su larga scala e multi-embodiment, supportato da una pipeline di elaborazione dati chiamata CoRobot.

A. Il Dataset RoboCOIN

Scala e Diversità: Comprende oltre 180.000 dimostrazioni raccolte da 15 piattaforme robotiche distinte. Queste includono robot a doppio braccio, robot semi-umanoidi e robot umanoidi completi.
Ambienti e Compiti: I dati coprono 16 scenari reali (residenziali, commerciali, industriali) e 421 compiti bimanuali strutturati.
Tassonomia: I compiti sono classificati in base al livello di collaborazione (bassa vs. alta collaborazione) e alla flessibilità degli oggetti (rigidi, articolati, deformabili).
Raccolta Dati: I dati sono stati acquisiti tramite teleoperazione umana (bracci isomorfi, esoscheletri, motion capture) per garantire alta qualità e diversità, con annotazioni linguistiche dettagliate.

B. La Piramide delle Capacità Gerarchiche (Hierarchical Capability Pyramid)
Una delle innovazioni chiave è l'annotazione gerarchica a tre livelli, progettata per facilitare l'apprendimento strutturale:

Livello Traiettoria (Trajectory-level): Descrive concetti globali, la configurazione della scena e gli obiettivi del compito per la pianificazione olistica.
Livello Segmento (Segment-level): Scompone il compito in sottocompiti eseguibili con allineamento temporale, facilitando il ragionamento strutturato e la gestione degli errori.
Livello Frame (Frame-level): Fornisce dettagli cinematici densi per ogni fotogramma (velocità, accelerazione, stato delle pinze), abilitando il controllo preciso.

C. Pipeline CoRobot e RTML
Per gestire la complessità dei dati multi-embodiment, è stata sviluppata CoRobot, una pipeline che include:

RTML (Robot Trajectory Markup Language): Un linguaggio di markup specifico per il dominio (basato su YAML) che definisce vincoli standardizzati per la qualità delle traiettorie (stabilità del movimento, consistenza della posa, efficienza). Un valutatore RTML filtra automaticamente le traiettorie di bassa qualità.
Pipeline di Annotazione: Combina rilevatori open-vocabulary, modelli linguistici (LLM) e regole umane per generare automaticamente annotazioni gerarchiche.
Interfaccia Robotica Unificata: Estende il framework LeRobot per fornire un controllo unificato e una gestione dei dati coerente tra diverse piattaforme hardware.

3. Risultati Sperimentali

Gli autori hanno valutato l'efficacia di RoboCOIN su modelli VLA (Vision-Language-Action) come $\pi0$ e GR00T N1.5, sia in simulazione (RoboTwin 2.0) che nel mondo reale.

Miglioramento Multi-Embodiment: L'addestramento su RoboCOIN ha portato a miglioramenti significativi nella generalizzazione su robot non visti durante l'addestramento:
- Su ARX-X5: miglioramento relativo del 75,7% nel successo medio.
- Su Franka Emika Panda: miglioramento relativo del 212,9%.
- I compiti ad alta collaborazione hanno beneficiato in modo particolare, trasformando compiti precedentemente impossibili (successo 0%) in fattibili.
Impatto della Piramide Gerarchica: L'uso delle annotazioni gerarchiche ha migliorato le prestazioni in distribuzione (ID) del 53,6% e fuori distribuzione (OOD, con variazioni di luce e oggetti) del 155,6%, dimostrando una maggiore robustezza.
Qualità dei Dati (RTML): Il filtro RTML ha rimosso il 35,3% delle traiettorie di bassa qualità. L'uso di dati filtrati con vincoli di fase specifici ha portato a un miglioramento delle prestazioni del modello del 22,2% rispetto all'uso di dati grezzi.

4. Contributi Chiave

Dataset Su Larga Scala: Introduzione di RoboCOIN, il più grande dataset open-source multi-embodiment per la manipolazione bimanuale, con 180k+ dimostrazioni e 15 piattaforme.
Struttura Gerarchica: Proposta di una "Piramide delle Capacità" che collega la comprensione concettuale di alto livello al controllo cinematico di basso livello.
Pipeline di Elaborazione (CoRobot): Sviluppo di un ecosistema completo che include RTML per il controllo qualità, annotazione automatica e un'interfaccia unificata per la gestione dei dati.
Validazione Estensiva: Dimostrazione empirica che i dati strutturati e di alta qualità migliorano drasticamente la generalizzazione e la robustezza dei modelli robotici.

5. Significato e Impatto

RoboCOIN rappresenta un passo avanti fondamentale per la robotica bimanuale. Risolvendo il problema della frammentazione dei dati e della mancanza di struttura, fornisce una risorsa essenziale per addestrare modelli di intelligenza artificiale capaci di ragionare su compiti complessi e adattarsi a diverse piattaforme hardware. La disponibilità open-source del dataset e degli strumenti (installabile tramite pip install robocoin) democratizza l'accesso a dati di alta qualità, accelerando lo sviluppo di robot autonomi in grado di operare in ambienti reali complessi, dalle case alle fabbriche.