💻 computer science

UMI-Bench 1.0: An Open and Reproducible Real-World Benchmark for Tabletop Robotic Manipulation with UMI Data

Questo articolo introduce UMI-Bench 1.0, il primo benchmark aperto e riproducibile del mondo reale progettato per standardizzare la valutazione delle policy in stile Universal Manipulation Interface (UMI) unificando la raccolta dati, il reset della scena, l'esecuzione e l'analisi all'interno di un unico protocollo verificabile.

Autori originali: Shi Jin, Yuntian Wang, Yuhui Duan, Di Wu, Gaoqi Dong, Xiaohang Liu, Xiaotong Li, Hongfei Jia, Zehao Zhang, Tianyu Wang, Zhongjie Jia, Yuanqi Yao, Chenjia Bai, Zhaxizhuoma, Siao Liu, Nieqing Cao, Jin W

Pubblicato 2026-06-10

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Shi Jin, Yuntian Wang, Yuhui Duan, Di Wu, Gaoqi Dong, Xiaohang Liu, Xiaotong Li, Hongfei Jia, Zehao Zhang, Tianyu Wang, Zhongjie Jia, Yuanqi Yao, Chenjia Bai, Zhaxizhuoma, Siao Liu, Nieqing Cao, Jin Wang, Chao Yu, Yan Ding

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di insegnare a un robot come piegare il bucato, impilare tazze o versare dei fagioli. Gli hai mostrato migliaia di video di esseri umani che svolgono questi compiti. Ma quando metti effettivamente il robot in una vera cucina, potrebbe inciampare in un'ombra, far cadere una tazza perché l'illuminazione è leggermente diversa o confondersi se la tazza è blu invece che rossa.

Per molto tempo, gli scienziati hanno testato i loro robot nei videogiochi (simulazioni) o con configurazioni molto specifiche e perfette. Ma come spiega il paper, le simulazioni sono come guidare un'auto in un videogioco: puoi imparare le regole, ma non hai sentito il vento, la strada scivolosa o la sorpresa di uno scoiattolo che corre attraverso la strada.

Questo paper introduce UMI-Bench 1.0, che è essenzialmente un "esame di guida" standardizzato per i robot del mondo reale.

Ecco una suddivisione di ciò che hanno fatto, utilizzando analogie semplici:

1. Il Problema: La "Ricetta" vs La "Cucina"

Gli autori hanno notato che molti sistemi di apprendimento robotico utilizzano un modo specifico di raccogliere dati chiamato UMI (Universal Manipulation Interface). Pensa a UMI come a un tipo specifico di libro di ricette dove le istruzioni sono scritte dagli occhi del robot stesso (una telecamera sul suo polso) e dalle sue "mani" (la pinza).

Il problema era che, sebbene tutti usassero questo "libro di ricette" per addestrare i robot, non li stavano testando nella stessa "cucina".

Un team potrebbe testare su un tavolo con un tappetino rosso.
Un altro potrebbe testare con un tappetino blu e un'illuminazione diversa.
Un terzo potrebbe resettare gli oggetti in un punto leggermente diverso.

Se il Robot A fallisce e il Robot B ha successo, è perché il Robot B è più intelligente? O è solo perché il Robot B è stato fortunato con il tappetino rosso? Non c'era un modo equo per confrontarli.

2. La Soluzione: Un "Esame di Guida" Standardizzato

Gli autori hanno costruito UMI-Bench 1.0. Immagina questo come un centro per l'esame di guida rigorosamente regolamentato dove ogni singola auto (robot) affronta esattamente le stesse condizioni.

La Stessa Pista: Hanno costruito un tavolo specifico con una griglia sopra (come un enorme tabellone da gioco). Ogni robot deve iniziare con gli oggetti esattamente negli stessi punti.
La Stessa Telecamera: Ogni robot deve guardare il mondo attraverso una telecamera montata sul proprio polso, proprio come nei dati di addestramento. Niente viste in "terza persona" (come una telecamera di sicurezza che guarda dall'alto).
Le Stesse Regole: Hanno creato 10 compiti specifici, che vanno dai più semplici ai più complessi.
- Semplice: Impilare tre cesti.
- Medio: Versare dei fagioli da una tazza in un cesto usando due mani.
- Difficile: Piegare un paio di pantaloni o smistare tessere di mahjong.
Gli Elementi di "Sorpresa": Per testare se il robot è davvero intelligente o se ha solo memorizzato il test, hanno cambiato le cose.
- Fattore A (Il "Nuovo Outfit"): Hanno sostituito gli oggetti con colori o forme diverse (ad esempio, una palla verde invece di una rossa).
- Fattore B (La "Nuova Posizione"): Hanno spostato gli oggetti in punti diversi sulla griglia.

3. Come lo hanno Testato

Hanno preso tre diversi "studenti" robot (modelli di IA chiamati π0, π0.5 e DreamZero) e li hanno fatti passare attraverso questo test standardizzato 50 volte per ogni compito.

Non si sono limitati a chiedere: "Ha completato il compito?" (Sì/No). Li hanno valutati come un insegnante che corregge un compito di matematica:

Successo Completo: Ha ottenuto un A+? (Impilato perfettamente, nessuna fuoriuscita).
Punteggio di Progresso: Ha ottenuto un credito parziale? (Ha raccolto la tazza, ma ha versato alcuni fagioli).

4. Cosa hanno Scoperto (La Pagella)

I risultati sono stati rivelatori:

Le "Buone Notizie": Quando il robot affrontava l'esatta configurazione su cui era stato addestrato, se la cavava piuttosto bene. Poteva gestire le condizioni "Viste" (Seen).
Le "Brutte Notizie": Quando il robot affrontava una nuova posizione (Fattore B), faticava molto di più rispetto a quando affrontava un nuovo oggetto (Fattore A).
- Analogia: È come uno studente che può risolvere un problema di matematica perfettamente se i numeri sono nello stesso ordine, ma si confonde completamente se sposti i numeri in una pagina diversa. I robot si affidano pesantemente al memorizzare dove si trovano le cose, piuttosto che comprendere la geometria del compito.
I Compiti Più Difficili: I compiti che richiedevano lunghe catene di azioni (come riorganizzare un intero scaffale della cucina) o una tempistica molto delicata (prendere una lattina su un piatto girevole) erano estremamente difficili. Tutti i robot fallivano quasi il 100% delle volte.

5. Perché Questo è Importante

Il paper sostiene che dobbiamo smettere di confrontare i robot in base a "chi ha fatto meglio nel proprio laboratorio privato".

UMI-Bench 1.0 è come un esame nazionale standardizzato. Permette ai ricercatori di dire: "Ok, il Robot A è più bravo a piegare i vestiti, ma il Robot B è più bravo a versare i liquidi", con la certezza che la differenza sia dovuta al cervello del robot, non all'illuminazione della stanza.

Non sostiene che i robot siano pronti a sostituire gli umani nelle vostre case oggi stesso. Inveve, fornisce il righello di cui abbiamo bisogno per misurare quanto siamo lontani da quell'obiettivo, assicurando che quando diciamo che un robot sta "imparando", stiamo misurando una reale abilità nel mondo reale, non solo trucchi di simulazione.

Sintesi Tecnica: UMI-Bench 1.0

Problema

Sebbene i modelli Vision-Language-Action (VLA) abbiano progredito rapidamente nella manipolazione robotica, la loro valutazione su robot fisici rimane una sfida. Gli esistenti benchmark nel mondo reale (ad es. RoboChallenge, RoboArena, ManipArena) spesso non tengono conto del particolare accoppiamento richiesto dalle policy in stile Universal Manipulation Interface (UMI). Le policy UMI si basano su un'integrazione stretta tra osservazioni con vista dal polso (wrist-view), rappresentazioni dell'azione, metodi di raccolta dati e deployment fisico. Quando i protocolli di valutazione variano nella configurazione hardware, nel posizionamento della telecamera, nelle procedure di reset della scena o nelle interfacce di azione, le differenze di prestazione possono riflettere il rumore di valutazione piuttosto che la capacità del modello. Inoltre, le specifiche informali della scena ostacolano un'analisi dei fallimenti affidabile, rendendo difficile distinguere tra deficit di generalizzazione a livello di oggetto, di ragionamento spaziale o di instabilità di esecuzione. Manca un benchmark standardizzato e riproducibile che allinei la raccolta dati UMI con la valutazione del deployment nel mondo reale.

Metodologia

UMI-Bench 1.0 affronta questa lacuna stabilendo un benchmark real-robot end-to-end, "local-first", progettato specificamente per le policy di manipolazione con vista dal polso in stile UMI. La metodologia è strutturata attorno a un protocollo unificato che collega la raccolta dati, la specifica della scena e l'esecuzione della valutazione.

1. Infrastruttura Standardizzata

Piattaforma Hardware: Il benchmark utilizza una postazione di lavoro da tavolo fissa (1,2 m x 1,0 m) dotata di un braccio robotico standardizzato, una pinza e una telecamera RGB montata sul polso (1280x1280 a 100 FPS). Una griglia in acrilico trasparente con celle da 5 cm fornisce un riferimento ripetibile per il reset degli oggetti e la registrazione dei metadati, visibile agli operatori ma non assunto come decodificabile dalla policy.
Interfaccia di Osservazione: Le policy vengono valutate rigorosamente utilizzando osservazioni RGB dalla vista del polso (opzionalmente con propriocezione). Le telecamere in terza persona sono escluse dagli input della policy per mantenere l'allineamento con le assunzioni di addestramento UMI.
Pipeline Data-to-Evaluation: Il sistema collega un workflow di raccolta dati standardizzato (utilizzando FastUMI Pro) con un runner di valutazione unificato. Ciò garantisce che la distribuzione di addestramento e la distribuzione di test siano confrontabili, con metadati espliciti che collegano gli episodi a specifici fattori del compito.

2. Suite di Compiti e Design della Generalizzazione

Il benchmark comprende 10 compiti da tavolo nel mondo reale: 4 compiti a braccio singolo e 6 compiti bimanuali. Questi compiti coprono una gamma di abilità di manipolazione che includono l'allineamento spaziale, la manipolazione di contenitori articolati, l'uso di strumenti, la coordinazione bimanuale, la presa dinamica, la classificazione semantica, la piegatura di oggetti deformabili e il riarrangiamento a lungo termine (long-horizon).

Per diagnosticare la generalizzazione, ogni compito è valutato sotto una tassonomia di shift a due fattori:

Fattore A (Shift di Oggetto/Aspetto): Introduce istanze di oggetti, aspetti, categorie o combinazioni precedentemente non visti (ad es. diversi colori, materiali o tipi di oggetti).
Fattore B (Shift di Layout/Dinamica): Introduce posizioni, layout, pose o dinamiche di compito precedentemente non visti (ad es. diverse posizioni sulla griglia, velocità del piatto rotante o orientamenti degli oggetti).

Ciò crea quattro celle di valutazione per compito: Visto/Visto, Visto/Non Visto (Fattore A), Non Visto/Visto (Fattore B) e Non Visto/Non Visto. Il benchmark include circa 20.000 dimostrazioni attraverso 10 compiti e 50 episodi di valutazione per compito.

3. Protocollo di Valutazione e Metriche

Punteggio: La valutazione si basa sullo stato fisico finale stabile del rollout. Vengono riportate due metriche primarie:
- Full Success Rate (FSR): La frazione di episodi che soddisfano simultaneamente tutti i sottogiochi critici per il compito.
- Progress Score: Un punteggio di credito parziale da 0 a 100 basato su sottogiochi specifici del compito (ad es. presa, sollevamento, posizionamento, stabilizzazione).
Generalization Gap: Definito come $\Delta_{gen} = S_{seen} - S_{unseen}$ , calcolato separatamente per il Fattore A e il Fattore B per distinguere tra fallimenti di oggetto/aspetto e fallimenti spaziali/dinamici.
Riproducibilità: Il protocollo include checklist dettagliate per il reset della scena, il logging e la valutazione umana per garantire l'auditabilità.

Contributi Chiave

Primo Benchmark Dedicato a UMI: UMI-Bench 1.0 è il primo benchmark dedicato alla valutazione nel mondo reale di modelli di manipolazione basati su UMI, affrontando il disallineamento tra la raccolta dati UMI e il deployment fisico.
Protocollo di Valutazione Unificato: Standardizza l'intera pipeline, dalla raccolta dati alla registrazione dei risultati, riducendo la variazione in hardware, osservazioni e reset della scena per garantire confronti riproducibili.
Analisi Strutturata della Generalizzazione: Organizzando le condizioni non viste in shift di oggetto/aspetto (Fattore A) e spaziali/dinamici (Fattore B), il benchmark consente una diagnosi interpretabile dei fallimenti della policy.
Suite di Compiti Esaustiva: Fornisce un set diversificato di 10 compiti (inclusi la manipolazione bimanuale e di oggetti deformabili) con circa 20.000 dimostrazioni ed episodi di valutazione standardizzati.

Risultati Sperimentali

Gli autori hanno valutato tre modelli allo stato dell'arte: $\pi_0$ , $\pi_0.5$ e DreamZero.

Prestazioni Complessive: $\pi_0.5$ ha ottenuto il più alto Progress Score medio complessivo (55,84), superando $\pi_0$ (48,90) e DreamZero (40,59). $\pi_0.5$ si è classificato primo in sei dei dieci compiti, dimostrando robustezza sia in contesti a braccio singolo che bimanuali.
Punti di Forza Specifici per Compito:
- $\pi_0$ ha performato meglio nei compiti di posizionamento a braccio singolo (T1, T2).
- DreamZero ha mostrato prestazioni competitive nel timbro mediato da strumento (T3) e nel trasporto cooperativo (T6), ma è rimasto indietro in media.
- Tutti i modelli hanno ottenuto uno 0% di Full Success Rate su T3 (Timbro Mediato da Strumento) e T9 (Riarrangiamento a Lungo Termine), evidenziando le attuali limitazioni nella stima delle fasi a lungo termine e nella precisione del posizionamento finale.
Tendenze di Generalizzazione: Il degrado delle prestazioni è stato significativamente più severo sotto gli shift del Fattore B (spaziali/dinamici) rispetto agli shift del Fattore A (oggetto/aspetto). Il punteggio medio è sceso da 59,62 (Visto/Visto) a 45,33 (Fattore B) e 40,19 (Shift combinati). Ciò suggerisce che le attuali policy si affidano pesantemente a prior much (prior di movimento) allineati alle dimostrazioni e faticano quando la geometria o la dinamica rilevanti per il compito cambiano.
Osservazioni sulla Latenza: DreamZero ha mostrato una latenza di inferenza significativamente più alta (1630 ms) rispetto a $\pi_0$ e $\pi_0.5$ , il che può contribuire alle sue scarse prestazioni su compiti dinamici come T7 (Pick-and-Place Dinamico).

Significato e Rivendicazioni

L'articolo sostiene che UMI-Bench 1.0 fornisca un'infrastruttura pratica per misurare e diagnosticare le policy di manipolazione nel mondo reale. Trattando la raccolta dati, la specifica della scena e la valutazione come un unico protocollo accoppiato, rende esplicito e analizzabile il rapporto tra le distribuzioni di addestramento e quelle di test.

Gli autori sottolineano che il benchmark è progettato per lo sviluppo iterativo dei modelli all'interno di un paradigma specifico di dati e deployment (local-first, vista dal polso), piuttosto che per sostituire le piattaforme robotiche remote. I risultati indicano che, sebbene le policy mantengano la capacità quando le distribuzioni di addestramento e valutazione sono allineate, rimangono lacune significative nella gestione degli shift spaziali e della pianificazione a lungo termine. Il benchmark mira a facilitare l'identificazione di questi specifici modi di fallimento, guidando i futuri miglioramenti nelle strategie di raccolta dati e nelle architetture dei modelli per l'apprendimento robotico scalabile.