RoboCasa365: A Large-Scale Simulation Framework for Training and Benchmarking Generalist Robots

Il paper presenta RoboCasa365, un ampio framework di simulazione basato su 365 compiti quotidiani in 2.500 ambienti cucina diversi e oltre 2.200 ore di dati dimostrativi, progettato per valutare e migliorare le politiche dei robot generalisti attraverso esperimenti sistematici su apprendimento multi-task, modelli fondazionali e apprendimento continuo.

L'essenziale

Immagina di voler insegnare a un robot a cucinare, pulire e gestire una casa come farebbe un umano. Sembra un'idea da film di fantascienza, ma gli scienziati ci stanno lavorando sodo. Il problema è che per imparare, un robot ha bisogno di esperienza: deve vedere migliaia di persone fare le cose, sbagliare, correggersi e ripetere i gesti.

Fino a poco tempo fa, raccogliere questa esperienza nel mondo reale era come cercare di riempire un oceano con un cucchiaino: costava troppo, richiedeva anni e i robot si rompevano spesso.

Ecco che entra in gioco RoboCasa365, presentato in questo documento. È come se gli scienziati avessero costruito un "mondo virtuale perfetto" per addestrare i robot, un gigantesco parco giochi digitale dove i robot possono vivere 1000 vite in un solo giorno.

Ecco come funziona, spiegato con parole semplici:

1. Il Laboratorio Infinito (Le 2.500 Cucine)

Immagina di voler insegnare a un bambino a cucinare. Se lo porti sempre nella tua cucina, imparerà solo dove sono i tuoi utensili. Se poi lo metti nella cucina di un amico, si perderà.
RoboCasa365 risolve questo creando 2.500 cucine diverse.

• Alcune sono piccole e strette, altre enormi.
• In una il frigorifero è a sinistra, in un'altra a destra.
• I colori delle pareti, la disposizione dei mobili e gli oggetti cambiano ogni volta.
  È come se il robot potesse visitare 2.500 case diverse in un solo pomeriggio, imparando che "il frigorifero" non è sempre nello stesso posto, ma è un concetto che si adatta a ogni ambiente.

2. Il Libretto di Ricette (I 365 Compiti)

Non si tratta solo di cucinare. Il framework include 365 compiti quotidiani, uno per ogni giorno dell'anno.

• Semplici: Come aprire un cassetto o accendere un tostapane.
• Complessi: Come preparare un panino completo (prendere il pane, aprire il frigo, prendere la salsiccia, scaldarla, metterla nel pane) o pulire i piatti dopo una cena.
  Questi compiti sono divisi in "piccoli passi" (come afferrare, girare, spostare) che il robot deve imparare a combinare, proprio come un musicista che imprima note singole per suonare una sinfonia.

3. Il Maestro e l'AI (I Dati)

Per insegnare al robot, servono delle dimostrazioni. Qui il progetto è geniale perché usa due metodi:

• Il Maestro Umano: Hanno assunto persone reali per guidare un robot a distanza (teleoperazione) e fare questi compiti. Hanno registrato oltre 600 ore di video. È come avere un video di un chef che ti insegna passo dopo passo.
• L'AI che Immagina: Usando un'intelligenza artificiale chiamata MimicGen, hanno preso quelle poche ore di video umane e le hanno "moltiplicate" per creare 1.600 ore di dati sintetici. Immagina di prendere un video di qualcuno che versa il latte e dire all'AI: "Ora fallo con un latte diverso, in una tazza diversa, su un tavolo diverso". L'AI crea milioni di variazioni, dando al robot un'esperienza vastissima senza che nessuno debba muovere un dito.

4. La Prova del Fuoco (I Risultati)

Gli scienziati hanno usato questo sistema per testare i robot più intelligenti del mondo. Hanno scoperto tre cose fondamentali:

1. Più è vario, meglio è: Un robot addestrato su molte cucine diverse e molti compiti diversi diventa molto più bravo a gestire situazioni nuove rispetto a uno addestrato solo su una cucina perfetta.
2. L'allenamento preliminare è tutto: Se fai "studiare" al robot un sacco di compiti generici prima di insegnargli il compito specifico (come un atleta che fa ginnastica generale prima di specializzarsi nel tennis), impara molto più velocemente e con meno errori.
3. Il problema della memoria: Quando si insegna a un robot una nuova abilità, tende a dimenticare quella vecchia (come quando impari una nuova lingua e inizi a confondere le parole della precedente). RoboCasa365 aiuta a studiare come risolvere questo problema.

In Sintesi

RoboCasa365 è come una scuola di robotica universale. Invece di far viaggiare i robot nel mondo reale (dove sono lenti e costosi), li manda in un universo virtuale dove possono commettere milioni di errori, imparare da 2.500 case diverse e 365 compiti diversi, tutto in un batter d'occhio.

L'obiettivo finale? Creare un "robot generalista", un assistente domestico capace di entrare in qualsiasi casa, capire come è fatta e aiutarti a cucinare, pulire o riordinare, proprio come farebbe un umano. Questo documento ci dice che siamo sulla strada giusta, ma che la strada è ancora lunga e piena di sfide da superare.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper RoboCasa365: A Large-Scale Simulation Framework for Training and Benchmarking Generalist Robots, pubblicato come articolo di conferenza all'ICLR 2026.

1. Il Problema

Nonostante i recenti progressi nell'apprendimento robotico verso robot "generalisti" capaci di eseguire compiti quotidiani in ambienti umani, la comunità scientifica affronta due ostacoli principali:

1. Mancanza di dati diversificati: I dataset esistenti, sebbene in crescita, sono limitati nella diversità dei compiti e nella copertura degli ambienti, rendendo difficile addestrare politiche robuste e generalizzabili.
2. Difficoltà di valutazione sistematica: La valutazione e il benchmarking nel mondo reale sono costosi, lenti e soggetti a rumore sperimentale, rendendo difficile il confronto riproducibile tra diversi metodi.
   I framework di simulazione attuali spesso si concentrano su scenari semplici (es. manipolazione su tavolo) o ambienti a singola stanza, non riuscendo a catturare la complessità e la varietà delle case reali.

2. Metodologia e Architettura di RoboCasa365

RoboCasa365 è un framework di simulazione su larga scala costruito sopra la piattaforma RoboCasa, progettato per colmare il divario tra ricerca e realtà. Si compone di quattro pilastri fondamentali:

• Asset e Ambienti Diversificati:

  • Oggetti: Oltre 3.200 oggetti 3D di alta qualità, inclusi 57 nuove categorie (es. elettrodomestici specifici, ingredienti) oltre ai 2.509 esistenti.
  • Elettrodomestici Interattivi: Espansione da 20 a 456 istanze di elettrodomestici articolati (frigoriferi, forni, lavastoviglie, frullatori, tostapane, ecc.), tutti modellati come oggetti MJCF con regioni di interazione annotate.
  • Scenari: 2.500 cucine uniche generate combinando 50 layout (basati su case reali su Zillow.com) e 50 stili decorativi distinti. Questi sono divisi in un set di pretraining (2.500 scene) e un set di target (10 scene) per la valutazione.

• Suite di Compiti (365 Task):

  • Il benchmark include 365 compiti quotidiani: 65 compiti atomici (abilità singole come aprire un cassetto) e 300 compiti compositi (sequenze di abilità).
  • I compiti coprono 60 attività diverse (preparazione bevande, cottura, pulizia, organizzazione) e richiedono ragionamento semantico, temporale e pianificazione a lungo termine (long-horizon).
  • 220 compiti richiedono manipolazione mobile (navigazione + braccio robotico).

• Dataset su Larga Scala:

  • Dati Umani: Oltre 600 ore di dimostrazioni umane (612 ore nel totale, con 30.000 dimostrazioni per il pretraining e 25.000 per il target) raccolte tramite teleoperazione su un robot Franka Panda con base mobile.
  • Dati Sintetici: Oltre 1.600 ore di dati generati sinteticamente utilizzando lo strumento MimicGen, che scala le dimostrazioni umane di 100 volte, portando il totale a oltre 500.000 traiettorie.

• Protocolli di Valutazione:
  Il framework supporta tre setting di apprendimento:

  1. Multi-task learning: Addestramento su tutti i compiti simultaneamente.
  2. Foundation Model Training: Pretraining su larga scala seguito da fine-tuning su compiti target specifici.
  3. Lifelong Learning: Apprendimento sequenziale di nuovi compiti mantenendo le abilità precedenti.

3. Risultati Sperimentali

Gli autori hanno condotto esperimenti estensivi utilizzando modelli state-of-the-art (Diffusion Policy, $\pi_0$, $\pi_{0.5}$, e GR00T N1.5):

• Multi-task Learning: I modelli basati su visione-linguaggio-azione (VLA) come GR00T N1.5 hanno mostrato le prestazioni migliori, ottenendo un tasso di successo medio del 20% su tutti i compiti, con capacità di generalizzazione zero-shot su compiti mai visti (Composite-Unseen). I compiti compositi e a lungo termine rimangono significativamente più difficili di quelli atomici.
• Foundation Model Training: Il pretraining su dati su larga scala ha migliorato drasticamente l'efficienza dei dati. Il modello preaddestrato ha raggiunto prestazioni simili all'apprendimento solo su dati target ma con 3 volte meno dati (miglioramento dell'efficienza dei dati). L'uso di dati sintetici (MimicGen) ha mostrato risultati misti: sebbene aumenti la scala, la qualità variabile dei dati sintetici ha talvolta portato a prestazioni inferiori rispetto all'uso esclusivo di dati umani di alta qualità per il pretraining.
• Diversità dei Dati: È emerso che la diversità dei compiti nel pretraining è cruciale. Aumentare il numero di compiti di pretraining (da 50 a 300) ha migliorato significativamente le prestazioni sui compiti target, specialmente su quelli non visti (Composite-Unseen). Anche la diversità delle scene (layout e stili) ha un impatto positivo sulla generalizzazione.
• Lifelong Learning: L'esperimento ha evidenziato il problema della dimenticanza catastrofica. Man mano che il robot imparava compiti più complessi (orizzonti più lunghi), le prestazioni sui compiti appresi in precedenza diminuivano, indicando che l'apprendimento continuo rimane una sfida aperta.
• Validazione nel Mondo Reale: In un esperimento su un robot fisico (DROID Panda), l'addestramento combinato su dati di simulazione e reali (Sim-and-Real) ha superato l'addestramento solo su dati reali del 18,1% in termini di tasso di successo medio, dimostrando l'utilità del benchmark per il trasferimento reale.

4. Contributi Chiave

1. Risorsa di Benchmarking Unificata: RoboCasa365 è il primo framework di simulazione a combinare migliaia di scene uniche, centinaia di compiti diversificati e dataset di dimostrazioni su larga scala (umani + sintetici) in un'unica suite di benchmark.
2. Scalabilità e Riproducibilità: Fornisce un ambiente controllato per testare sistematicamente l'impatto della diversità dei compiti, della scala dei dati e della variazione ambientale sulla generalizzazione delle politiche robotiche.
3. Insight sull'Apprendimento dei Generalisti: Lo studio fornisce nuove evidenze empiriche sul fatto che la diversità dei compiti nel pretraining è più critica della sola quantità di dati sintetici per l'apprendimento di compiti nuovi, e che l'addestramento su larga scala è essenziale per l'efficienza dei dati.

5. Significato e Impatto

RoboCasa365 rappresenta un passo fondamentale verso lo sviluppo di robot generalisti domestici. Offrendo un ambiente di addestramento e valutazione standardizzato e su larga scala, permette alla comunità di ricerca di:

• Superare i limiti della valutazione nel mondo reale, accelerando lo sviluppo di algoritmi.
• Studiare sistematicamente come la diversità dei dati e degli ambienti influenzi la capacità di generalizzazione.
• Identificare le lacune attuali, come la difficoltà nella pianificazione a lungo termine e la gestione della dimenticanza catastrofica, guidando la ricerca futura verso soluzioni più robuste per il deployment robotico in ambienti domestici reali.

In sintesi, il paper non solo introduce un dataset e un benchmark, ma stabilisce un nuovo standard per la valutazione rigorosa delle capacità dei robot generalisti, ponendo le basi per il futuro sviluppo di intelligenza artificiale robotica capace di operare in ambienti complessi e non strutturati.