MarketGen: A Scalable Simulation Platform with Auto-Generated Embodied Supermarket Environments

MarketGen è una piattaforma di simulazione scalabile che utilizza una generazione procedurale basata su agenti per creare ambienti di supermercato realistici e complessi, fornendo un nuovo benchmark e una vasta libreria di asset per valutare e accelerare lo sviluppo di agenti embodied in contesti commerciali.

L'essenziale

Immagina di voler insegnare a un robot a lavorare al supermercato. Sembra facile, vero? "Prendi il latte, mettilo nel carrello". Ma nella realtà, i supermercati sono caotici, pieni di migliaia di prodotti diversi, scaffali alti, corridoi stretti e persone che camminano ovunque.

Fino a oggi, i ricercatori hanno dovuto costruire questi ambienti virtuali "a mano", pezzo per pezzo, come se stessero montando un gigantesco set cinematografico per ogni singolo esperimento. Era lento, costoso e noioso.

Ecco che entra in scena MarketGen, il nuovo "super-architetto" digitale presentato in questo documento.

Ecco come funziona, spiegato in modo semplice:

1. Il "Cucina" dei Supermercati (La Piattaforma)

Pensa a MarketGen come a un chef robotico che non solo cucina, ma progetta l'intero ristorante.

• Il problema: Prima, se volevi un supermercato virtuale, dovevi disporre ogni singola bottiglia e ogni scaffale manualmente. Era come dover disegnare a mano ogni singolo mattone di un grattacielo.
• La soluzione MarketGen: Ora, puoi dire al sistema: "Voglio un piccolo negozio di quartiere, luminoso, con molti snack e bevande" oppure puoi mostrargli una foto di un supermercato che ti piace.
• Come fa: Il sistema usa due "cervelli" che lavorano insieme:
  1. L'Architetto (Agente): Decide dove vanno i corridoi, i frigoriferi e le casse. Sa che il reparto latte non va vicino alla carne cruda (proprio come nella realtà!).
  2. Il Costruttore (PCG): Prende i piani dell'architetto e riempie automaticamente gli scaffali con migliaia di prodotti. Non usa solo scatole generiche, ma ha una libreria con più di 1.100 prodotti reali (dalle banane alle scatole di cereali) e 100+ tipi di arredi (frigoriferi, scaffali, casse) che possono essere modificati al volo (es. "aggiungi due ripiani in più").

È come avere un Lego infinito e intelligente: tu dai l'idea, e lui costruisce un intero supermercato realistico in pochi secondi, pronto per essere usato.

2. La Palestra per i Robot (Il Benchmark)

Una volta costruito il supermercato virtuale, MarketGen crea una "palestra" per testare i robot. Immagina due tipi di prove:

• Il Cassiere (Checkout Unloading): Il robot deve stare fermo alla cassa e prendere velocemente oggetti da un carrello pieno, come se stesse aiutando un cliente a pagare. È una prova di precisione e velocità.
• Il Commesso (In-Aisle Item Collection): Qui il robot deve muoversi! Deve camminare tra i corridoi, trovare un prodotto specifico tra migliaia di altri simili (es. trovare quel particolare succo di frutta) e prenderlo. È una prova di navigazione e intelligenza.

3. La Prova del Fuoco (Dalla Simulazione alla Realtà)

Il vero trucco di MarketGen è che ciò che succede nel computer funziona anche nel mondo reale.

• L'esperimento: I ricercatori hanno fatto provare al robot di prendere oggetti (bottiglie, lattine, scatole) sia nel supermercato virtuale che in uno vero.
• Il risultato: Il robot ha avuto quasi lo stesso successo in entrambi i casi! Questo significa che MarketGen è così realistico che i robot possono "allenarsi" milioni di volte nel computer senza rompere nulla, e poi andare a lavorare nel vero supermercato senza bisogno di riaddestramento.

Perché è importante?

Prima di MarketGen, insegnare a un robot a fare la spesa era come insegnargli a nuotare in una piscina vuota e poi sperare che sappia nuotare in mare in tempesta.
Ora, MarketGen è come una piscina virtuale con onde, correnti e sabbia sul fondo che imita perfettamente il mare. I robot possono fare errori, cadere e imparare nel mondo virtuale, per poi diventare esperti nel mondo reale.

In sintesi: MarketGen è il ponte magico che permette all'Intelligenza Artificiale di imparare a lavorare nei luoghi più complessi e affollati della nostra vita quotidiana, come il supermercato, accelerando il giorno in cui potremo avere robot che ci aiutano davvero a fare la spesa.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper MarketGen, presentato in italiano.

Titolo

MarketGen: Una Piattaforma di Simulazione Scalabile con Ambienti di Supermercato Embodied Generati Automaticamente

1. Il Problema

Lo sviluppo di agenti embodied (robot fisici) per ambienti commerciali complessi, come i supermercati, è attualmente ostacolato da una carenza critica nei dataset e nei benchmark esistenti.

• Limitazione degli attuali dataset: La maggior parte delle piattaforme di simulazione si concentra su scenari domestici o da tavolo, con compiti a breve termine.
• Mancanza di ambienti commerciali: Gli scenari commerciali (supermercati, ospedali, fabbriche) presentano scale e complessità uniche che rimangono largamente inesplorate.
• Colli di bottiglia nella generazione: La creazione di scene è spesso manuale, laboriosa e statica. Le soluzioni automatiche esistenti (basate su LLM o PCG - Procedural Content Generation) sono progettate per ambienti domestici e falliscono nel garantire coerenza spaziale controllata, comprensione 3D robusta o nel gestire la complessità dei layout commerciali.

2. Metodologia

MarketGen è una piattaforma di simulazione scalabile costruita su NVIDIA Omniverse Isaac Sim e Unreal Engine, progettata specificamente per generare automaticamente supermercati realistici e strutturati.

A. Libreria di Asset 3D

Il sistema si basa su un vasto repository di asset:

• Oltre 1.100 prodotti: Modelli ad alta fedeltà di merci comuni (bevande, frutta, latticini, snack) con annotazioni strutturate (proprietà fisiche come massa, attrito, e proprietà semantiche).
• Oltre 100 strutture parametriche: Attrezzature come scaffalature, frigoriferi e banconi. Le strutture chiave (es. scaffali) sono state decomposte in unità costitutive minime, permettendo un controllo procedurale su parametri come numero di livelli, spaziatura e combinazioni modulari.
• Materiali PBR: Una libreria di materiali fisicamente basati per migliorare il trasferimento sim-to-reale (simulazione-realtà).

B. Sistema di Generazione Automatica di Scene (Pipeline)

MarketGen introduce un framework ibrido che combina un sistema basato su Agenti con un flusso di lavoro PCG:

1. Input Multimodale: Il sistema accetta descrizioni testuali o immagini di riferimento.
2. Sistema di Agenti (Il "Cervello"):
   • Spatial Agent: Divide lo spazio in zone funzionali (es. ortofrutta, caseificio, cassa) utilizzando algoritmi di partizione (BSP) guidati da LLM per rispettare i vincoli architettonici.
   • Semantic Agent: Specifica le proprietà degli asset (stile, dimensioni parametriche, materiali) per ogni zona.
   • Reflection & Refiner: Un modulo che corregge iterativamente errori di adiacenza funzionale o tipi di asset, utilizzando il visual prompting per migliorare il ragionamento spaziale dell'LLM.
3. Flusso di Lavoro PCG (Costruzione 3D):
   • Recupero Asset: Seleziona gli oggetti dalla libreria in base alle zone semantiche.
   • Adattamento: Configura i modelli parametrici (es. altezza scaffali) secondo i parametri del layout.
   • Posizionamento e Riempimento: Costruisce la struttura 3D e riempie automaticamente gli scaffali con prodotti appropriati al contesto.

C. Benchmark per Agenti Supermercato

È stato proposto un nuovo benchmark con due tracce di compiti a lungo termine (long-horizon):

1. Checkout Unloading (Svuotamento Cassa): Compito di manipolazione da tavolo per agenti statici (cassieri). L'agente deve prelevare oggetti da un carrello della spesa in un ambiente affollato.
2. In-Aisle Item Collection (Raccolta in Corridoio): Compito di manipolazione mobile per agenti di vendita. L'agente deve navigare, localizzare prodotti specifici tra scaffali densi e raccoglierli.

• Sistema Modulare: Per la valutazione, è stato implementato un sistema modulare con un Affordance Generator (SAM + SoM), un Action Executor (cuRobo per la pianificazione del movimento) e un Long Horizon Planner (LLM/VLM) per la decomposizione dei compiti.

3. Risultati Sperimentali

• Generazione di Scene: La pipeline produce scene con fedeltà visiva e coerenza logica paragonabile a quelle create manualmente (es. GRUtopia), garantendo la plausibilità spaziale delle zone funzionali.
• Performance del Benchmark:
  • Sono stati testati diversi modelli MLLM (GPT-4o, Claude-Sonnet-4.5, Gemini-2.5-Pro, Qwen3-VL-Plus).
  • I risultati mostrano sfide significative: il tasso di successo (SR) complessivo rimane basso (sotto il 15% per il miglior modello, Gemini-2.5-Pro).
  • Le difficoltà principali includono l'occlusione degli oggetti nei carrelli, la navigazione in corridoi stretti e la distinzione tra prodotti visivamente simili sugli scaffali.
  • Questo indica che i metodi modulari attuali faticano con la complessità degli scenari commerciali reali.
• Trasferimento Sim-to-Real:
  • Un esperimento diretto ha confrontato la previsione di affordance (punti di presa) tra simulazione e realtà su 4 forme di oggetti (bottiglie, lattine, scatole, sacchi).
  • I risultati mostrano una forte correlazione (es. bottiglie: 55% in sim vs 50% in realtà), dimostrando che la piattaforma riduce efficacemente il divario sim-to-real grazie alla fisica accurata e al rendering ad alta fedeltà.

4. Contributi Chiave

1. Piattaforma Scalabile: Il primo sistema di generazione automatica di scene per supermercati, che combina agenti di pianificazione e PCG per creare layout diversificati e controllabili da input flessibili.
2. Libreria di Asset Estesa: Una collezione di oltre 1.100 prodotti e 100+ strutture parametriche, fondamentale per la diversità degli scenari.
3. Benchmark Supermercato: Una valutazione completa per compiti di manipolazione a lungo termine e mobile, inclusi framework per la valutazione zero-shot di politiche modulari.

5. Significato e Impatto

MarketGen rappresenta un passo fondamentale verso l'applicazione pratica dell'IA embodied nel settore commerciale.

• Riduzione dei costi: Elimina la necessità di costose e lente creazioni manuali di ambienti di simulazione.
• Scalabilità: Permette di generare migliaia di scenari diversi per addestrare e testare robot in condizioni realistiche.
• Ponte Sim-to-Real: Dimostra che ambienti simulati ad alta fedeltà possono essere utilizzati per sviluppare algoritmi che funzionano efficacemente nel mondo reale, accelerando il dispiegamento di robot autonomi in supermercati, magazzini e altri ambienti commerciali complessi.
• Identificazione delle lacune: I risultati del benchmark evidenziano la necessità di avanzamenti futuri, in particolare l'integrazione di approcci di apprendimento end-to-end per superare le limitazioni dei sistemi modulari attuali in ambienti affollati e dinamici.