MarketGen: A Scalable Simulation Platform with Auto-Generated Embodied Supermarket Environments

MarketGen is een schaalbaar simulatieplatform met een agent-gebaseerde procedurele generatieframework dat realistische supermarktomgevingen en een nieuwe benchmark creëert om geavanceerde embodied AI-agenten voor complexe commerciële taken te trainen en evalueren.

De kern

MarketGen: De Digitale Supermarkt die Zich Zelf Bouwt

Stel je voor dat je een robot wilt trainen om in een supermarkt te werken. In het verleden was dit als proberen een auto te leren rijden in een leeg veld, en dan plotseling te zeggen: "Oké, nu rijd je door een drukke stad met verkeerslichten, winkels en mensen." Het is bijna onmogelijk om die stad handmatig te bouwen voor elke test.

De onderzoekers van MarketGen hebben een oplossing bedacht die je kunt vergelijken met een magische, zelfbouwend supermarkt. Hier is hoe het werkt, in simpele taal:

1. Het Probleem: De "Handgemaakte" Supermarkt

Vroeger moesten wetenschappers elke supermarkt voor robots handmatig bouwen, net als een kind dat urenlang met Lego blokken een stadje moet maken.

• Het nadeel: Het kostte eeuwen, was saai, en elke supermarkt zag er hetzelfde uit.
• De oplossing: MarketGen is een platform dat automatisch een hele supermarkt bouwt, compleet met planken, koelkasten en duizenden producten, op basis van een simpele opdracht.

2. De Magische Bouwer: De "Architect" en de "Bouwer"

MarketGen werkt met een slim team van twee digitale helpers:

• De Architect (De Agent): Dit is de "hersenen". Jij geeft de Architect een opdracht, bijvoorbeeld: "Bouw een gezellige, moderne supermarkt met veel fruit en metalen planken" (of je uploadt een foto van een stijl die je mooi vindt). De Architect denkt na over de indeling: Waar komt de groente? Waar de kassa? Hij gebruikt slimme regels uit de echte wereld om een logisch plan te maken.
• De Bouwer (De PCG): Dit is de "hand". Zodra de Architect het plan heeft, begint de Bouwer direct te werken. Hij pakt duizenden 3D-modellen (flesjes melk, blikken soup, fruit) en plaatst ze automatisch op de juiste plek. Hij past zelfs de planken aan: "Deze plank moet 6 verdiepingen hoog zijn, die andere 4."

De Analogie: Het is alsof je een pizzabakker bent die een robot stuurt. Je zegt: "Maak een pizza met veel kaas." De robot (MarketGen) pakt niet alleen de kaas, maar bouwt ook de oven, de tafel en de winkel eromheen, allemaal in een fractie van een seconde.

3. De Schatkist: Duizenden Producten

Om de supermarkt echt te laten lijken, hebben ze een enorme digitale schatkist gemaakt.

• Er zijn meer dan 1.100 verschillende producten (van banaan tot blikje cola).
• Er zijn meer dan 100 soorten meubels (planken, koelkasten, kassa's) die je kunt aanpassen. Je kunt de hoogte van een plank veranderen of de kleur van de vloer aanpassen, net als bij een video-game, maar dan met echte fysica (zodat een flesje echt omvalt als je er tegen stoot).

4. De Proef: Twee Lastige Taken voor Robots

Om te testen of hun robots echt slim zijn, hebben ze twee moeilijke proeven bedacht, alsof je een stagiair test in een echte winkel:

1. De Kassa (Checkout Unloading): De robot moet als kassamedewerker producten uit een winkelmandje halen en op de band leggen. Dit is lastig omdat de producten vaak op elkaar liggen en de robot moet weten hoe hij ze vastpakt zonder ze te laten vallen.
2. De Schapvuller (In-Aisle Item Collection): De robot moet door de gangen lopen, een specifiek product vinden tussen honderden andere producten, en het in zijn mandje doen. Dit is als een zoektocht in een bibliotheek waar alle boeken op elkaar lijken, maar dan met een robotarm.

5. Van Virtueel naar Echt: De "Sim-to-Real" Test

Het allerbelangrijkste is dat MarketGen niet alleen een spelletje is. De onderzoekers hebben getest of wat de robot in de simulatie leert, ook werkt in de echte wereld.

• Ze lieten een robot in de computer een flesje pakken.
• Vervolgens lieten ze dezelfde robot in het echte leven een flesje pakken.
• Het resultaat: Het werkte bijna even goed! Dit betekent dat je robots kunt trainen in deze digitale supermarkt, en ze daarna direct kunt inzetten in een echte supermarkt, zonder dat je maandenlang in de echte winkel hoeft te oefenen.

Samenvattend

MarketGen is als een onuitputtelijke, zelfbouwend supermarkt die wetenschappers helpt om robots te trainen voor moeilijke banen in de echte wereld. Het bespaart tijd, maakt het mogelijk om oneindig veel verschillende winkelindelingen te testen, en zorgt ervoor dat robots die in de computer leren werken, ook echt kunnen werken in de supermarkt van de buren.

Het is de eerste stap naar een toekomst waarin robots ons helpen met het invullen van schappen en het scannen van producten, zodat wij ons kunnen richten op het kiezen van de lekkerste aardbeien.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "MarketGen: A Scalable Simulation Platform with Auto-Generated Embodied Supermarket Environments" in het Nederlands.

Probleemstelling

De ontwikkeling van embodied AI-agenten voor complexe commerciële omgevingen (zoals supermarkten, ziekenhuizen en fabrieken) wordt gehinderd door een kritiek tekort aan geschikte datasets en benchmarks. Bestaande robotica-platforms richten zich voornamelijk op huishoudelijke of tafelblad-scenario's met korte taken. De huidige oplossingen voor het genereren van scènes zijn beperkt tot:

1. Handmatig ontwerpen: Dit is tijdrovend, arbeidsintensief en beperkt de diversiteit van de omgevingen.
2. Bestaande generatieve methoden: Deze zijn vaak ontworpen voor huishoudens en kampen met beperkingen bij commerciële ruimtes, zoals gebrek aan controleerbare consistentie, zwakke ruimtelijke redenering (bij LLM-only benaderingen) of te beperkte inputmodaliteiten die de complexiteit van een supermarktindeling niet kunnen vangen.

Er is dus een urgente behoefte aan een schaalbaar, automatisch gegenereerd simulatieplatform dat specifiek is ontworpen voor de complexiteit en schaal van commerciële supermarkten.

Methodologie

MarketGen is een schaalbaar simulatieplatform gebouwd op NVIDIA's Omniverse Isaac Sim en Unreal Engine, wat zorgt voor robuuste fysica en fotorealistische rendering. Het platform bestaat uit drie kerncomponenten:

1. Uitgebreide 3D Asset Library

Om realistische scènes te creëren, hebben de auteurs een bibliotheek samengesteld met:

• 1100+ supermarktgoederen: Hoge-fideliteit modellen in 10 categorieën (dranken, groente/fruit, zuivel, snacks, etc.), voorzien van gestructureerde annotaties (fysieke eigenschappen zoals massa en wrijving, en semantische eigenschappen).
• 100+ geparametriseerde faciliteiten: Inclusief rekken, koelkasten en kassa's. Belangrijk is de parametrische decompositie van rekken in basiscomponenten (planken, achterpanelen, steunen). Dit stelt het systeem in staat om dynamisch variaties te genereren in het aantal lagen, afstanden en combinaties, waardoor de diversiteit exponentieel toeneemt.

2. Geautomatiseerde Scènegeneratie (Agent-based PCG)

In plaats van handmatig ontwerpen, gebruikt MarketGen een hybride workflow die een Agent-systeem combineert met Procedural Content Generation (PCG):

• Agent-systeem (De "hersenen"): Ontvangt multi-modale input (tekst of referentieafbeeldingen) en genereert een logisch indelingsplan. Het bestaat uit drie modules:
  • Spatial Agent: Verdeelt de ruimte in functionele zones (bijv. versafdeling, zuivel) met behulp van algoritmen zoals Binary Space Partitioning (BSP) om architectonische constraints te respecteren.
  • Semantic Agent: Specificeert de eigenschappen van de assets (stijl, materiaal, parameters).
  • Reflection & Refiner: Corrigeert fouten in het plan door visuele prompts terug te voeren naar de LLM voor iteratieve verbetering.
• PCG Workflow (De "bouwer"): Vertaalt het 2D-plan naar een volledige 3D-scène door assets op te halen, aan te passen (via de parametrische modellen) en automatisch te plaatsen, inclusief het vullen van de rekken met passende producten.

3. Benchmark voor Supermarkt-agenten

De auteurs introduceren een nieuwe benchmark met twee dagelijkse taken om agenten te evalueren:

1. Checkout Unloading: Een statische, lange-horizon taak voor kassa-agenten (items uit een mandje halen).
2. In-Aisle Item Collection: Een complexe mobiele manipulatie-taak voor verkoopmedewerkers (navigeren door de gangen en specifieke items van de plank halen).

De evaluatie omvat succespercentages (SR), padlengte (PL) en SPL (Success weighted by Path Length).

Belangrijkste Bijdragen

1. MarketGen Platform: Het eerste schaalbare simulatieplatform voor supermarkten dat een geautomatiseerd systeem biedt voor het genereren van gecontroleerde, diverse en realistische lay-outs vanuit flexibele gebruikersinput.
2. Grote Asset Bibliotheek: Een collectie van meer dan 1100 hoogwaardige producten en 100+ geparametriseerde faciliteiten, gebaseerd op real-world data.
3. Nieuwe Benchmark: Een uitgebreide evaluatieframework voor embodied agents gericht op lange-horizon en mobiele manipulatie taken in commerciële omgevingen, inclusief een modulaire policy voor zero-shot evaluatie.

Resultaten

• Scènegeneratie: Kwalitatieve evaluaties tonen aan dat de automatisch gegenereerde scènes vergelijkbaar zijn in realisme en logische coherentie met handgemaakte omgevingen (zoals GRUtopia). De parametrische rekken zorgen voor grote structurele variatie.
• Benchmark Prestaties: Tests met verschillende Multi-modal Large Language Models (MLLMs) zoals GPT-4o en Gemini-2.5-Pro tonen aan dat deze taken extreem moeilijk zijn. De beste modellen halen een algeheel succespercentage (SR) van minder dan 15%. Dit wijst op de complexiteit van occlusie, navigatie in smalle gangen en het onderscheiden van visueel vergelijkbare producten.
• Sim-to-Real Transfer: Experimenten met een echte robot (Realman dual-arm) in een fysieke omgeving versus de simulatie tonen een sterke correlatie in succespercentages (bijv. 55% vs 50% voor flessen). Dit bewijst dat de fysica en rendering van MarketGen de "sim-to-real gap" effectief verkleinen.

Betekenis en Impact

MarketGen vult een cruciale kloof in het onderzoek naar embodied AI door een realistisch en schaalbaar testbed te bieden voor commerciële toepassingen. Het platform versnelt de ontwikkeling van robotica voor supermarkten door de noodzaak van handmatig scene-ontwerp te elimineren. De bevindingen dat huidige modulaire methoden (op basis van LLMs) worstelen met de complexiteit van deze taken, onderstreept de noodzaak voor toekomstige onderzoeksrichtingen die gericht zijn op end-to-end leerbenaderingen om de prestaties van robots in complexe, real-world omgevingen te verbeteren.