MarketGen: A Scalable Simulation Platform with Auto-Generated Embodied Supermarket Environments

O artigo apresenta o MarketGen, uma plataforma de simulação escalável que utiliza geração procedural de conteúdo baseada em agentes para criar automaticamente ambientes de supermercado realistas e estruturados, oferecendo um novo benchmark e biblioteca de ativos para avançar a pesquisa em agentes corporativos para aplicações comerciais complexas.

O essencial

Imagine que você quer ensinar um robô a trabalhar num supermercado. O problema é que os supermercados reais são caóticos, cheios de gente, e você não pode simplesmente "desligar" as prateleiras para testar um robô novo. Além disso, criar um ambiente virtual perfeito, prateleira por prateleira, manualmente, levaria meses e custaria uma fortuna.

É aqui que entra o MarketGen, apresentado neste artigo. Pense nele como um "Gerenciador de Supermercados Mágico e Infinito".

Aqui está uma explicação simples de como ele funciona, usando analogias do dia a dia:

1. O Problema: A "Cozinha" vs. O "Supermercado"

Até hoje, a maioria dos robôs foi treinada em ambientes simples, como uma mesa de cozinha (pegar uma maçã, abrir uma porta). É como se eles só soubessem cozinhar em casa. Mas o mundo real do varejo (supermercados, hospitais, fábricas) é muito mais complexo. É como tentar ensinar um chef a gerenciar um buffet gigante de 500 pessoas sem nunca ter saído da cozinha.

Os pesquisadores perceberam que faltava um "campo de treinamento" para robôs nesses grandes ambientes comerciais.

2. A Solução: O MarketGen (O "Arquiteto Robô")

O MarketGen é uma plataforma de simulação que cria supermercados virtuais automaticamente. Em vez de um humano desenhando cada corredor e colocando cada garrafa de refrigerante, o MarketGen usa dois "cérebros" trabalhando juntos:

• O Arquiteto (Agente Inteligente): Você pode dizer a ele: "Quero uma loja de conveniência moderna, estilo industrial, com muita luz e focada em bebidas" (texto) ou mostrar uma foto de uma loja que você gosta (imagem). O "Arquiteto" entende isso e desenha o mapa mental da loja: onde ficam as frutas, onde fica o caixa, como são os corredores. Ele usa regras de design de supermercado para garantir que tudo faça sentido (você não coloca o gelo ao lado do forno, certo?).
• O Construtor (Geração Procedural - PCG): Assim que o Arquiteto desenha o mapa, o "Construtor" entra em ação. Ele pega um banco de dados gigante com mais de 1.100 produtos (de bananas a sabonetes) e mais de 100 tipos de móveis (prateleiras, freezers, caixas).
  • O Truque Mágico: As prateleiras não são objetos fixos. Elas são como blocos de Lego paramétricos. O sistema pode dizer: "Faça uma prateleira com 6 andares, espaçamento fino e cor cinza". O construtor monta a prateleira na hora, automaticamente. Isso permite criar milhares de lojas diferentes sem precisar desenhar cada uma manualmente.

3. O Campo de Prova: Os "Exercícios" do Robô

Para ver se os robôs estão aprendendo, os autores criaram dois desafios principais, como se fossem provas de vestibular para robôs:

1. O Desembaraço do Caixa (Checkout Unloading): Imagine que o robô é o caixa. Ele precisa pegar vários itens de uma cesta bagunçada (que podem estar empilhados ou escondidos uns atrás dos outros) e colocá-los na esteira. É um teste de "mãos" e visão para lidar com a bagunça.
2. O Caçador de Prateleiras (In-Aisle Item Collection): Aqui, o robô é um funcionário que precisa pegar itens específicos de prateleiras altas e apertadas. Ele precisa andar pelo corredor, encontrar o produto certo entre centenas de similares e pegá-lo sem derrubar nada. É um teste de "navegação" e precisão.

4. O Resultado: Do Virtual para o Real

Os pesquisadores testaram robôs reais usando o MarketGen.

• A Analogia do Treino: É como se um piloto de avião treinasse milhares de horas em um simulador de voo ultra-realista antes de subir num avião de verdade.
• A Prova: Eles treinaram um robô no MarketGen e depois o levaram para um supermercado real. O robô conseguiu pegar objetos reais (latas, caixas, sacolas) quase tão bem quanto no simulador. Isso prova que o "mundo virtual" do MarketGen é tão realista que o robô não se confunde quando chega no mundo real.

Resumo em uma frase

O MarketGen é como um "engenheiro de sonhos" que cria infinitos supermercados virtuais e realistas automaticamente, permitindo que robôs aprendam a trabalhar neles antes de nunca terem pisado num supermercado de verdade, acelerando o dia em que teremos robôs ajudando nas lojas.

Por que isso importa?
Porque antes, criar esses ambientes era lento e caro. Agora, com essa ferramenta, podemos testar, errar e melhorar robôs para o varejo em velocidade recorde, tornando o futuro da automação comercial mais próximo.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "MarketGen: A Scalable Simulation Platform with Auto-Generated Embodied Supermarket Environments", apresentado em português:

1. Problema Identificado

O desenvolvimento de agentes corporais (embodied agents) para ambientes comerciais complexos, como supermercados, é atualmente limitado por lacunas críticas nos conjuntos de dados e benchmarks existentes.

• Limitação de Escopo: A maioria das plataformas e benchmarks atuais foca em ambientes domésticos ou em tarefas de mesa (tabletop) de curto horizonte.
• Falta de Diversidade e Escala: Ambientes comerciais reais possuem escala, complexidade e diversidade que não são capturadas por cenas estáticas pré-projetadas.
• Gargalo de Criação: A criação manual de cenas de alta fidelidade para simulação é extremamente demorada e trabalhosa.
• Limitações das Soluções Atuais: Métodos automáticos existentes baseados em LLMs (Grandes Modelos de Linguagem) ou Geração Procedural de Conteúdo (PCG) tradicional falham em garantir consistência espacial controlada, compreensão 3D robusta ou suportam apenas modalidades de entrada limitadas, sendo inadequados para layouts comerciais complexos.

2. Metodologia: A Plataforma MarketGen

O MarketGen é uma plataforma de simulação escalável construída sobre o NVIDIA Omniverse Isaac Sim e o Unreal Engine, projetada especificamente para gerar automaticamente ambientes de supermercado realistas.

A. Geração de Cenas Automática (Agent-based PCG)

O núcleo da metodologia é um framework híbrido que combina um sistema de agentes com um fluxo de trabalho de Geração Procedural de Conteúdo (PCG):

1. Entrada Multimodal: O sistema aceita descrições em linguagem natural e imagens de referência.
2. Sistema de Agentes (O "Cérebro"):
   • Agente Espacial: Divide o espaço em zonas funcionais (ex: hortifruti, laticínios, caixa) usando algoritmos de partição de espaço binário (BSP) para garantir restrições arquitetônicas realistas.
   • Agente Semântico: Especifica os ativos necessários para cada zona (tipo de prateleira, materiais, cores).
   • Módulo de Reflexão e Refinamento: Corrige erros de adjacência funcional ou tipos de zonas antes da finalização, utilizando visual prompting para melhorar o raciocínio espacial do LLM.
3. Fluxo de Trabalho PCG (A "Construção"):
   • Recuperação de Ativos: Busca no banco de dados os itens correspondentes às zonas semânticas.
   • Ajuste de Ativos: Utiliza instalações parametrizadas (especialmente prateleiras) para ajustar dinamicamente parâmetros como número de camadas, espaçamento e combinações modulares.
   • Posicionamento e Preenchimento: Coloca os ativos e preenche as prateleiras automaticamente com produtos apropriados ao contexto da zona.

B. Biblioteca de Ativos 3D

Para suportar a geração, os autores criaram uma biblioteca extensa contendo:

• +1.100 Ativos de Produtos: Itens de supermercado de alta fidelidade em 10 categorias principais (bebidas, frutas, laticínios, etc.), com anotações estruturadas (propriedades físicas, massa, atrito).
• +100 Instalações Parametrizadas: Prateleiras, refrigeradores e balcões de caixa decompostos em unidades constituintes (prateleiras, painéis, suportes) para permitir variações infinitas de configuração.
• Materiais PBR: Biblioteca diversificada de materiais baseados em física para realismo visual e generalização sim-real.

C. Benchmark para Agentes de Supermercado

Foi proposto um novo benchmark com duas tarefas diárias distintas para avaliar capacidades de manipulação:

1. Descarregamento no Caixa (Checkout Unloading): Tarefa de manipulação em mesa de longo horizonte. O agente deve retirar itens de uma cesta para um balcão (simulando a ação de um caixa).
2. Coleta de Itens no Corredor (In-Aisle Item Collection): Tarefa de manipulação móvel complexa. O agente deve navegar pelo supermercado, localizar produtos específicos em prateleiras densas e colocá-los em uma cesta.

O sistema de avaliação inclui um Planner de Longo Horizonte (LLM/VLM), um Gerador de Afordâncias (usando SAM e AnyGrasp) e um Executor de Ação (usando cuRobo para planejamento de trajetória).

3. Principais Contribuições

1. Plataforma de Simulação Escalável: Primeiro sistema a combinar agentes de planejamento com PCG para gerar layouts de supermercados controláveis e diversificados a partir de entradas flexíveis.
2. Biblioteca de Ativos Rica: Disponibilização de mais de 1.100 produtos e 100+ instalações parametrizadas, superando a escassez de dados comerciais.
3. Novo Benchmark: Avaliação de agentes corporais em tarefas de longo horizonte e manipulação móvel específicas de operações de varejo, incluindo suporte para avaliação zero-shot de políticas modulares.

4. Resultados Experimentais

• Geração de Cenas: A plataforma gerou cenas visualmente ricas e logicamente coerentes, comparáveis a cenas feitas manualmente (como no GRUtopia), com alta fidelidade física e visual.
• Desempenho do Benchmark:
  • Testes com vários Modelos de Linguagem Multimodais (MLLMs) mostraram que as taxas de sucesso (SR) permanecem baixas (abaixo de 15% no geral), mesmo com os modelos mais avançados (ex: Gemini-2.5-Pro).
  • Dificuldades Identificadas: A complexidade de ambientes com muitos obstáculos, oclusão de objetos e a necessidade de raciocínio espacial preciso em corredores estreitos desafiam os métodos modulares atuais. A dependência de representações intermediárias (em vez de otimização end-to-end) limita a eficiência.
• Transferência Sim-Real:
  • Experimentos reais com robôs (Franka e Realman) demonstraram uma forte correlação entre o desempenho na simulação e no mundo real.
  • A precisão na física dos ativos e o renderização de alta fidelidade permitiram que o modelo de predição de afordâncias funcionasse bem na realidade, validando a plataforma como uma base sólida para reduzir a lacuna sim-real.

5. Significado e Impacto

O MarketGen preenche uma lacuna crítica na pesquisa de IA Corporal, movendo o foco de ambientes domésticos para o setor comercial complexo.

• Aceleração de Pesquisa: Permite a geração rápida e diversificada de cenários de teste, eliminando o gargalo da criação manual de cenas.
• Validação para Aplicações Reais: Ao demonstrar sucesso na transferência sim-real, a plataforma oferece um ambiente confiável para treinar e validar robôs destinados a tarefas reais em supermercados (como reposição, inventário e atendimento).
• Direção Futura: Os resultados indicam que, embora a geração de cenas seja madura, o controle de robôs em ambientes comerciais desordenados ainda requer avanços significativos, possivelmente através de métodos de aprendizado end-to-end que superem as limitações dos planejadores modulares atuais.