TabletopGen: Tabletop Scene Generation and Interactive Simulation for Robotic Manipulation

Resumo Técnico: TabletopGen

Definição do Problema

A manipulação robótica, particularmente em ambientes de bancada (tabletop), depende fortemente de dados de interação em larga escala e alta qualidade para o treinamento de modelos de Visão-Linguagem-Ação (VLA). Embora a coleta de dados no mundo real seja dispendiosa e difícil de escalar, a simulação oferece uma alternativa promissora. No entanto, os métodos existentes de geração de cenas 3D não conseguem produzir ambientes de bancada prontos para simulação de forma eficaz.

• Métodos baseados em recuperação sofrem com diversidade insuficiente e incompatibilidades geométricas devido a bibliotecas de ativos fixas.
• Métodos baseados em texto via LLM focam tipicamente em layouts de escala de cômodo, falhando em lidar com o arranjo funcional de alta densidade de objetos pequenos e as fortes restrições semânticas exclusivas de bancadas.
• Métodos de reconstrução de imagem única frequentemente produzem layouts fisicamente implausíveis (ex: interpenetração de objetos ou objetos flutuantes) e malhas (meshes) incompletas devido a oclusões de visão única e falta de priors físicos.

Consequentemente, essas cenas não podem ser importadas de forma confiável para simuladores de física para planejamento de movimento, criando um gargalo para a síntese automatizada de dados de manipulação.

Metodologia

TabletopGen é um framework totalmente automatizado e livre de treinamento que gera cenas de bancada interativas, de alto nível de instância e alta fidelidade, a partir de uma descrição de texto ou de uma única imagem. O framework opera em três estágios progressivos:

1. Extração Generativa de Instâncias

O sistema primeiro converte entradas de texto em prompts detalhados e sintetiza uma imagem de referência (ou utiliza uma imagem fornecida). Em seguida, extrai e reconstrói os ativos 3D:

• Segmentação e Completude: Um Modelo de Linguagem de Grande Escala Multimodal (MLLM) realiza o reconhecimento de categorias de vocabulário aberto, combinado com o GroundedSAM-v2 para mascaramento de instâncias. Para lidar com oclusões, um modelo generativo multimodal completa e redesenha as máscaras das instâncias em vez de usar inpainting tradicional.
• Reconstrução 3D e Canonicalização: As instâncias 2D completadas são reconstruídas em malhas 3D usando modelos de Imagem-para-3D. Crucialmente, o sistema aplica correção de rotação para alinhar o eixo vertical local de cada objeto com a direção Z-up do mundo, garantindo que os ativos sejam "Z-up canonicalizados" e prontos para posicionamento direto.

2. Alinhamento de Pose e Escala

Esta é a inovação central, desacoplando a estimativa de rotação, translação e escala em duas fases especializadas para garantir plausibilidade física:

• Otimizador de Rotação Diferenciável (DRO): Esta fase otimiza a rotação ($r_i$) de cada instância ao redor do eixo vertical. Utiliza um renderizador diferenciável para gerar uma imagem texturizada, silhueta suave e mapa de bordas, minimizando uma perda trimodal (consistência de forma via soft IoU, correspondência de contorno via perda de Chamfer e similaridade de aparência via características DINOv2) contra a instância alvo.
• Alinhamento Espacial de Visão Superior (TSA): Esta fase infere translação ($t_i$) e escala ($s_i$) usando priors físicos:
  • Priors de Empilhamento: Um MLLM infere relações de empilhamento para evitar objetos flutuantes ou interpenetração vertical.
  • Síntese de Visão Superior: Um modelo generativo sintetiza uma visão superior da cena para extrair caixas delimitadoras (bounding boxes) 2D, garantindo que os objetos permaneçam dentro dos limites da bancada.
  • RMA-Score: Um "Score de Razão Correspondente e Área Ponderada" seleciona um objeto âncora confiável baseado na consistência da proporção de aspecto e área de pixel. Este âncora determina um fator de escala global para inferir escalas 3D métricas e translações horizontais para todos os objetos.

3. Simulação Interativa

As instâncias alinhadas são montadas em um simulador de física (Isaac Sim). Geometrias de colisão são geradas via decomposição convexa, e propriedades físicas (gravidade, fricção) são habilitadas. O framework suporta:

• Geração de Tarefas: Geração automática de tarefas de manipulação (ex: "coloque a xícara na caixa") baseada em rótulos semânticos.
• Síntese de Dados: Execução de trajetórias livres de colisão para coletar dados multimodais (RGB, estados de junta, ações).
• Expansão de Cena: Edição dentro da cena (adicionar, remover, substituir, rearranjar) para gerar variantes diversas de cena sem rodar todo o pipeline novamente.

Principais Contribuições

1. Framework TabletopGen: Um motor automatizado e livre de treinamento que gera cenas de bancada prontas para simulação a partir de texto ou imagens únicas, alcançando simultaneamente realismo visual, interatividade ao nível de instância e plausibilidade física.
2. Novo Método de Alinhamento: Uma abordagem de alinhamento de pose e escala desacoplada usando DRO para otimização precisa de rotação e TSA para inferência de translação e escala sob restrições físicas, superando as limitações da reconstrução de visão única.
3. Validação Abrangente: Experimentos extensos demonstrando desempenho de estado da arte em fidelidade visual e validade física, validados por uma transferência de política zero-shot real-para-sim-para-real.

Resultados

• Desempenho Quantitativo: Em comparações com baselines baseados em imagem (ACDC, Gen3DSR, MIDI) e métodos baseados em texto (MesaTask, Holodeck-table), o TabletopGen alcançou as pontuações mais altas em métricas visuais/perceptuais (LPIPS, DINOv2, CLIP) e avaliações do GPT-4o.
• Plausibilidade Física: O TabletopGen reduziu significativamente as taxas de colisão. Enquanto os baselines exibiram taxas de colisão ao nível da cena (Col_S) entre 67% e 98%, o TabletopGen alcançou um Col_S de apenas 7,69% e uma taxa de colisão ao nível de malha (Col_O) de 0,42%.
• Estudo com Usuários: Em um estudo com 128 participantes, o TabletopGen foi preferido em 83,13% dos casos, superando significativamente os baselines em Fidelidade Visual, Alinhamento de Imagem e Plausibilidade Física.
• Transferência para o Mundo Real: Em um experimento zero-shot real-para-sim-para-real, políticas treinadas exclusivamente em dados sintéticos gerados pelo TabletopGen foram implantadas em um braço robótico real AgileX PiPER. As políticas alcançaram altas taxas de sucesso (ex: 84% para colocar uma manga, 80% para colocar um morango) sem qualquer ajuste fino no mundo real, validando a precisão física das cenas geradas.

Significância

O artigo afirma que o TabletopGen serve como um motor de dados confiável para manipulação robótica. Ao resolver o gargalo de gerar cenas interativas de nível de instância e fisicamente plausíveis, ele permite a síntese de baixo custo e escalável de dados de manipulação multimodais. Essa capacidade é crítica para treinar modelos VLA generalizáveis e apoia o paradigma "sim-to-real", permitindo que robôs aprendam políticas de manipulação complexas em simulação que se transferem efetivamente para o mundo físico sem a necessidade de extensa coleta de dados no mundo real. A capacidade do framework de suportar a expansão de cena através de edição dentro da própria cena oferece ainda uma rota escalável para cobrir diversos ambientes de simulação para a IA incorporada (embodied AI).