TabletopGen: Tabletop Scene Generation and Interactive Simulation for Robotic Manipulation

Resumen Técnico: TabletopGen

Declaración del Problema

La manipulación robótica, particularmente en entornos de mesa (tabletop), depende fuertemente de datos de interacción a gran escala y alta calidad para el entrenamiento de modelos de Visión-Lenguaje-Acción (VLA). Si bien la recolección de datos en el mundo real es costosa y difícil de escalar, la simulación ofrece una alternativa prometedora. Sin embargo, los métodos actuales de generación de escenas 3D no logran producir entornos de mesa listos para simulación de manera efectiva.

• Los métodos basados en recuperación sufren de una diversidad insuficiente y desajustes geométricos debido a bibliotecas de activos fijos.
• Los métodos impulsados por texto basados en LLM suelen centrarse en la disposición de habitaciones a escala de habitación, fallando al manejar las disposiciones funcionales de alta densidad de objetos pequeños y las fuertes restricciones semánticas que son únicas de las superficies de mesa.
• Los métodos de reconstrucción de imagen única a menudo producen disposiciones físicamente implausibles (por ejemplo, interpenetración de objetos o elementos flotantes) y mallas incompletas debido a las oclusiones de vista única y la falta de principios físicos previos.

Consecuentemente, estas escenas no pueden importarse de manera confiable en simuladores de física para la planificación de movimiento, lo que crea un cuello de botella para la síntesis automatizada de datos de manipulación.

Metodología

TabletopGen es un marco de trabajo (framework) totalmente automatizado y sin necesidad de entrenamiento que genera escenas de mesa interactivas, de alta fidelidad y a nivel de instancia, a partir de una descripción de texto o una sola imagen. El marco opera en tres etapas progresivas:

1. Extracción Generativa de Instancias

El sistema primero convierte las entradas de texto en prompts detallados y sintetiza una imagen de referencia (o utiliza una imagen proporcionada). Luego, extrae y reconstruye los activos 3D:

• Segmentación y Completitud: Un Modelo de Lenguaje de Gran Escala Multimodal (MLLM) realiza el reconocimiento de categorías de vocabulario abierto, combinado con GroundedSAM-v2 para el enmascaramiento de instancias. Para abordar las oclusiones, un modelo generativo multimodal completa y redibuja las máscaras de las instancias en lugar de utilizar el inpainting tradicional.
• Reconstrucción 3D y Canonicalización: Las instancias 2D completadas se reconstruyen en mallas 3D utilizando modelos de Imagen-a-3D. Crucialmente, el sistema aplica una corrección de rotación para alinear el eje vertical local de cada objeto con la dirección Z-up del mundo, asegurando que los activos estén "Z-up canonicalizados" y sean directamente colocables.

2. Alineación de Pose y Escala

Esta es la innovación central, que desacopla la estimación de rotación, traslación y escala en dos fases especializadas para asegurar la plausibilidad física:

• Optimizador de Rotación Diferenciable (DRO): Esta fase optimiza la rotación ($r_i$) de cada instancia alrededor del eje vertical. Utiliza un renderizador diferenciable para generar una imagen texturizada, una silueta suave y un mapa de bordes, minimizando una pérdida trimodal (consistencia de forma mediante soft IoU, coincidencia de contornos mediante pérdida de Chamfer y similitud de apariencia mediante características de DINOv2) contra la instancia objetivo.
• Alineación Espacial de Vista Superior (TSA): Esta fase infiere la traslación ($t_i$) y la escala ($s_i$) utilizando principios físicos previos:
  • Prior de Apilamiento: Un MLLM infiere relaciones de apilamiento para evitar objetos flotantes o interpenetración vertical.
  • Síntesis de Vista Superior: Un modelo generativo sintetiza una vista superior de la escena para extraer cajas delimitadoras (bounding boxes) 2D, asegurando que los objetos permanezcan dentro de los límites de la mesa.
  • RMA-Score: Un "Puntaje de Relación Emparejada y Área Ponderada" selecciona un objeto ancla confiable basado en la consistencia de la relación de aspecto y el área de píxeles. Este ancla determina un factor de escala global para inferir las escalas 3D métricas y las traslaciones horizontales para todos los objetos.

3. Simulación Interactiva

Las instancias alineadas se ensamblan en un simulador de física (Isaac Sim). Las geometrías de colisión se generan mediante descomposición convexa y se habilitan las propiedades físicas (gravedad, fricción). El marco soporta:

• Generación de Tareas: Generación automática de tareas de manipulación (por ejemplo, "poner la taza en la caja") basadas en etiquetas semánticas.
  ales.
• Síntesis de Datos: Ejecución de trayectorias libres de colisiones para recolectar datos multimodales (RGB, estados de articulación, acciones).
• Expansión de Escena: Edición de la escena (añadir, eliminar, reemplazar, reorganizar) para generar variantes de escena diversas sin tener que ejecutar todo el proceso nuevamente.

Contribuciones Clave

1. Marco de Trabajo TabletopGen: Un motor automatizado y sin entrenamiento que genera escenas de mesa listas para simulación a partir de texto o imágenes únicas, logrando simultáneamente realismo visual, interactividad a nivel de instancia y plausibilidad física.
2. Nuevo Método de Alineación: Un enfoque de alineación de pose y escala desacoplado que utiliza DRO para una optimización de rotación precisa y TSA para la inferencia de traslación y escala con restricciones físicas, superando las limitaciones de la reconstrucción de vista única.
3. Validación Exhaustiva: Experimentos extensos que demuestran un rendimiento de vanguardia en fidelidad visual y validez física, validados por una transferencia de política zero-shot de real-a-sim-a-real.

Resultados

• Desempeño Cuantitativo: En comparaciones con bases de referencia impulsadas por imagen (ACDC, Gen3DSR, MIDI) y métodos impulsados por texto (MesaTask, Holodeck-table), TabletopGen logró los puntajes más altos en métricas visuales/perceptuales (LPIPS, DINOv2, CLIP) y evaluaciones de GPT-4o.
• Plausibilidad Física: TabletopGen redujo significativamente las tasas de colisión. Mientras que las bases de referencia exhibieron tasas de colisión a nivel de escena (Col_S) entre 67% y 98%, TabletopGen logró un Col_S de solo 7.69% y una tasa de colisión a nivel de malla (Col_O) de 0.42%.
• Estudio de Usuario: En un estudio con 128 participantes, TabletopGen fue preferido en el 83.13% de los casos, superando significativamente a las bases de referencia en Fidelidad Visual, Alineación de Imagen y Plausibilidad Física.
• Transferencia al Mundo Real: En un experimento zero-shot de real-a-sim-a-real, las políticas entrenadas únicamente con datos sintéticos generados por TabletopGen se desplegaron en un brazo real AgileX PiPER. Las políticas alcanzaron altas tasas de éxito (por ejemplo, 84% para colocar un mango, 80% para colocar una fresa) sin ningún ajuste fino en el mundo real, validando la precisión física de las escenas generadas.

Significado

El artículo afirma que TabletopGen sirve como un motor de datos confiable para la manipulación robótica. Al resolver el cuello de botella de la generación de escenas interactivas a nivel de instancia y físicamente plausibles, permite la síntesis de bajo costo y escalable de datos de manipulación multimodales. Esta capacidad es crítica para entrenar modelos VLA generalizables y apoya el paradigma "sim-to-real", permitiendo que los robots aprendan políticas de manipulación complejas en simulación que se transfieren efectivamente al mundo físico sin la necesidad de una recolección extensiva de datos en el mundo real. La capacidad del marco para soportar la expansión de escenas mediante la edición de la escena ofrece además una ruta escalable para cubrir diversos entornos de simulación para la IA con cuerpo (embodied AI).