Resumen Técnico: Percibir-Planificar: Disposición como Política para la Estimación de la Disposición de Escenas 3D Monoculares

Enunciado del Problema

Recuperar disposiciones estructuradas de escenas interiores 3D a partir de una única imagen monocular es un desafío fundamental en visión por computadora, con aplicaciones en robótica, simulación y creación de contenido. Los enfoques existentes suelen formular esto como un problema de predicción directa, donde los modelos regresan ubicaciones, tamaños y orientaciones de objetos en una sola pasada hacia adelante. Sin embargo, estos métodos a menudo luchan por imponer restricciones globales y relaciones interobjetos. Dado que las escenas interiores 3D son inherentemente estructuradas e interdependientes, pequeños errores locales en predicciones de un solo disparo pueden propagarse en grandes inconsistencias globales, lo que lleva a disposiciones físicamente implausibles (por ejemplo, objetos flotantes, colisiones o relaciones de soporte inválidas). La dificultad central radica en conciliar observaciones visuales ambiguas con restricciones físicas y espaciales sin ingeniería de recompensas explícita ni funciones objetivo diseñadas a mano.

Metodología

Los autores proponen un marco Percibir-Planificar que reformula la estimación de la disposición 3D monocular como un problema de toma de decisiones secuencial utilizando Modelos Visuales-Lingüísticos (VLM). La tubería consta de dos etapas distintas:

1. El Perceptor (Inicialización)

La primera etapa se centra en anclar objetos 3D desde la imagen de entrada y las detecciones 2D.

• Arquitectura: Un VLM mejorado con geometría (basado en Qwen3-VL) sirve como Perceptor.
• Modulación Consciente de la Geometría: Para cerrar la brecha entre las características visuales y la geometría 3D, el modelo inyecta priores geométricos de un codificador de geometría preentrenado (VGGT) en las características visuales del VLM a través de un módulo de modulación ligero. Esto permite que el modelo aproveche la comprensión visual mientras es guiado por señales geométricas.
• Representación: En lugar de regredir vértices 3D crudos, el Perceptor emite una representación parametrizada de cajas 3D (centro, escala y ejes locales) en un sistema de coordenadas de la cámara.
• Canonización: Las cajas 3D ancladas se transforman en una representación canónica basada en una cuadrícula alineada con la gravedad. Esta discretización (redondear posiciones y orientaciones a índices de cuadrícula) prepara el estado de la escena para el refinamiento basado en acciones posterior.

2. El Planificador LaP (Refinamiento)

La segunda etapa, denominada Disposición como Política (LaP), trata la disposición 3D como un estado estructurado y el refinamiento como un problema de aprendizaje de políticas.

• Espacio de Acciones: El planificador opera sobre un conjunto discreto de acciones: SELECCIONAR (elegir un objeto), MOVER (trasladar), ROTAR_Y (guiñada), REDIMENSIONAR (escalar) y DETENER. Estas acciones están diseñadas para corregir modos de fallo específicos como desalineación, soporte incorrecto y colisiones.
• Estrategia de Entrenamiento:
  • Síntesis de Datos Perturbados: Los datos de entrenamiento se construyen tomando disposiciones de verdad fundamental, aplicando perturbaciones aleatorias (simulando errores de inicialización) y generando las secuencias de acciones inversas necesarias para restaurar la verdad fundamental.
  • Ajuste Fino Supervisado (SFT): El planificador se inicia primero con SFT en estos pares de datos perturbados para aprender el formato de seguimiento de instrucciones y comportamientos correctivos básicos.
  • Optimización Directa de Preferencias (DPO): Para aprender nociones implícitas de validez geométrica sin modelado de recompensas explícito, los autores emplean DPO. El modelo se entrena para preferir secuencias de acciones que conducen a disposiciones físicamente coherentes sobre secuencias "degradadas" (por ejemplo, aquellas con tipos de acción incorrectos, pasos faltantes o magnitudes incorrectas).
• Proceso Iterativo: El refinamiento se realiza de forma iterativa. El planificador toma el estado actual de la escena y la imagen de entrada, predice una secuencia de acciones, las aplica para actualizar el estado y se repite hasta la convergencia (señalada por un token DETENER o un límite de rondas).

3. Ensamblaje de la Escena

Tras el refinamiento, se genera un grafo de contactos de la escena para agrupar objetos en conjuntos relacionales (por ejemplo, una lámpara sobre una mesa sobre el suelo). Se aplica una simulación de gravedad de un solo paso a estos conjuntos para resolver artefactos menores de flotación o penetración causados por la discrepancia entre las cajas 3D abstractas y los activos 3D reales.

Contribuciones Clave

1. Tubería Percibir-Planificar: Los autores introducen una formulación novedosa para la estimación de la disposición 3D monocular que descompone la tarea en una etapa de percepción (anclaje) y una etapa de planificación (refinamiento iterativo), alejándose de la predicción de un solo disparo.
2. Disposición como Política (LaP): Proponen plantear la etapa de refinamiento de la disposición como un problema de aprendizaje de políticas donde las disposiciones 3D son estados estructurados y las operaciones de refinamiento son acciones discretas. Esto permite un razonamiento explícito sobre el cumplimiento de restricciones.
3. Perceptor Mejorado con Geometría: Un módulo de anclaje basado en VLM que integra características visuales y geométricas para producir disposiciones iniciales fiables y alineadas con las observaciones, proporcionando un punto de partida sólido para el refinamiento.
4. Optimización Basada en Preferencias: El uso de DPO permite que el planificador aprenda comportamientos correctivos y comprenda la coherencia espacial a través de comparaciones relativas de secuencias de acciones, evitando la necesidad de una ingeniería de recompensas compleja.

Resultados Experimentales

El método se evaluó en los conjuntos de datos Hypersim y SUN RGB-D.

• Rendimiento del Perceptor: El Perceptor propuesto supera significativamente a los VLM de código abierto y cerrado más avanzados (incluyendo GPT-4o y Gemini) en métricas de anclaje 3D. Específicamente, logra un IoU de reproyección de 0.58 (frente a 0.33 para el siguiente mejor modelo de código abierto) y un Error de Profundidad Promedio de 0.08m.
• Rendimiento del Refinamiento: El refinamiento iterativo con el Planificador LaP produce mejoras sustanciales sobre la salida inicial del Perceptor.
  • Plausibilidad Física: El método reduce la Tasa de Violación de Soporte (SVR) del 11.63% al 4.85% y la cuenta de colisiones de 3.62 a 1.46.
  • Alineación Visual: El IoU de reproyección mejora de 0.54 a 0.65, demostrando que el refinamiento mejora la consistencia física sin desviarse de la evidencia visual.
• Comparaciones: El enfoque supera las líneas base de refinamiento directo de VLM de un solo disparo y de refinamiento basado en reglas. Los métodos basados en reglas no logran mantener la alineación visual, mientras que los VLM de un solo disparo luchan por corregir errores intermedios de manera efectiva.

Significado y Afirmaciones

El artículo afirma que transformar la estimación de la disposición de una tarea de predicción de un solo disparo a un proceso iterativo de percibir-planificar permite un mejor manejo de las restricciones globales y las interacciones complejas entre objetos. Al tratar el refinamiento de la disposición como un problema de aprendizaje de políticas, el marco soporta naturalmente tareas aguas abajo como la edición de escenas guiada por lenguaje y la manipulación encarnada, ya que la interfaz basada en acciones permite la modificación directa del estado de la escena.

Los autores enfatizan que su enfoque produce disposiciones que son más coherentes físicamente y mejor alineadas con las observaciones visuales. Posicionan este trabajo como un paso hacia la habilitación de Modelos Visuales-Lingüísticos para realizar un razonamiento 3D robusto en escenarios del mundo real, particularmente en dominios que requieren una comprensión de escenas físicamente válida como la robótica y la simulación. El artículo reconoce limitaciones, señalando su dependencia de detectores 2D comerciales y su enfoque actual en entornos interiores estructurados, sugiriendo trabajo futuro en entradas de múltiples vistas y optimización conjunta de las etapas de percepción y planificación.