Point-based Instance Completion with Scene Constraints

Este trabajo propone un modelo de completado de instancias basado en nubes de puntos que integra restricciones de escena mediante un mecanismo de atención cruzada para recuperar geometrías faltantes con mayor fidelidad y plausibilidad, validado mediante un nuevo dataset llamado ScanWCF.

Lo esencial

¡Claro que sí! Imagina que eres un robot o un dron que entra en una habitación oscura y llena de muebles. Tu cámara solo puede ver la parte de los objetos que está frente a ti; el resto está oculto detrás de otros muebles o en las sombras. Tu misión es reconstruir mentalmente cómo se ve el objeto completo (la silla, la mesa, la lámpara) para poder interactuar con él sin chocar.

Este paper presenta una nueva forma de hacer exactamente eso, y aquí te lo explico como si fuera una historia:

1. El Problema: El "Rompecabezas" Ciego

Antes, los robots intentaban completar estos objetos como si estuvieran en un laboratorio perfecto:

• El problema de la "foto de estudio": Los métodos anteriores exigían que el objeto estuviera siempre derecho, centrado y de tamaño estándar (como si te pidieran que armara un rompecabezas solo si las piezas ya están ordenadas en la caja). Pero en la vida real, las sillas están torcidas, las mesas están lejos y los objetos están en posiciones locas.
• El problema de "no mirar a los lados": Además, estos métodos antiguos completaban el objeto ignorando lo que había a su alrededor. A veces, el robot "imaginaba" una parte de la mesa que atravesaba la pared o se metía dentro de otra silla, causando colisiones imposibles.

2. La Solución: El "Arquitecto con Sentido Común"

Los autores proponen un nuevo modelo que actúa como un arquitecto muy inteligente que no solo ve la pieza que le das, sino que entiende el contexto de toda la habitación.

A. La "Brújula" en lugar de la "Regla"

En lugar de obligar al objeto a ponerse derecho (como hacían los viejos métodos), este nuevo modelo tiene una "brújula" interna.

• La analogía: Imagina que quieres dibujar un coche. Los métodos antiguos te decían: "Primero pon el coche derecho en el centro de la hoja". El nuevo modelo dice: "No importa dónde esté el coche ni si está de lado; yo voy a adivinar dónde está su centro de gravedad y luego dibujaré el resto alrededor de ese punto".
• Esto le permite completar objetos en cualquier posición, tamaño o rotación, tal como los ve en la vida real.

B. Las "Vallas de Seguridad" (Restricciones de la Escena)

Esta es la parte más genial. El modelo no solo mira el objeto, sino que también mira el "entorno".

• La analogía: Imagina que estás pintando un cuadro de una habitación. Si ves que hay una pared a tu derecha, tu pincel no puede pintar una silla que atraviese esa pared.
• El modelo usa lo que llama "restricciones de la escena". Son como vallas de seguridad invisibles hechas de puntos.
  • Zona Libre: "Aquí hay aire, puedo poner objetos".
  • Zona Ocupada: "Aquí ya hay una pared o una mesa, no puedo poner nada".
  • Zona Oculta: "Aquí no veo nada, pero sé que hay algo detrás, así que no debo inventar cosas que choquen con lo que no veo".
• Gracias a esto, el robot completa la parte oculta de la silla sin que las patas de la silla atraviesen la mesa vecina.

3. El Nuevo "Campo de Entrenamiento" (ScanWCF)

Para entrenar a este arquitecto, necesitaban un libro de ejercicios perfecto. Los libros anteriores tenían errores:

• A veces, la "solución" del ejercicio (el objeto completo) no encajaba bien con la "pregunta" (la parte visible).
• A veces, la solución tenía objetos que se atravesaban entre sí (colisiones), lo cual es imposible en la realidad.

Los autores crearon un nuevo dataset llamado ScanWCF.

• WCF significa "Watertight and Collision Free" (Estanco y Libre de Colisiones).
• Imagina que es como un set de LEGO donde todas las piezas encajan perfectamente, no hay piezas flotando en el aire y ninguna pieza atraviesa a otra. Es un "mundo ideal" para que el modelo aprenda a ser realista.

4. Los Resultados: ¿Qué gana el robot?

Cuando probaron este nuevo sistema contra los anteriores:

• Mayor Fidelidad: Si ves una pata de silla rota, el robot completa la otra pata con el mismo grosor y estilo, no inventa una pata gigante.
• Menos Choques: El robot ya no "alucina" partes del objeto que se meten en las paredes o en otros muebles.
• Calidad de "Ojo Humano": Pueden reconstruir detalles finos, como las patas delgadas de una silla o los tiradores de un cajón, que los métodos anteriores solían borrar o redondear.

En Resumen

Este paper es como enseñarle a un robot a soñar con los ojos abiertos. En lugar de adivinar ciegamente cómo se ve un objeto oculto, el robot ahora:

1. Entiende que los objetos pueden estar en cualquier posición (no necesita que estén "perfectos").
2. Mira a su alrededor para asegurarse de que lo que imagina no choque con la realidad (paredes, otros muebles).
3. Lo hace todo con una precisión tal que puede reconstruir la habitación completa sin errores, listo para que un robot real pueda caminar y agarrar cosas sin chocar.

Es un gran paso para que los robots puedan vivir y trabajar en nuestras casas de forma segura y natural.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Point-Based Instance Completion with Scene Constraints" (Completado de Instancias Basado en Puntos con Restricciones de Escena), presentado en ICLR 2025.

1. El Problema

La modelización de objetos a partir de observaciones de sensores (como LiDAR o cámaras de profundidad) es crucial para la interacción robótica en entornos reales. Sin embargo, los sensores solo proporcionan observaciones parciales debido a oclusiones.

Existen dos enfoques principales en la literatura actual, ambos con limitaciones significativas:

• Completado de Objetos Basado en Puntos: Métodos como SeedFormer o SnowflakeNet logran recuperar geometrías faltantes con alta fidelidad, pero operan bajo la suposición de coordenadas canónicas (el objeto está centrado en el origen, escalado a 1 y rotado de una manera específica). Esto es irrealista en escenas reales donde los objetos tienen poses y escalas arbitrarias.
• Completado de Escenas de Instancias: Métodos como RfD-Net o DIMR intentan completar objetos dentro de una escena, pero a menudo carecen de la calidad geométrica de los métodos basados en puntos y, lo más crítico, no consideran las restricciones de la escena (como otras superficies observadas o espacios libres conocidos). Esto provoca que las completaciones generen colisiones con otros objetos o invadan el espacio libre visible.

Además, los conjuntos de datos existentes (Scan2CAD, ScanARCW) sufren de problemas de alineación entre el escaneo parcial y la malla de referencia, o contienen colisiones en los datos de "ground truth" (verdad fundamental), lo que hace que la evaluación sea poco fiable.

2. Metodología

Los autores proponen un modelo de completado de instancias basado en nubes de puntos que es robusto a la escala y la pose arbitraria, e incorpora restricciones de la escena. El marco de trabajo consta de las siguientes etapas:

A. Arquitectura General

1. Segmentación de Instancias: Se utiliza Mask3D (un método de segmentación de instancias 3D de última generación) para descomponer el escaneo parcial de la escena en objetos individuales.
2. Codificador Parcial (Partial Encoder):
   • Codifica cada instancia parcial en características locales y un descriptor global de forma.
   • Mejora clave: Reemplaza las capas PointConv estándar por VI-PointConv (Point Convolution Invariante a la Vista), que utiliza embebidos de posición invariantes a la rotación y la escala. Además, utiliza las normales de superficie estimadas como entrada para una mejor descripción de la geometría local.
3. Generador de Semillas (Seed Generator):
   • En lugar de predecir coordenadas de semillas directamente (lo cual falla sin coordenadas canónicas), el modelo predice primero el centro del objeto y luego las semillas como desplazamientos (offsets) desde ese centro.
   • Utiliza un mecanismo de atención cruzada (cross-attention) para integrar restricciones de la escena.
4. Restricciones de la Escena (Scene Constraints):
   • Se representan como conjuntos dispersos de puntos que definen dos "caparazones" (shells) alrededor de las superficies observadas: uno para el espacio libre conocido y otro para el espacio ocluido conocido.
   • Estas restricciones se inyectan en el generador de semillas mediante bloques de transformadores, permitiendo que el modelo "razone" sobre qué áreas evitar para evitar colisiones.
5. Decodificador de Fino a Grueso (Coarse-to-Fine Decoder):
   • Utiliza capas de muestreo (upsampling) que combinan atención local y global. La atención global es crucial para mantener la coherencia en toda la forma y recuperar detalles finos a partir de partes simétricas del objeto.
6. Reconstrucción de Malla:
   • Se introduce un módulo de estimación de normales entrenado conjuntamente para predecir normales precisas en la nube de puntos densa. Esto permite reconstruir mallas de alta calidad utilizando NKSR, evitando el ruido típico de las normales estimadas por ajuste de planos PCA.

B. Pérdida (Loss Function)

El modelo se entrena minimizando una combinación de:

• Distancia de Chamfer (CD) entre la completación y la verdad fundamental.
• Distancia de Chamfer de un solo lado (OCD) para asegurar que la completación respete el escaneo parcial.
• Error cuadrático medio (MSE) en la predicción del centro del objeto.
• Pérdida de similitud coseno para las normales de superficie.

3. Contribuciones Clave

1. Modelo de Completado Robusto: Un nuevo modelo de completado a nivel de objeto que no requiere coordenadas canónicas, siendo robusto a poses y escalas arbitrarias dentro de una escena.
2. Integración de Restricciones de Escena: La introducción de un conjunto disperso de restricciones (espacio libre y ocluido) integradas mediante atención cruzada, lo que permite al modelo generar completaciones plausibles que evitan colisiones con otros objetos y respetan el espacio visible.
3. Nuevo Conjunto de Datos (ScanWCF):
   • Creación de ScanWCF (Watertight and Collision Free), un nuevo dataset para completado de escenas interiores.
   • Corrige los problemas de alineación de Scan2CAD y las colisiones en ScanARCW.
   • Contiene 1202 escenas con escaneos parciales alineados y mallas de verdad fundamental que son estancas (watertight) y libres de colisiones.

4. Resultados

Los experimentos se realizaron en el nuevo dataset ScanWCF, comparando contra RfD-Net y DIMR.

• Calidad de Completado de Escenas: El método propuesto supera significativamente a los métodos baselines en todas las métricas (IoU, Chamfer Distance, Light Field Distance).
  • Muestra una caída mucho menor en el rendimiento al pasar de umbrales fáciles a difíciles, indicando una mejor capacidad para representar detalles geométricos finos.
  • Logra una fidelidad superior al escaneo parcial (menor distancia de Hausdorff unidireccional).
• Reducción de Colisiones:
  • El método reduce drásticamente las colisiones entre objetos completados. Mientras que RfD-Net y DIMR tienen tasas de colisión del ~3-4%, el método propuesto se mantiene por debajo del 2%.
  • La distancia promedio de colisión es 3-4 veces menor que en los métodos anteriores.
• Ablación:
  • Se demostró que el uso de VI-PointConv y la predicción de desplazamientos desde el centro son esenciales para el rendimiento en poses arbitrarias.
  • Las restricciones de la escena mejoran la calidad de completado en un 7% y reducen la penetración de colisiones en un 29%.
• Generalización: El modelo generaliza bien a escaneos reales de ScanNet no vistos durante el entrenamiento, produciendo completaciones plausibles incluso en condiciones ruidosas.

5. Significado e Impacto

Este trabajo representa un avance significativo en la percepción 3D para robótica y realidad aumentada. Al eliminar la dependencia de coordenadas canónicas y, crucialmente, al incorporar el contexto de la escena para evitar colisiones, el método permite una interacción física más segura y precisa con objetos en entornos reales.

La creación de ScanWCF es fundamental para el campo, ya que proporciona un estándar de evaluación limpio y realista, eliminando el ruido introducido por datos de entrenamiento imperfectos en trabajos anteriores. La capacidad de generar mallas estancas y libres de colisiones a partir de escaneos parciales es un paso necesario para que los robots puedan planificar trayectorias de agarre y navegación de manera confiable en entornos domésticos y de oficina.