PD$^{2}$GS: Part-Level Decoupling and Continuous Deformation of Articulated Objects via Gaussian Splatting

El artículo presenta PD²GS, un marco novedoso que utiliza la representación mediante Gaussian Splatting para lograr una descomposición precisa a nivel de partes y una deformación continua de objetos articulados sin supervisión manual, superando a los métodos anteriores en precisión geométrica y cinemática mientras introduce el nuevo conjunto de datos RS-Art para evaluación en escenarios reales.

Lo esencial

¡Hola! Imagina que tienes un objeto complejo en tu mano, como una caja de herramientas con múltiples cajones, una gafas con patas plegables o una silla de oficina con ruedas y respaldo ajustable. Estos son "objetos articulados": cosas que tienen partes que se mueven unas respecto a otras.

El problema es que, para que una computadora entienda cómo funcionan estos objetos (por ejemplo, para que un robot pueda abrir un cajón o para crear un videojuego realista), necesitamos crear un modelo 3D perfecto de ellos. Hasta ahora, esto era como intentar adivinar cómo se mueve un rompecabezas viendo solo dos fotos: una con el cajón cerrado y otra con él abierto. Los métodos anteriores a menudo se confundían, mezclaban las partes o se "deslizaban" (se movían mal) cuando intentabas simular el movimiento.

Aquí es donde entra PD2GS, la nueva técnica presentada en este paper. Vamos a explicarla con una analogía sencilla.

🎨 La Analogía: El "Arcilla Mágica" y el "Guía de Baile"

Imagina que tienes una bola de arcilla mágica (esto es lo que los científicos llaman un "campo gaussiano canónico"). Esta arcilla representa la forma básica del objeto cuando está en su estado "neutral" o "por defecto".

1. El Secreto del Movimiento (Decodificación Latente):
   En lugar de crear una nueva arcilla para cada posición (cerrado, medio abierto, totalmente abierto), PD2GS usa un "Guía de Baile" (un código oculto o latent code).

   • Si le das al guía el código "Cajón Abierto", la arcilla se estira y se mueve suavemente para parecer un cajón abierto.
   • Si le das el código "Cajón Cerrado", la arcilla se contrae.
   • La magia: La arcilla nunca se rompe ni se desintegra; simplemente se deforma de manera continua y suave. Esto permite que la computadora imagine cualquier posición intermedia (como un cajón abierto al 37%) sin tener que aprenderla de memoria.

2. Separando las Partes (Desacoplamiento):
   El mayor desafío es saber qué parte de la arcilla es el "cuerpo" de la caja y qué parte es el "cajón". Si no lo separas bien, al abrir el cajón, la caja entera se deformaría de forma extraña.

   • PD2GS actúa como un director de orquesta: Observa cómo se mueve cada pequeño trozo de arcilla (llamado "primitiva gaussiana").
   • Si un trozo se mueve en la misma dirección y velocidad que sus vecinos, el sistema dice: "¡Ah! Estos tres forman el cajón".
   • Si otro grupo se queda quieto, dice: "Estos son la estructura fija".
   • El toque final (SAM): Para asegurarse de que los bordes sean perfectos (que el cajón no se fusione con la caja), el sistema usa una herramienta de inteligencia artificial llamada SAM (Segment Anything Model) como si fuera un lápiz láser. Este lápiz borra los bordes borrosos y dibuja líneas nítidas entre las partes, asegurando que el cajón se separe limpiamente de la caja.

🚀 ¿Por qué es tan importante esto?

• Sin ayuda humana: Antes, necesitabas decirle a la computadora: "Oye, aquí hay un cajón y aquí una puerta". PD2GS lo descubre solo, mirando cómo se mueven las cosas.
• Movimiento suave: Puedes hacer que el objeto se mueva en cámara lenta, acelerado o en cualquier ángulo intermedio, y se verá realista. No hay "saltos" ni deformaciones raras.
• Del mundo real al digital: Los autores crearon un nuevo conjunto de datos llamado RS-Art. Imagina que tomaron fotos reales de objetos en una habitación con buena luz, y luego crearon una copia digital perfecta de ellos. Esto sirve para probar si el sistema funciona con objetos reales (con texturas raras, sombras y reflejos) y no solo con dibujos de computadora.

🏆 El Resultado

En pruebas, PD2GS fue mucho mejor que los métodos anteriores.

• Precisión: Entendió mejor dónde están las bisagras y cómo giran.
• Realismo: Los objetos generados se ven más sólidos y menos como "fantasmas borrosos".
• Versatilidad: Funciona con objetos simples (una puerta) y complejos (una caja con 5 cajones que se mueven a la vez).

En resumen

PD2GS es como darle a una computadora la capacidad de entender la "anatomía" de un objeto solo viéndolo moverse. En lugar de ver un bloque sólido, la computadora ve un conjunto de piezas conectadas que pueden estirarse, girar y deslizarse de forma natural, todo ello sin que un humano tenga que dibujar los planos manualmente. Es un gran paso para que los robots puedan interactuar con nuestro mundo y para crear mundos virtuales que se sientan verdaderamente reales.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo PD2GS: Part-Level Decoupling and Continuous Deformation of Articulated Objects via Gaussian Splatting, publicado en ICLR 2026.

1. Problema y Motivación

Los objetos articulados (puertas, cajones, laptops plegables) son fundamentales en robótica, realidad aumentada/virtual (AR/VR) y gemelos digitales. Sin embargo, la modelación de estos objetos presenta desafíos significativos:

• Fragmentación y Deriva: Los métodos auto-supervisados existentes suelen reconstruir estados de interacción discretos y relacionarlos mediante consistencia geométrica cruzada. Esto genera una representación fragmentada y problemas de "deriva" (drift) que impiden un control suave de las configuraciones articuladas.
• Limitaciones de Supervisión: Los métodos anteriores a menudo requieren modelos 3D anotados, supervisión densa o asumen estructuras cinemáticas simples (un solo movimiento, dos estados).
• Falta de Desacoplamiento: Las técnicas de renderizado dinámico actuales (NeRF/3DGS dinámicos) capturan transformaciones holísticas de la escena, pero no logran desacoplar los movimientos a nivel de partes individuales, lo que resulta en distorsiones geométricas y artefactos borrosos cuando se intenta modelar movimientos continuos a partir de estados discretos.
• Evaluación Insuficiente: La mayoría de los estudios se evalúan en conjuntos de datos sintéticos limitados (como una sola instancia por categoría en PartNet-Mobility) y carecen de validación rigurosa en escenarios reales (real-to-sim).

2. Metodología: PD2GS

El marco propuesto, PD2GS, introduce una formulación unificada que aprende un campo gaussiano canónico compartido y modela cualquier estado de interacción como una deformación continua de este campo. Esto permite codificar conjuntamente geometría, apariencia y cinemática sin supervisión manual.

El pipeline se divide en las siguientes etapas clave:

A. Splatting Gaussiano Deformable (Deformable Gaussian Splatting)

• Se define un campo gaussiano canónico $\mathcal{G}$ que representa la estructura base del objeto.
• Cada estado de interacción $k$ se parametriza mediante un código latente $\alpha_k$.
• Una red MLP ($f_{def}$) toma los parámetros de los primitivos gaussianos canónicos y el código latente para predecir desplazamientos per-primitivo ($\Delta \mu, \Delta q, \Delta s$) en posición, rotación y escala.
• Esto transforma el campo canónico en la configuración específica del estado $k$, permitiendo la interpolación suave entre estados no vistos.

B. Segmentación de Nivel de Parte (Part-Level Segmentation)

Para lograr el desacoplamiento de las partes, PD2GS emplea una estrategia de segmentación de grueso a fino:

1. Separación Basada en Movimiento: Se identifican los primitivos dinámicos calculando el desplazamiento euclidiano máximo de sus centros a través de los estados de interacción.
2. Estimación del Número de Partes (VLM): Se utiliza un Modelo de Lenguaje Visual (VLM) para analizar pares de imágenes de diferentes estados y estimar cuántos componentes móviles existen, eliminando la necesidad de especificar el número de partes manualmente.
3. Agrupamiento por Trayectoria: Los primitivos dinámicos se agrupan mediante K-means basándose en la similitud de sus trayectorias de deformación.
4. Refinamiento de Bordes (SAM): Se utiliza el modelo Segment Anything Model (SAM) para refinar los límites de las partes.
   • Se generan prompts (puntos positivos y negativos) basados en la visibilidad de las partes en las vistas renderizadas.
   • Se aplica un desdoblamiento (splitting) consciente de los bordes: si un elipsoide gaussiano cruza la máscara de una parte, se divide recursivamente en dos hijos (uno para la parte y otro para el fondo) para garantizar interfaces nítidas y evitar la penetración entre partes.

C. Modelado Multi-tarea

Una vez obtenida la campo gaussiano consciente de las partes, el sistema extrae:

• Geometría: Mallas 3D mediante Marching Cubes aplicadas a los subconjuntos de primitivos de cada parte.
• Tipificación de Articulaciones: Clasificación automática de uniones como rotacionales (revolute) o prismáticas (prismatic) analizando el rango de la matriz de residuos tras alinear los estados.
• Estimación Cinemática: Cálculo de ejes de rotación, puntos pivote y distancias de deslizamiento.

3. Contribuciones Clave

1. Marco Auto-supervisado Unificado: PD2GS es el primer marco que aprende un campo gaussiano canónico y modela estados arbitrarios como deformaciones continuas, logrando el desacoplamiento a nivel de parte y la recuperación conjunta de geometría y cinemática sin etiquetas manuales.
2. Segmentación de Grueso a Fino: Propone un método novedoso que combina agrupamiento basado en trayectorias de deformación con refinamiento de bordes asistido por SAM, logrando interfaces de partes precisas y movimiento suave.
3. Nuevo Dataset RS-Art: Se libera RS-Art, un conjunto de datos de evaluación real-to-sim de alta calidad. Incluye capturas RGB-D de objetos reales en múltiples estados de articulación, emparejadas con sus gemelos digitales inversamente modelados (con mallas, texturas y propiedades físicas), permitiendo una evaluación rigurosa del rendimiento en el mundo real.
4. Evaluación Exhaustiva: Se evalúa en múltiples instancias por categoría (ampliando PartNet-Mobility) y en el nuevo dataset RS-Art, demostrando superioridad sobre métodos anteriores.

4. Resultados Experimentales

• Precisión Geométrica y Cinemática: PD2GS supera a los métodos state-of-the-art (como PARIS, ArticulatedGS, DTArt, ArtGS) en métricas de distancia de Chamfer (CD) para partes estáticas y móviles, así como en la precisión de los parámetros de las uniones (ángulo y posición del eje).
• Control Continuo y Generalización: A diferencia de los métodos basados en dos estados, PD2GS permite la interpolación de códigos latentes para generar estados de interacción nunca vistos con alta fidelidad, manteniendo la separación de partes y evitando artefactos geométricos.
• Rendimiento en Datos Reales: En el dataset RS-Art, el método demuestra robustez ante ruido de sensores y condiciones de iluminación desafiantes, superando significativamente a los baselines en la reconstrucción de detalles y la estabilidad del movimiento.
• Análisis de Ablación: Se demuestra que la etapa de refinamiento (splitting consciente de bordes) es crucial, reduciendo los errores de geometría en las fronteras de las partes en un 60%.

5. Significado e Impacto

El trabajo de PD2GS representa un avance significativo en la representación de objetos articulados para aplicaciones de gemelos digitales y robótica.

• Sin Supervisión Manual: Elimina la dependencia de anotaciones costosas de partes y cinemática, haciendo la tecnología escalable.
• Control Suave: La capacidad de modelar deformaciones continuas permite una interacción fluida y realista en entornos virtuales y simulaciones físicas.
• Puente Real-Sim: La introducción del dataset RS-Art establece un nuevo estándar para la evaluación de métodos de reconstrucción 3D en escenarios del mundo real, cerrando la brecha entre la investigación sintética y la aplicación práctica.

En resumen, PD2GS ofrece una solución unificada, precisa y auto-supervisada para la reconstrucción, segmentación y control de objetos articulados complejos, superando las limitaciones de fragmentación y falta de generalización de los enfoques anteriores.