ParCo-SDF: Learning Prior-Free Partial-to-Complete Signed Distance Fields of Deformable Objects

Resumen Técnico: ParCo-SDF

Enunciado del Problema
La manipulación de objetos deformables (DOM) enfrenta desafíos significativos debido a los grados de libertad infinitos y los cambios geométricos continuos inherentes a los objetos deformables (DO). Estas propiedades frecuentemente conducen a oclusiones severas por auto-oclusión y oclusiones inducidas por el robot, oscureciendo la información crítica del estado requerida para el control. Si bien los enfoques recientes utilizan Representaciones Neuronales Implícitas (INR) para modelar superficies continuas, a menudo dependen de priores de forma específicos del objeto (por ejemplo, plantillas predefinidas o simetría) para estabilizar el entrenamiento e inferir la geometría completa a partir de observaciones parciales. Tales priores limitan la generalización a escenarios de deformación no vistos. Además, los mecanismos de condicionamiento existentes, como la concatenación de entradas o las hiperredes, luchan con la escalabilidad, la capacidad representacional o la estabilidad del entrenamiento al manejar instancias diversas y estados de deformación continuos. El problema central abordado es la reconstrucción de campos de distancia firmada (SDF) completos y de alta fidelidad para objetos deformables a partir de observaciones parciales de nubes de puntos ordenadas temporalmente, sin depender de priores de forma explícitos.

Metodología: ParCo-SDF
Los autores proponen ParCo-SDF, un marco de dos etapas diseñado para la reconstrucción de SDF de parcial a completo sin priores. La arquitectura condiciona una red implícita compartida sobre un código latente derivado de una ventana deslizante de observaciones parciales $\{P_{t-T+1}, \dots, P_t\}$.

1. Codificación de Geometría Temporal (Etapa 1):
   En lugar de agregar conjuntos de puntos crudos, lo cual es sensible al muestreo irregular, el codificador transforma las observaciones en un espacio latente compacto.

   • Levantamiento de Características a Nivel de Punto: Las coordenadas crudas se mapean a un espacio de mayor dimensión utilizando un mapeo de características de Fourier aprendible para mejorar la expresividad espacial.
   • Codificación Geométrica Local: Una Red Neuronal Convolucional de Gráficos Dinámicos (DGCNN) procesa cada observación levantada para generar un código latente invariante a la permutación y consciente de la geometría ($\tilde{z}_i$) que captura estructuras parciales locales.
   • Agregación Temporal: Un mecanismo de auto-atención agrega la secuencia de códigos a nivel de observación para inferir el estado de deformación en el tiempo $t$, produciendo un código latente final $z_t$. Esto permite que el modelo capture similitudes estructurales a través de la secuencia sin priores explícitos.

2. Predicción de SDF Condicionada por FiLM (Etapa 2):
   El código latente $z_t$ condiciona una red SDF implícita compartida (basada en la arquitectura SIREN) mediante Modulación Lineal a Nivel de Características (FiLM).

   • Modulación Solo de Desplazamiento: Para mejorar la estabilidad de la optimización y evitar amplificar las pre-activaciones sinusoidales, el modulador predice parámetros de desplazamiento ($\beta^{(\ell)}$) a nivel de capa en lugar de factores de escala.
   • Eficiencia de Parámetros: A diferencia de las hiperredes que predicen matrices de pesos completas (lo que conduce a un crecimiento cuadrático de parámetros), este enfoque predice parámetros de desplazamiento que escalan linealmente con el ancho de la red. Esto permite una mayor capacidad de red implícita con un entrenamiento estable.
   • Objetivo de Entrenamiento: El modelo se entrena utilizando una suma ponderada de tres pérdidas:
     • Supervisión de Superficie ($L_{surface}$): Impone la consistencia del conjunto de nivel cero y las normales de superficie correctas utilizando una formulación de pérdida Focal para manejar el desequilibrio de clases en configuraciones dispersas y altamente deformadas.
     • Regularización Eikonal ($L_{eik}$): Impone la propiedad del SDF $\|\nabla f_\theta(x)\| = 1$ en puntos fuera de la superficie.
     • Regularización del Espacio Latente ($L_z$): Penaliza la norma euclidiana del código latente para prevenir el crecimiento ilimitado y mejorar la generalización.

Contribuciones Clave

• Reconstrucción sin Priores: El método logra una reconstrucción robusta de geometría de parcial a completo sin depender de priores de forma específicos del objeto, permitiendo la generalización a estructuras y deformaciones imprevistas.
• Codificación de Geometría Temporal: Al agregar una secuencia de observaciones parciales mediante auto-atención, el marco captura la información estructural necesaria para resolver oclusiones que son ambiguas en cuadros individuales.
• Condicionamiento Estable y Expresivo: La introducción de un mecanismo de modulación solo de desplazamiento basado en FiLM permite una red implícita compartida más grande con entrenamiento estable, superando los problemas de escalabilidad e inestabilidad del condicionamiento basado en hiperredes.
• Robustez ante Oclusión: El marco está diseñado específicamente para manejar oclusiones severas por auto-oclusión y oclusiones inducidas por el robot comunes en la manipulación de DO.

Resultados Experimentales
El método se evaluó en un conjunto de datos de manipulación de bandas elásticas generado en Isaac Sim, que involucra secuencias con elongación, flexión y torsión. El modelo se entrenó en cuatro secuencias y se evaluó en una secuencia retenida con trayectorias de deformación no vistas.

• Métricas: El rendimiento se midió utilizando la Distancia de Chamfer (CD) para la fidelidad geométrica y la Tasa de Éxito Topológico (TSR) para la corrección topológica (preservación del género).
• Comparación: ParCo-SDF superó a la línea base del estado del arte, INR-DOM (que utiliza una hiperred y pérdida de esqueleto).
  • ParCo-SDF redujo la CD en un 23.6% y mejoró la TSR en un 21.9% en comparación con INR-DOM.
  • La línea base (INR-DOM) exhibió una mayor varianza en los errores de reconstrucción, lo que sugiere inestabilidad bajo patrones de oclusión variables, mientras que ParCo-SDF demostró una varianza significativamente menor.
• Ablación: Eliminar las capas de agregación temporal (ParCo-SDF-T) resultó en una brecha de rendimiento, confirmando el papel crítico de las pistas temporales para inferir la topología completa a partir de observaciones parciales.
• Cualitativo: En casos de oclusión severa, ParCo-SDF reconstruyó con éxito la topología de toroide de la banda elástica, mientras que la línea base a menudo producía conexiones espurias y artefactos de superficie.

Significado y Afirmaciones
El artículo afirma que ParCo-SDF proporciona una base prometedora para la reconstrucción de geometría deformable sin priores. Al aprovechar la codificación de geometría temporal y el condicionamiento basado en FiLM, el método logra una reconstrucción robusta y de alta fidelidad bajo oclusiones severas y estados de deformación previamente no vistos. Los autores señalan que, si bien los experimentos actuales se limitan a la simulación y a una sola categoría de objeto (bandas elásticas), el marco aborda limitaciones fundamentales en generalización y estabilidad encontradas en los enfoques existentes basados en INR. El trabajo futuro se identifica como la investigación de la generalización a través de diversos objetos deformables y escenarios de manipulación robótica en el mundo real.