ShapeGrasp: Simultaneous Visuo-Haptic Shape Completion and Grasping for Improved Robot Manipulation

Resumen Técnico de ShapeGrasp: Completado de Forma Visuo-Háptica Simultáneo y Agarre para una Manipulación Robótica Mejorada

Planteamiento del Problema
El agarre robusto de objetos desconocidos a priori sigue siendo un desafío cuando los objetos solo se observan parcialmente mediante una única vista RGB-D, lo que resulta en grandes regiones ocluidas. Aunque los métodos de completado de forma pueden inferir la geometría faltante, los modelos resultantes suelen contener incertidumbre o geometría alucinada, lo que conduce a fallos en la planificación del agarre, particularmente con objetos complacientes. Por el contrario, el agarre es una interacción informativa que proporciona retroalimentación táctil y restricciones sobre el espacio ocupado por la pinza (espacio libre). Los enfoques existentes suelen tratar el completado de la forma y el agarre como etapas separadas o dependen de bucles de exploración háptica dedicados que consumen mucho tiempo. Los autores abordan la necesidad de un sistema que reconstruya simultáneamente un modelo 3D detallado y ejecute agarres, utilizando la retroalimentación de los intentos de agarre (éxito o fallo) para refinar iterativamente el modelo del objeto y replanificar.

Metodología
Los autores proponen ShapeGrasp, un pipeline visuo-háptico iterativo que acopla el completado de forma mediante superficies implícitas con la planificación de agarre basada en física. El sistema opera en un bucle cerrado:

1. Representación del Objeto: El sistema representa el objeto como una superficie implícita definida por una Función de Distancia con Signo (SDF), $O = \{x \in \mathbb{R}^3 \mid f(x; \theta, z_r) = 0\}$. La entrada es una nube de puntos agregada $X_r$ que contiene la observación visual inicial, los contactos táctiles y las restricciones de espacio libre.
2. Completado de Forma: El componente central es una red neuronal profunda basada en la Regularización Geométrica Implícita para el Aprendizaje de Formas (IGR). Esta optimiza un vector latente $z_r$ para la instancia específica del objeto para aproximar la SDF. La red está entrenada para minimizar la distancia a los puntos observados y alinearse con las normales de la superficie, mientras que un término de Eikonal regulariza la magnitud del gradiente.
3. Fusión de Datos:
   • Visual: Datos RGB-D iniciales de una cámara fija sobre la mesa y datos opcionales de una cámara en la muñeca.
   • Táctil: Cuando los sensores de la pinza entran en contacto con el objeto, sus posiciones se computan mediante cinemática directa y se añaden como datos de nube de puntos.
   • Espacio Libre: El volumen ocupado por el cuerpo de la pinza durante el acercamiento se proyecta como una nube de puntos. Estos puntos son tratados como restricciones que deben estar fuera del objeto (distancia con signo positiva), evitando que la red alucine geometría en la trayectoria de la pinza.
4. Estimación de Pose: Entre iteraciones, la pose 6D del objeto se reestima utilizando la alineación de Punto Más Cercano Iterativo (ICP) entre la nube de puntos segmentada actual y el marco de referencia inicial, permitiendo que los nuevos datos se fusionen correctamente.
5. Generación de Agarre: Un planificador de agarre basado en física (usando PyBullet) genera candidatos a partir de la malla triangular reconstruida. Muestrea puntos de la superficie, computa vectores de acercamiento y simula el agarre (cerrar, levantar y rotar) para evaluar la estabilidad. Una puntuación de calidad $q$ penaliza el deslizamiento, el movimiento del objeto y la falta de contacto.
6. Bucle Iterativo: El sistema intenta el agarre factible de mayor calidad. Si el agarre falla (el objeto se desliza o cae), el sistema detecta el fallo, reestima la pose, actualiza el modelo de la forma con los nuevos datos táctiles y de espacio libre, y genera nuevos candidatos de agarre. El bucle continúa hasta que se logra un agarre exitoso o se alcanza el número máximo de iteraciones.

Contribuciones Clave

1. Pipeline Iterativo de Agarre y Completado: Los autores presentan el primer enfoque, según su conocimiento, que actualiza las representaciones de la forma en el mundo real tras un intento de agarre. El pipeline integra contactos táctiles y restricciones de espacio libre derivadas de la pinza para refinar el modelo implícito del objeto y dispara el re-agarre tras un fallo.
2. Generador de Propuesta de Agarre Basado en Física: Un generador novedoso que consume mallas triangulares reconstruidas y soporta pinzas de múltiples dedos mediante modelos URDF. Utiliza simulación de cuerpo rígido para evaluar la estabilidad del agarre, integrándose estrechamente con la salida del completado de forma.
3. Evaluación en el Mundo Real: Se realizaron experimentos extensos en dos robots diferentes (Kinova Gen3 y KUKA iiwa) con dos pinzas distintas (Robotiq 2F-85 y Barrett Hand) equipadas con sensores táctiles. El estudio incluye un análisis de ablación de las fuentes de información (solo visual, espacio libre, táctil y combinado).
4. Código Abierto: El código y los datos se han puesto a disposición pública.

Resultados
El método fue evaluado en 9 objetos del conjunto de datos YCB a través de 10 ejecuciones por objeto.

• Tasa de Éxito de Agarre (GSR): ShapeGrasp logró tasas de éxito superiores en comparación con las líneas base (HyperPCR, 3DSGrasp, VQDIF, VISHAC, etc.). Alcanzó una tasa de éxito del 84% con la mano Barrett de tres dedos y del 91% con la pinza Robotiq 2F-85 de dos dedos.
• Calidad del Completado de Forma: El método superó a las líneas base en las métricas de Distancia de Chamfer (CD) y Distancia de Hausdorff (HD). Para la pinza Robotiq, ShapeGrasp logró una CD de 18.64 mm frente a los 23.85 mm de la mejor línea base (HyperPCR). La inclusión de datos táctiles proporcionó una mejora estadísticamente significativa (aprox. 5.5% de mejora promedio en las métricas) sobre el completado basado únicamente en visión.
• Estudio de Ablación:
  • Datos Táctiles: Mejoraron significativamente la calidad de la reconstrucción y el éxito del agarre.
  • Espacio Libre: Los resultados fueron mixtos; mejoró ligeramente el rendimiento para la pinza Robotiq, pero disminuyó el rendimiento para la mano Barrett, probablemente porque la potente mano Barrett pudo aplastar objetos complacientes, colocando las restricciones de "espacio libre" dentro del volumen del objeto.
  • Cámara de Muñeca: Proporcionó las mejores métricas de reconstrucción, pero no siempre está disponible; los datos táctiles sirven como una alternativa robusta.
• Eficiencia: Aunque el método es más lento que algunas líneas base basadas en aprendizaje (aprox. 5s para completado + planificación frente a <1s para algunas líneas base), ofrece un pipeline unificado que no requiere modelos pre-entrenados para categorías de objetos específicas y gestiona los fallos de forma dinámica.

Significancia y Reivindicaciones
Los autores afirman que ShapeGrasp demuestra un "pipeline simbiótico" donde el completado de la forma y el agarre se refuerzan mutuamente. La principal significancia reside en la capacidad de mejorar la representación de la forma 3D después de un agarre en el mundo real, una capacidad que los autores declaran es única de su enfoque. Al tratar los fallos de agarre como eventos informativos en lugar de errores terminales, el sistema adapta su modelo interno para reducir la incertidumbre. Los autores señalan que, si bien el método actualmente prioriza la exhaustividad (recall) sobre la precisión (precision), lo que conduce a formas ligeramente "infladas", logra con éxito altas tasas de éxito de agarre y una mejor calidad de reconstrucción que los métodos de vanguardia que dependen únicamente de datos visuales o de bucles de exploración háptica dedicados. El trabajo se posiciona como un paso hacia una manipulación autónoma más robusta en escenarios que requieren un conocimiento preciso de las propiedades de los objetos, como las entregas mano-robot o las tareas de clasificación.