Object Pose and Shape Estimation for Grasping: Does it Work?

Resumen Técnico: Estimación de la Pose y la Forma de Objetos para el Agarre

Enunciado del Problema
El artículo aborda una pregunta fundamental en robótica: ¿Han madurado lo suficiente los avances recientes en la estimación de la pose y la forma de los objetos para superar a los métodos de síntesis de agarre de extremo a extremo más avanzados? Tradicionalmente, la síntesis de agarre se basaba en la geometría conocida del objeto o en la optimización analítica. Si bien los métodos modernos de extremo a extremo (por ejemplo, AnyGrasp) regresan directamente las poses de agarre a partir de imágenes RGB-D de una sola vista con alta velocidad, a menudo tienen dificultades con la estabilidad y el cierre de fuerza. Por el contrario, los enfoques modulares, donde primero se reconstruye la geometría del objeto y luego se utiliza para el muestreo antipodal, han estado históricamente limitados por la ambigüedad de la reconstrucción de una sola vista. Este trabajo investiga si los modelos modernos de reconstrucción basados en codificadores-decodificadores y difusión pueden ahora servir como una base superior para la síntesis de agarres en comparación con la regresión directa.

Metodología
Los autores delimitan su estudio a pinzas de mordaza paralela, agarres de 7 grados de libertad (DoF) y entrada RGB-D de una sola vista. Implementan y comparan cuatro líneas base:

1. Línea Base de Extremo a Extremo: AnyGrasp, un modelo de última generación que regresa directamente poses de agarre de 7 DoF a partir de nubes de puntos parciales sin reconstrucción explícita de la geometría.
2. Líneas Base Modulares: Tres métodos que primero estiman la pose y la forma del objeto para todos los objetos en la escena, renderizan una malla 3D (mediante cubos marchantes) y luego sintetizan agarres utilizando muestreo antipodal (garantizando el cierre de fuerza) y filtrado de colisiones. Estos métodos modulares utilizan dos paradigmas de reconstrucción distintos:
   • Modelos de Codificador-Decodificador: CRISP-Grasp (utilizando CRISP) y SAM3D-Grasp (utilizando SAM3D). Estos modelos codifican imágenes RGB-D en incrustaciones de forma o coordenadas normalizadas para decodificar mallas y poses de objetos.
   • Modelos Basados en Difusión: SC-Grasp (utilizando SceneComplete). Esta tubería aprovecha InstantMesh (un modelo de difusión para síntesis de nuevas vistas) aumentado con BrushNet para el manejo de oclusiones y FoundationPose para la estimación de la pose, a fin de reconstruir escenas con múltiples objetos.

La evaluación se realiza en tres entornos: un simulador físico (PyBullet con objetos YCBV), conjuntos de datos del mundo real (conjuntos de prueba YCBV y NOCS) y experimentos físicos utilizando un manipulador Xarm7 con una pinza de mordaza paralela. Las métricas incluyen Tasa de Colisión de Agarre (GCR), Tasa de Fallo de Cierre de Fuerza (FCFR) y Estabilidad del Agarre (GS).

Contribuciones Clave

• Análisis Comparativo: El artículo proporciona una comparación experimental rigurosa entre la síntesis de agarre de extremo a extremo directa y una tubería modular que combina la reconstrucción moderna con el muestreo antipodal.
• Validación del Rendimiento: Demuestra que los métodos modulares superan consistentemente a los métodos de extremo a extremo en las tasas de éxito del agarre, la estabilidad y el cumplimiento del cierre de fuerza en entornos simulados y del mundo real.
• Análisis de Modos de Fallo: Los autores desglosan los modos de fallo de los métodos modulares, identificando que la estimación incorrecta de la escala es la causa principal de fallo (38–50% de los casos), seguida de errores de pose y forma en los modelos basados en difusión.
• Agarre Condicionado por Lenguaje: El trabajo extiende la tubería modular al agarre condicionado por lenguaje. Al reconstruir un "gemelo digital" a partir de una sola vista e inyectarlo en la tubería LERF-TOGO, los autores logran un rendimiento comparable a las líneas base de múltiples vistas, permitiendo la selección semántica de agarres a partir de entradas de una sola vista.

Resultados

• Tasas de Éxito: En simulaciones físicas, los métodos modulares lograron una tasa de éxito de agarre de 1.6 a 2 veces superior a la de AnyGrasp. En conjuntos de datos del mundo real, AnyGrasp logró solo un 10–11% de éxito, mientras que los métodos modulares funcionaron significativamente mejor.
• Estabilidad y Cierre de Fuerza: El método de extremo a extremo exhibió una alta Tasa de Fallo de Cierre de Fuerza (61.3% en simulación) y produjo agarres inestables en ensayos del mundo real (por ejemplo, rotaciones posteriores al levantamiento). Los métodos modulares, al imponer explícitamente el cierre de fuerza mediante muestreo antipodal en mallas reconstruidas, produjeron agarres estables en el 100% de los ensayos para varios objetos en experimentos físicos.
• Desorden y Oclusión: El rendimiento de todos los métodos se degradó a medida que aumentaba el desorden de la escena. Sin embargo, los métodos modulares (específicamente CRISP-Grasp) mantuvieron una ventaja de rendimiento sobre los métodos de extremo a extremo incluso en escenas con 10 objetos. El SC-Grasp basado en difusión mostró una caída mayor en el rendimiento en escenas altamente ocluidas debido a limitaciones en su modelo de inpainting.
• Tiempo de Ejecución: El método de extremo a extremo (AnyGrasp) fue el más rápido (0.33s). Los métodos modulares fueron significativamente más lentos (45–105s en total), siendo el cuello de botella la estimación de pose/forma (especialmente para modelos de difusión) y el proceso de muestreo antipodal.
• Eficacia del Filtrado: Aplicar estimaciones de pose y forma para filtrar los agarres generados por el método de extremo a extremo (AnyGrasp+CRISP/SC) redujo drásticamente el número de agarres candidatos, pero aumentó significativamente la tasa de éxito, confirmando que la calidad de la reconstrucción es un indicador fuerte de la viabilidad del agarre.

Significado y Afirmaciones
El artículo afirma que el campo ha alcanzado un "punto de inflexión". Mientras que la literatura anterior (por ejemplo, Sundermeyer et al., 2021) argumentaba que las reconstrucciones de una sola vista aprendidas eran demasiado ambiguas y toscas para una planificación de agarre confiable, este trabajo demuestra que, con los actuales modelos de reconstrucción de última generación (SAM3D, CRISP, SceneComplete), el enfoque modular es ahora superior a la regresión de extremo a extremo para la síntesis de agarres en términos de robustez y estabilidad.

Los autores concluyen modestamente que, aunque los métodos modulares superan a los enfoques de extremo a extremo en calidad, su adopción está actualmente limitada por los requisitos de tiempo de ejecución computacional. Afirman que la precisión de la tarea de agarre aguas abajo depende de la precisión de la estimación de pose y forma aguas arriba, particularmente en lo que respecta al manejo de la escala y las oclusiones. Además, el trabajo destaca la viabilidad de utilizar la reconstrucción de una sola vista como un puente para los modelos de visión-lenguaje, permitiendo un agarre semánticamente significativo y condicionado por lenguaje sin necesidad de escaneo de múltiples vistas.