GraspFoM: Towards Reconstruction-Driven Robotic Grasping with 3D Foundation Priors

Resumen Técnico: GraspFoM

Planteamiento del Problema
El agarre robótico sigue siendo un desafío significativo en escenarios del mundo real caracterizados por observaciones parciales, oclusión y desorden. Un agarre eficaz requiere razonar tanto sobre las señales de contacto locales como sobre la estructura 3D global de un objeto. Aunque los métodos actuales conscientes de la geometría reconocen el valor de la reconstrucción 3D, suelen tratar la geometría como una predicción intermedia en lugar de un prior de objeto reutilizable. Además, los marcos unificados actuales suelen depender de representaciones específicas para cada tarea aprendidas desde cero o de Modelos de Lenguaje-Visión (VLM) que heredan conocimiento semántico 2D, lo que conduce a una inferencia lenta y a un pobre alineamiento de la pose 3D. Existe una brecha entre los modelos generales de reconstrucción 3D, que optimizan la fidelidad del activo, y las estructuras específicas orientadas a la manipulación (por ejemplo, regiones agarrables, asequibilidades o affordances) requeridas para el agarre robótico.

Metodología: GraspFoM
El artículo propone GraspFoM, un marco unificado que aprovecha los priors de fundación 3D (específicamente SAM3D) para construir un latente de objeto 3D compartido tanto para la reconstrucción de objetos como para la predicción de la pose de agarre. El flujo de trabajo opera de la siguiente manera:

1. Preparación del Latente de Objeto Compartido:

   • El sistema toma imágenes RGB, máscaras de objetos y mapas de puntos como entrada.
   • Utiliza la etapa de estructura dispersa de SAM3D para inicializar un latente de objeto 3D compartido ($z$) y parámetros de alineación de coordenadas.
   • Este latente se convierte en un volumen de características 3D estructurado y se eleva a una rejilla sensible a la forma (shape-aware grid).
   • Para cada punto de superficie consultado, el modelo fusiona pistas geométricas locales (posición del punto y normal) con el contexto de forma global extraído de la rejilla latente mediante atención cruzada (cross-attention). Esto crea un token de punto fusionado que codifica tanto los detalles de la superficie local como la estructura global del objeto.

2. Difusor de Razonamiento de Pose Inicializado por Anclas:

   • En lugar de regredir una única pose o depender de candidatos de agarre discretos, GraspFoM modela la predicción de agarre como un proceso de eliminación de ruido condicionado por el latente en un espacio de pose normalizado.
   • Se crea un conjunto de anclas de agarre mediante el agrupamiento (clustering) de poses de entrenamiento válidas.
   • El modelo emplea un proceso de difusión anclado truncado. En lugar de partir de un ruido gaussiano puro, el proceso de difusión se inicializa cerca de la ancla más cercana, mejorando la eficiencia de la eliminación de ruido mientras mantiene la capacidad de modelar distribuciones de agarre multimodales.
   • El difusor predice directamente la rotación 6D continua y la profundidad del agarre a partir del latente de objeto compartido.

3. Puntuación Consciente de la Reconstrucción y Refinamiento del Latente:

   • Puntuador (Scorer): Un puntuador consciente de la reconstrucción predice tres métricas por punto: capacidad de agarre (graspness o factibilidad), calidad de agarre y asequibilidad (affordance). Estas puntuaciones están fundamentadas en la estructura del objeto reconstruido en lugar de basarse únicamente en pistas de la pose.
   • Actualizador de Latente Residual: Para forzar la interacción bidireccional, la supervisión del agarre se retroalimenta hacia la rama de reconstrucción. Se utiliza un resumen ponderado por confianza de las señales de agarre para predecir un volumen de características residual, que se añade a la rejilla latente original.
   • Regularización: Una pérdida de regularización sensible a la superficie asegura que el latente refinado mantenga la consistencia geométrica mientras se alinea con las pistas relevantes para la manipulación.

4. Inferencia:

   • El sistema realiza un muestreo DDIM truncado desde las anclas de agarre para generar hipótesis de pose continuas.
   • Las hipótesis de agarre se clasifican utilizando una puntuación compuesta que combina la capacidad de agarre, la alineación de la vista y la probabilidad de la ancla.
   • El mismo latente compartido se decodifica para producir activos 3D de alta fidelidad en formatos de malla (mesh) o de Gaussianas 3D (3DGS) junto con las poses de agarre.

Contribuciones Clave

• Marco Unificado: La propuesta de GraspFoM, que aprovecha los priors de fundación 3D para construir un latente de objeto 3D compartido para la reconstrucción de objetos y la predicción de la pose de agarre simultáneamente.
• Generación de Pose Continua: La introducción de un difusor de razonamiento de pose, inicializado por anclas, que modela distribuciones de pose de agarre continuas y multimodales, evitando la dependencia de candidatos de agarre discretos.
• Interacción Bidireccional: El diseño de un puntuador consciente de la reconstrucción y un actualizador de latente residual que acopla el aprendizaje de la reconstrucción y el agarre, permitiendo el fundamento geomético y la mejora de las asequibilidades relevantes para la manipulación dentro del latente compartido.
• Salida Dual: La capacidad de predecir conjuntamente poses de agarre precisas y reconstruir activos 3D de alta fidelidad (malla y 3DGS) con un rendimiento de vanguardia.

Resultados Experimentales
Los autores evaluaron GraspFoM en el benchmark GraspNet-1Billion:

• Predicción de la Pose de Agarre: GraspFoM logró resultados de vanguardia en todos los cortes (splits: Visto, Similar, Novel) y configuraciones de fricción. Notablemente, mostró mejoras significativas en el corte Novel (categorías de objetos no vistos), lo que sugiere una fuerte generalización mediante priors de objeto reutilizables a nivel de objeto. Superó a métodos unificados existentes como ZeroGrasp y MG-Grasp, a pesar de haber sido entrenado solo con el conjunto oficial GraspNet-1B sin conjuntos de datos sintéticos adicionales.
• Reconstrucción 3D: El marco logró una calidad geométrica superior en comparación con las líneas base de estructura dispersa (MinkowskiNet, OCNN, OctMAE) y el método unificado ZeroGrasp, alcanzando los mejores valores de Distancia de Chamfer (CD), F1-Score y Consistencia de Normales (NC).
• Estudios de Ablación: Los experimentos confirmaron la necesidad del número de anclas ($K=8$), el horizonte de difusión ($T_{max}=50$) y los pasos de refinamiento ($N_{ref}=4$). Eliminar el módulo de actualización de reconstrucción degradó significativamente tanto la calidad de la reconstrucción como el rendimiento del agarre, validando el refuerzo mutuo entre ambas tareas.
• Evaluación en Entornos Reales (In-the-Wild): Los resultados cualitativos en el conjunto de datos WildRGB-D demostraron reconstrucciones más completas y poses de agarre más estables en comparación con ZeroGrasp.

Significancia y Reivindicaciones
El artículo afirma que GraspFoM aborda la limitación de los métodos existentes que tratan la geometría como un paso intermedio transitorio. Al aprovechar los priors de fundación 3D transferibles (SAM3D), el método establece una representación compartida que es tanto fiel geométricamente como consciente de la manipulación. Los autores argumentan que este enfoque proporciona una ruta más eficiente en términos de datos para una generalización de agarre robusta en comparación con el aprendizaje de representaciones específicas de la tarea desde cero. El vínculo bidireccional entre la reconstrucción y el agarre permite al sistema refinar las representaciones de los objetos basándose en las necesidades de manipulación, utilizando al mismo tiempo pistas geométricas fundamentadas para mejorar la predicción del agarre. El marco logra un rendimiento de vanguardia en ambas tareas con solo un pequeño número de parámetros entrenables adicionales.

Limitaciones
Los autores señalan que el marco actual se centra principalmente en objetos rígidos. Identifican la incorporación de priors cinemáticos estructurados (por ejemplo, URDF) para la manipulación de objetos articulados como una dirección para trabajos futuros.