Resumen Técnico: ROG-Grasp

Declaración del Problema

Si bien los sistemas robóticos han avanzado significativamente en la cosecha y detección agrícola, persiste una brecha crítica en el procesamiento y empaque post-cosecha. En las plantas de empaque modernas, los productos deben ser a menudo clasificados y colocados en contenedores con orientaciones específicas y consistentes para facilitar el procesamiento posterior, la inspección y la presentación comercial. Las soluciones robóticas existentes se centran típicamente en el agarre y depósito de objetos sin controlar explícitamente su pose final. Además, aunque los modelos de Visión-Lenguaje-Acción (VLA) han mostrado potencial en la manipulación general, investigaciones preliminares indican que tienen dificultades para identificar de manera fiable regiones de raíz específicas de productos agrícolas, lo que conduce a una estimación de orientación inexacta y un agarre inestable en entornos con desorden.

Metodología

El artículo propone ROG-Grasp, un marco basado en la geometría diseñado para estimar la orientación de los productos mediante la geometría de la superficie de la raíz utilizando percepción RGB-D. El sistema opera a través de dos módulos principales: Percepción Visual y Ejecución de Movimiento.

1. Percepción Visual

• Detección de Raíces: Un modelo de segmentación basado en YOLO es ajustado para detectar tanto el cuerpo del producto como la región específica de la raíz. El conjunto de datos de entrenamiento se construye mediante un proceso semiautomático donde las máscaras del cuerpo se generan vía contraste entre el primer plano y el fondo, mientras que las anotaciones de las raíces se crean manualmente.
• Extracción de Nube de Puntos 3D: Las regiones de la raíz detectadas se proyectan en el espacio 3D utilizando datos de profundidad e intrínsecos de la cámara para generar una nube de puntos en el marco de la base del robot.
• Estimación de Orientación: Aprovechando la observación de que las superficies de las raíces (por ejemplo, en tomates, cebollas, ajos) exhiben una geometría aproximadamente plana con baja curvatura, el sistema aplica el Ajuste de Plano por Mínimos Cuadrados a la nube de puntos de la raíz.
  • Se realiza la Descomposición en Valores Singulares (SVD) sobre la nube de puntos centrada.
  • El autovector correspondiente al menor valor singular define el vector normal de la raíz ($\mathbf{n}$).
  • Este vector normal sirve como la señal principal para la orientación del objeto.

2. Planificación y Control de Movimiento

• Generación de Pose de Agarre: La posición de agarre se define como el centroide de la nube de puntos de la raíz ($\mathbf{c}$) más un desplazamiento predefinido ($\delta$) a lo largo del vector normal ($\mathbf{n}$). La orientación del agarre alinea el eje Z de la pinza con $\mathbf{n}$.
• Pose de Colocación: Un "marco de soporte" fijo define la configuración de colocación vertical deseada. El robot alinea el marco de la pinza con este marco de soporte para liberar el objeto.
• Pipeline de Ejecución: Para garantizar la seguridad y evitar colisiones, el robot ejecuta una secuencia de seis puntos de paso intermedios ($wp_0$ a $wp_5$):
  1. Observación: Captura la escena y detecta la raíz.
  2. Aproximación: Se mueve a un punto de paso sobre el objetivo, luego desciende verticalmente.
  3. Retirada: Se mueve hacia arriba después del agarre para despejar los objetos circundantes.
  4. Reorientación: Ajusta la orientación para asegurar que la raíz mire hacia abajo para la colocación.
  5. Colocación: Se mueve al soporte y libera.
  6. Retorno: Se retira a la pose inicial.
• Transformaciones de Coordenadas: El sistema utiliza matrices de transformación homogénea en $SE(3)$ para gestionar las transformaciones entre la cámara, la pinza, el conector y los marcos de la base, asegurando que se generen comandos de movimiento cartesiano precisos mediante Cinemática Inversa (IK).

Contribuciones Clave

1. Estimación de Orientación Basada en Geometría: Un método novedoso que utiliza la geometría de la superficie de la raíz (mediante el ajuste de planos en nubes de puntos) para estimar la orientación de productos agrícolas, permitiendo una manipulación consciente de la orientación sin depender de estimadores de pose complejos basados en aprendizaje.
2. Pipeline Integrado de Percepción-Acción: Una estrategia guiada por visión que combina la segmentación de raíces basada en YOLO con el ajuste geométrico 3D para computar poses de agarre estables y planes de movimiento cartesiano con orientación restringida.
3. Validación Empírica: Experimentos exhaustivos en tomates y cebollas tanto en escenarios aislados como con desorden, demostrando la robustez del método en comparación con las políticas de estado del arte de VLA.

Resultados Experimentales

El sistema fue evaluado utilizando un manipulador Fairino FR5 con una cámara RGB-D en tomates y cebollas.

• Tasas de Éxito: ROG-Grasp logró altas tasas de éxito: 85% (simple) y 80% (múltiple) para tomates, y 90% (simple) y 80% (múltiple) para cebollas.
• Comparación con VLA: En contraste, una política VLA (basada en el modelo $\pi_0$) logró tasas de éxito significativamente menores (40% para tomate simple, 10% para tomate múltiple) y tuvo dificultades en escenas con desorden, fallando a menudo en la inferencia de las orientaciones de colocación correctas.
• Tiempo de Ejecución: ROG-Grasp demostró tiempos de ejecución significativamente más rápidos (~7–8 segundos) en comparación con la política VLA (~20–26 segundos), debido al action chunking de bucle cerrado de la VLA y a la planificación de trayectoria de bucle abierto eficiente del método basado en geometría.
• Modos de Fallo: El principal modo de fallo para ROG-Grasp ocurrió durante la fase de descenso de bucle abierto, donde el contacto no deseado pudo perturbar el objeto. La política VLA, aunque es de bucle cerrado, sufrió de oscilación e inestabilidad en entornos con desorden.

Significado y Reivindicaciones

El artículo sostiene que la percepción impulsada por la geometría ofrece una solución más fiable y eficiente para la manipulación controlada de la orientación en entornos agrícolas en comparación con los enfoques de aprendizaje de extremo a extremo como VLA. Al modelar explícitamente la naturaleza plana de las superficies de las raíces, ROG-Grasp logra un agarre estable y una colocación precisa sin las cargas de datos de entrenamiento y la latencia de inferencia asociadas con las políticas de aprendizaje profundo. Los autores enfatizan que este enfoque proporciona una solución práctica y robusta para tareas que requieren disposiciones de objetos específicas, como el empaque de productos de alto valor, donde la organización visual y la orientación consistente son críticas para la presentación comercial y la protección.

Como trabajo futuro, se identifica la incorporación de retroalimentación visual de bucle cerrado durante la fase de agarre para manejar el movimiento inesperado de los objetos, y la integración de la estimación basada en la geometría con políticas basadas en aprendizaje para entornos altamente no estructurados.