Robotic Strawberry Harvesting with Robust Vision and Deep Reinforcement Learning based Sim-to-Real Control

Resumen Técnico: Cosecha Robótica de Fresas con Visión Robusta y Control Simulador-a-Real Basado en Aprendizaje por Refuerzo Profundo

Enunciado del Problema
La cosecha robótica en la agricultura de ambiente controlado (CEA) enfrenta desafíos significativos debido a la naturaleza intensiva en mano de obra de la tarea y la complejidad del entorno. Específicamente, la cosecha de fresas requiere seleccionar frutos individuales, manipularlos con cuidado y retirarlos dentro de una ventana de madurez estrecha. Los sistemas actuales luchan con tres problemas estrechamente acoplados: percepción precisa de frutos en escenas desordenadas, estimación estable de objetivos en 3D para la manipulación y generación eficiente de movimientos bajo incertidumbre y restricciones del espacio de trabajo. Los enfoques tradicionales a menudo dependen de la cinemática inversa (IK) y la percepción de propósito general, lo que puede conducir a trayectorias inestables, sensibilidad al ruido de calibración y generación de objetivos poco fiables en entornos agrícolas densos y ocluidos. Además, entrenar políticas de control en robots físicos es costoso, lento y propenso a daños en el hardware.

Metodología
Los autores proponen un sistema de cosecha robótica en bucle cerrado que integra un módulo de visión robusto, control de Aprendizaje por Refuerzo Profundo (DRL) entrenado en simulación y ejecución en robot real basado en ROS.

1. Módulo de Visión (HRAttnEdge-YOLO26-seg):
   Para abordar la segmentación de instancias en escenas de invernadero desordenadas, los autores modificaron la arquitectura YOLO26-seg en HRAttnEdge-YOLO26-seg. Las mejoras arquitectónicas clave incluyen:

   • Rama de Alta Resolución P2: Integración de una rama de características de paso 4 ($P2/4$) para preservar detalles espaciales finos (por ejemplo, cáliz y bordes especulares) que a menudo se pierden en características de menor resolución.
   • Atención en la Ruta de Segmentación: Aplicación de Cross Stage Partial con Atención Espacial (C2PSA) específicamente en las rutas de características $P2$ y $P3$ para afilar los límites de la máscara sin aumentar el cómputo global de la red.
   • Aprendizaje de Prototipos Supervisado por Bordes: Reemplazo de la rama de prototipos estándar con Proto26Edge, que incluye una cabeza auxiliar de bordes y una función de pérdida de supervisión de límites. Esto fomenta límites de objetos nítidos durante el entrenamiento.
   • Localización 3D: El sistema estima los centros de los frutos en 3D fusionando los centroides de la máscara 2D con datos de profundidad alineados de una cámara RGB-D. Se aplica un esquema de asociación temporal y suavizado para reducir el jitter del objetivo causado por el ruido de profundidad y la oclusión.

2. Módulo de Control (DRL Simulador-a-Real):
   En lugar de depender de planificadores basados en IK, los autores emplean Optimización de Política Proximal (PPO) entrenada en el entorno de simulación Isaac Lab.

   • Configuración de Entrenamiento: La política se entrena en un manipulador UR10e en una simulación con aleatorización de dominio. El espacio de observación incluye posiciones/velocidades relativas de las articulaciones, el pose del efector final comandado y la acción anterior. El espacio de acción consiste en comandos continuos de posición de las articulaciones.
   • Función de Recompensa: La recompensa combina el error de seguimiento de posición (distancia euclidiana y un término exponencial de alta resolución cerca del objetivo), el error de orientación y penalizaciones por cambios rápidos de acción y altas velocidades articulares para garantizar un movimiento suave y estable.
   • Despliegue: La política entrenada se exporta como un modelo TorchScript e integra en un marco ROS. Una capa de transmisión de comandos convierte las salidas de la política en trayectorias de articulaciones ejecutables, incluyendo un mecanismo de parada para suprimir la oscilación en estado estacionario cerca del objetivo.

3. Integración del Sistema:
   Las capas de percepción, control y ejecución de tareas se unifican mediante ROS 1. El sistema opera de manera secuencial: localizar fresas maduras, priorizar el objetivo más cercano, ejecutar la política de alcance aprendida, realizar un desprendimiento hacia abajo basado en tracción y transferir el fruto a una cesta de recolección.

Contribuciones Clave

1. HRAttnEdge-YOLO26-seg: Una arquitectura novedosa de segmentación de instancias diseñada específicamente para escenas de fresas en invernadero, logrando una precisión de borde superior mediante la integración de características de alta resolución y supervisión de bordes.
2. Controlador PPO Entrenado en Simulación: Desarrollo de un controlador de alcance condicionado al objetivo para un brazo UR10e utilizando Isaac Lab, permitiendo la generación de movimientos suaves y dinámicamente estables sin extensos ensayos y errores físicos.
3. Pipeline Integrado en Bucle Cerrado: Un marco basado en ROS que conecta exitosamente la percepción especializada y el control entrenado en simulación para ejecutar la cosecha autónoma en una plataforma robótica móvil física.

Resultados

• Rendimiento de Visión: Tanto en conjuntos de datos recopilados internamente como públicos, el modelo propuesto superó al YOLO26-seg de referencia y a otros modelos de última generación (YOLOv8-seg, YOLO11-seg). Demostró una mejora del 10% al 14% en el rendimiento de segmentación (mAP75 y mAP50:95), particularmente en el manejo de instancias de frutos pequeños, parcialmente ocluidos y desordenados.
• Calidad del Movimiento: Las comparaciones internas mostraron que el controlador PPO produjo un movimiento significativamente más estable y dinámicamente más suave (menor RMS de sacudida y variabilidad) en comparación con una referencia basada en MoveIt e IK.
• Éxito de Cosecha: En ensayos en invernadero que involucraron 281 fresas en 130 pruebas, el sistema logró:
  • 96.6% de tasa de éxito en el alcance.
  • 91.3% de tasa de éxito en agarre y tracción.
  • 84.3% de tasa de éxito general de cosecha.
    La caída desde el alcance hasta la cosecha final se atribuyó principalmente a las limitaciones en el manejo de frutos tras el contacto del agarre suave, más que a fallos en la percepción o el alcance.

Significado y Afirmaciones
El artículo afirma que este trabajo proporciona una alternativa práctica y eficiente en recursos al alcance dependiente de planificadores convencionales en manipulación. Al combinar la percepción específica de la tarea con PPO entrenado en simulación, el sistema permite una cosecha robótica en bucle cerrado confiable en entornos agrícolas complejos. Los autores enfatizan que su enfoque reduce la dependencia del hardware y los costos de desarrollo al eliminar la necesidad de ensayos físicos exhaustivos durante la fase de aprendizaje de la política. Lo posicionan como un modelo escalable para la cosecha autónoma que aborda los problemas de inestabilidad y singularidad comunes en los sistemas basados en IK y de servovisión visual.

Limitaciones
Los autores reconocen modestamente varias limitaciones:

• La generación de objetivos 3D depende de centroides segmentados y profundidad local en lugar de un pose completo de 6D del fruto o la geometría del pedúnculo, lo que puede limitar estrategias de desprendimiento más complejas.
• El sistema carece de percepción activa o ajuste de punto de vista para objetivos ocluidos.
• La dependencia de transformaciones de marco calibradas con desplazamientos empíricos puede limitar la portabilidad entre diferentes configuraciones de hardware o disposiciones de invernadero.
• La política de cosecha actual es secuencial y reactiva, careciendo de planificación de alto nivel para dosel densos.