Résumé Technique : UNCLE-Grasp

Énoncé du Problème

La récolte robotisée de fraises dans des environnements agricoles non structurés présente des défis importants dus à l'occlusion partielle, où les feuilles masquent la géométrie des fruits. Cette occlusion entraîne des observations incomplètes des nuages de points, provoquant des distorsions géométriques qui déplacent les centroïdes estimés et résultent en des saisies instables ou inaccessibles. Les méthodes de saisie existantes tenant compte de l'incertitude estiment généralement l'incertitude pour la pose, la forme ou les candidats de saisie individuels, mais échouent à agréger explicitement la faisabilité de la saisie à travers de multiples hypothèses d'objets complétés. Par conséquent, elles manquent d'un mécanisme pour soutenir une décision de niveau objet de type « tenter ou s'abstenir ». De plus, les modèles de prédiction de saisie déterministes produisent souvent des scores de confiance mal calibrés sous l'effet de changements de distribution, menant à une prise de décision fragile dans des scènes fortement occultées.

Méthodologie

Le papier propose UNCLE-Grasp (UNCertainty-aware grasping of LEaf-occluded strawberries), un cadre adapté à la tâche qui intègre la complétion de forme apprise, l'estimation de la variabilité basée sur le dropout de Monte Carlo (MC), l'évaluation de saisie physiquement ancrée et la prise de décision sensible au risque.

1. Aperçu du Pipeline

Le cadre traite les observations RGB-D de fraises partiellement occultées à travers quatre étapes principales :

1. Perception et Prétraitement : Les images RGB-D sont débruitées et segmentées pour extraire les nuages de points partiels individuels des fraises détectées.
2. Complétion par MC-Dropout et Estimation de l'Incertitude : Un réseau de complétion de nuage de points basé sur les transformeurs (PointAttN) reconstruit la géométrie manquante. En conservant les couches de dropout lors de l'inférence, le système génère $K$ échantillons de complétion stochastiques. La variabilité entre ces échantillons sert de proxy pour l'incertitude épistémique.
   • Filtrage Global : Les fraises dont la variabilité moyenne au niveau des points dépasse un seuil ($\delta_{global}$) sont rejetées immédiatement.
3. Génération et Filtrage de Saisie : Pour chaque échantillon de complétion restant, un réseau de génération de saisie (CGNet) produit des candidats de saisie. Ces candidats subissent un processus de filtrage en trois étapes :
   • Filtre d'Incertitude Locale : Supprime les candidats où la région de fermeture du préhenseur contient des points présentant une forte divergence à travers les complétions stochastiques.
   • Filtres Géométriques : Impose des contraintes spécifiques à la tâche, incluant la direction d'approche (accès frontal), l'orientation de saisie verticale et le dégagement mâchoire-objet pour éviter les collisions.
4. Décision Sensible au Risque (LCB) : Pour chaque échantillon de complétion $k$, les candidats de saisie retenus sont combinés en un espace de wrenches de saisie unique pour calculer un score de fermeture de force $\epsilon_k$.
   • Le système calcule la moyenne ($\bar{\epsilon}$) et l'écart-type ($\sigma_\epsilon$) de ces scores à travers toutes les $K$ complétions.
   • Une Borne Inférieure de Confiance (LCB) est calculée : $LCB = \bar{\epsilon} - z_\alpha \sigma_\epsilon$.
   • Le paramètre $z_\alpha$ varie linéairement avec le niveau d'occlusion estimé $\alpha$, devenant plus strict à mesure que l'occlusion augmente.
   • Règle de Décision : Le système tente de saisir la fraise uniquement si $LCB > 0$ ; sinon, il s'abstient.

2. Composants Techniques Clés

• Modélisation de l'Incertitude : Le cadre approxime l'incertitude épistémique en utilisant la variabilité du dropout de MC plutôt qu'en modélisant explicitement l'incertitude aléatoire. Il ne désentrelace pas ces sources.
• Métrique de Fermeture de Force : La faisabilité de la saisie est évaluée à l'aide de la métrique $\epsilon$, définie comme le rayon de la plus grande boule centrée à l'origine contenue dans l'enveloppe convexe de l'espace de wrench de saisie.
• Abstention Sélective : La logique de décision centrale privilégie la fiabilité sur le rendement. En s'abstenant des cibles présentant une faisabilité de saisie incohérente à travers des complétions plausibles, le système évite les tentatives risquées qui pourraient endommager le fruit ou échouer.

Contributions Clés

1. Cadre de Décision au Niveau de l'Objet : Un nouveau pipeline qui propage l'incertitude des complétions de forme stochastiques à travers le filtrage de saisie et l'évaluation de la fermeture de force pour déterminer s'il faut tenter ou différer une saisie.
2. Intégration Adaptée à la Tâche : Une méthode qui combine le filtrage d'incertitude global/local, les contraintes géométriques spécifiques aux fraises, et un score de faisabilité de type LCB en utilisant des modèles existants de complétion de nuage de points et de génération de saisie sans les réentraîner.
3. Évaluation Contrôlée : Une évaluation complète en simulation et sur un robot physique sous des niveaux croissants d'occlusion par des feuilles synthétiques et réelles, incluant des études d'ablation sur la complétion de forme, le filtrage géométrique, le filtrage sensible à l'incertitude et l'abstention au niveau de l'objet.

Résultats Expérimentaux

Le cadre a été évalué sur un bras robotique Unitree Z1 avec une caméra Intel RealSense D435i, utilisant des fraises en plastique de haute fidélité pour assurer la sécurité et la répétabilité. Les expériences couvraient des niveaux d'occlusion de 0 % à environ 87,45 %.

• Performance en Simulation : À l'occlusion simulée la plus élevée (87,45 %), UNCLE-Grasp a amélioré le taux de succès sur les tentatives par rapport à la base la plus forte (CGNet+Geom Completed), passant de 0,780 à 0,870. Bien que le taux de tentative soit légèrement inférieur (0,860 contre 0,880), le taux de succès global (succès sur le total des fraises) est passé de 0,680 à 0,740.
• Performance du Robot Physique : Sous environ 87 % d'occlusion synthétique, UNCLE-Grasp a atteint un taux de succès sur les tentatives de 0,800, surpassant significativement la base la plus forte (0,483). Cependant, cela s'est accompagné d'un taux de tentative plus faible, reflétant la prudence du système face au risque.
• Occlusion par de Vraies Feuilles : Sous une occlusion réelle par des feuilles (~70 %), UNCLE-Grasp a amélioré le succès de saisie de 0,367 (base) à 0,517.
• Études d'Ablation : Les résultats ont confirmé que la complétion de forme apporte les gains les plus importants sous une occlusion sévère, que la génération de saisie apprise (CGNet) surpasse le placement centré sur le centroïde, et que le filtrage géométrique élimine les candidats physiquement infaisables. Cependant, seul le pipeline complet d'UNCLE-Grasp, intégrant la sélection sensible à l'incertitude, a systématiquement atteint les taux de succès conditionnels les plus élevés.

Signification et Revendications

Le papier affirme que le principal avantage d'UNCLE-Grasp est une exécution plus fiable et sensible au risque grâce à l'abstention sélective. Les résultats démontrent un compromis entre la fiabilité de la saisie et le rendement de la récolte : en différant les cibles incertaines, le système réduit considérablement le taux de saisies échouées ou endommageables, même si cela réduit le nombre total de tentatives.

Les auteurs soulignent que ce travail met en lumière un principe plus large pour l'automatisation sensible au risque : lorsque la perception est ambiguë, s'abstenir sélectivement peut être plus souhaitable que d'agir systématiquement. L'étude affirme que l'incertitude est la plus utile lorsqu'elle est connectée à une décision en aval explicite (tenter vs s'abstenir) plutôt que de simplement être rapportée comme un score de perception.

Le papier reconnaît les limites, notant que le pipeline actuel est un prototype de recherche avec des coûts de calcul élevés (environ 57,53 secondes par fraise dans la version optimisée) et qu'il ne traite pas les détections manquées ou la planification d'approche sensible aux collisions. Il précise explicitement que le système ne garantit pas le succès d'une saisie particulière mais indique avec une grande confiance qu'au moins une saisie faisable existe malgré l'incertitude géométrique. Les auteurs ne prétendent pas que le système est prêt pour un déploiement commercial en temps réel, mais démontrent la faisabilité d'une exécution sélective sensible à l'incertitude dans la robotique agricole.