From Vision to Harvest: Benchmarking Vision-Language Models for Multi-Arm Robotic Fruit Harvesting

Résumé Technique : De la Vision à la Récolte

Définition du Problème
L'article traite du défi que représente le déploiement de systèmes robotiques multi-bras pour la récolte de fruits dans des environnements de vergers non structurés. Bien que les systèmes multi-bras offrent un débit plus élevé que leurs homologues à bras unique en récoltant simultanément, ils font face à deux obstacles majains :

1. Généralisation : Les systèmes traditionnels reposent sur des pipelines de perception spécialisés (par exemple, YOLO) qui se dégradent sous l'effet de variations de luminosité, d'occlusions et de conditions environnementales, nécessitant souvent un réentraînement étendu sur des données cibles.
2. Complexité de la Coordination : Planifier des trajectoires sans collision pour plusieurs bras dans un espace de travail partagé est un problème NP-difficile. Les solutions existantes simplifient souvent cela en partitionnant l'espace de travail entre les bras, ce qui peut réduire la qualité de la planification et le débit global.

Les auteurs proposent d'évaluer les Modèles Vision-Langage (VLM) comme une alternative "zero-shot". La motivation est que les travailleurs humains récoltent avec succès en raisonnant visuellement sur les relations spatiales et le séquençage des tâches sans réentraînement explicite. L'article examine si les VLM pré-entraînés peuvent reproduire ce raisonnement de haut niveau pour générer des plans de récolte multi-bras efficaces et sans collision directement à partir d'images RGB-D brutes.

Méthodologie
Les auteurs introduisent un benchmark complet pour évaluer les VLM par rapport à un pipeline "oracle" traditionnel.

• Pipeline Oracle (Référence) : Un pipeline de pointe à trois étapes servant de référence de limite supérieure :

  1. Perception : Utilise GroundingDINO pour la détection en vocabulaire ouvert et SAM2 pour la segmentation au niveau du pixel afin d'isoler les fruits.
  2. Localisation : Projette les pixels de profondeur segmentés en coordonnées 3D en utilisant un modèle de caméra sténopé et les regroupe via DBSCAN pour estimer les positions des fruits et les temps de détachement.
  3. Planification : Utilise un cadre de programmation linéaire en nombres entiers mixtes (MIP) bi-niveau pour assigner les fruits à des bras spécifiques et générer des trajectoires synchronisées et sans collision.

• Pipeline VLM Zero-Shot :

  • Entrée : Images RGB-D brutes de vergers et un prompt structuré.
  • Conception du Prompt : Le prompt fournit au VLM un rôle spécifique (expert en robotique agricole), des références d'échelle physique (par exemple, le diamètre du fruit), des définitions de systèmes de coordonnées et des contraintes de robot (par exemple, l'ordre des bras sur un rail partagé). Il demande explicitement au modèle d'identifier les fruits, de raisonner sur les relations spatiales et de produire un objet JSON contenant les séquences de récolte et les points de passage (waypoints) 3D en mètres.
  • Vérification de la Sécurité : Puisque les VLM produisent des points de passage sans informations temporelles, un vérificateur de trajectoire léger vérifie les "violations d'ordre". Si un bras assigné à un fruit ayant une coordonnée X plus grande doit passer devant un bras assigné à un fruit ayant une coordonnée X plus petite (en violation de l'ordre physique fixe des bras sur le rail), le plan est marqué comme une collision.

• Configuration Expérimentale :

  • Jeux de Données : Images réelles provenant de vergers de pommiers et d'agrumes.
  • Modèles : Évaluation de cinq VLM propriétaires (ex: GPT-4o, GPT-5.5-Pro, Claude Sonnet 3.5) et deux VLM open-source.
  • Métriques : Ratio de détection, ratio de récolte (à différents seuils spatiaux : 1,0 m, 0,5 m, 0,25 m), ratio de collision, distance de trajectoire et utilisation de tokens.

Contributions Clés

1. Premier Benchmark Complet : L'article présente le premier benchmark spécifiquement conçu pour évaluer les VLM pré-entraînés sur la planification de récolte multi-bras zero-shot à travers des cultures réelles (pommes et agrumes).
2. Pipeline de Planification VLM : Développement d'un pipeline qui génère des points de passage multi-bras directement à partir d'images brutes, couplé à un mécanisme de vérification de collision qui valide la faisabilité basée sur des contraintes cinématiques.
3. Analyse Empirique : Une évaluation systématique révélant que, bien que les VLM de pointe puissent générer des plans, leurs performances sont très sensibles aux priors d'échelle physique, aux seuils spatiaux et à la complexité de la scène.
4. Open Source : Les auteurs s'engagent à rendre le benchmark open-source pour faciliter la recherche future.

Résultats

• Capacité : Les VLM de pointe (ex: GPT-5.5-Pro, Claude Opus 4.7) peuvent générer des plans de récolte complets couvrant la plupart des fruits dans des scénarios zero-shot.
• Précision vs Rappel : Il existe un écart significatif entre la détection des fruits et leur localisation précise. Les modèles atteignent souvent des ratios de détection élevés (ex: >90 % au seuil de 1,0 m) mais souffrent de chutes drastiques des ratios de récolte à des seuils plus stricts (ex: <10 % à 0,25 m pour certains modèles sur les agrumes).
• Sécurité et Coordination : Les ratios de collision sont substantiels pour de nombreux modèles (ex: >80 % pour Claude Sonnet 3.5 sur les agrumes), indiquant que les VLM peinent avec la coordination spatiale complexe requise pour les systèmes multi-bras sans contraintes géométriques explicites.
• Sensibilité au Prompt : Les études d'ablation montrent que les priors d'échelle physique sont critiques ; supprimer ces informations provoque une baisse brutale de la précision de localisation. Cependant, la sortie structurée (JSON) est essentielle ; sans elle, les modèles ne parviennent pas à produire des plans exécutables malgré la détection des fruits.
• Scalabilité : Les performances se dégradent à mesure que le nombre de fruits augmente (complexité de scène accrue) et à mesure que le nombre de bras augmente, soulignant la difficulté de mettre à l'échelle la logique de coordination.

Signification et Revendications
L'article affirme que ce travail met en lumière tant les promesses que les limites actuelles des VLM en robotique agricole.

• Promesse : Les VLM démontrent une capacité à généraliser à travers les cultures et les environnements sans entraînement spécifique à la tâche, offrant une voie potentielle pour réduire la dépendance à l'égard du travail manuel et de la collecte de données spécialisées.
• Limites : Le déploiement pratique est actuellement limité par l'incapacité des VLM à générer des points de passage 3D précis (particulièrement en profondeur) et à effectuer une coordination consciente des collisions pour plusieurs bras.
• Conclusion : Les auteurs concluent que bien que les VLM soient efficaces pour la planification de tâches de haut niveau, ils ne constituent pas encore une solution complète pour la récolte multi-bras. Les travaux futurs devront combler le fossé entre le raisonnement sémantique et la localisation métrique précise ainsi que la vérification de la sécurité. Le benchmark sert de fondation pour le développement de systèmes de planification plus généralisables et efficaces.