SG-DOR: Learning Scene Graphs with Direction-Conditioned Occlusion Reasoning for Pepper Plants

Le papier présente SG-DOR, un cadre relationnel qui infère des graphes de scène avec un raisonnement sur l'occlusion conditionnée par la direction pour améliorer la planification de la récolte robotique de poivrons dans des canopées denses.

L'essentiel

🌶️ Le Problème : Le Robot Perdu dans la "Jungle" de Poivrons

Imaginez un robot chargé de récolter des poivrons dans une serre. Le problème ? Les plants de poivrons sont comme des forêts denses et emmêlées. Les fruits (les poivrons) sont souvent cachés derrière un tas de feuilles, de tiges et d'autres branches.

Si le robot essaie d'attraper un poivron sans réfléchir, il risque de :

1. Se cogner dans une feuille.
2. Tordre la tige au lieu de couper le fruit.
3. Ne pas voir le fruit du tout.

Les robots actuels sont comme des aveugles qui tâtonnent : ils voient le fruit, mais ils ne savent pas quelle feuille précise bloque le chemin ni d'où il faut pousser pour le dégager.

🧠 La Solution : SG-DOR (Le "Cerveau" du Robot)

Les auteurs de cet article ont créé un système intelligent appelé SG-DOR. Pour faire simple, c'est comme donner au robot une carte mentale et un sens de l'orientation ultra-perfectionnés.

Voici comment cela fonctionne, avec une analogie simple :

1. La Carte des Relations (Le "Graphique")

Imaginez que le robot ne voit pas juste des objets séparés (une feuille ici, un fruit là). Il voit un réseau de liens, comme un dessin de famille ou un schéma électrique.

• Il sait que la feuille A est attachée à la tige B.
• Il sait que le fruit C pend de la tige B.
• C'est ce qu'on appelle un "Scene Graph" (Graphique de Scène). Le robot comprend la structure de la plante, pas juste son apparence.

2. Le Sens de l'Orientation (Le "Pourquoi" et le "Comment")

C'est la grande innovation. Le robot ne se demande pas seulement "Qui me cache ?", mais "Qui me cache si je viens d'en haut ? Et si je viens de la gauche ?".

• L'analogie du parapluie : Imaginez qu'il pleut. Si vous tenez un parapluie, la pluie vous mouille si vous venez de dessus, mais pas si vous venez de dessous.
• SG-DOR fait pareil : il calcule, pour chaque direction possible d'approche du robot, quelle feuille est le "parapluie" principal qui bloque le poivron.

3. Le Tri des Coupables (Le "Classement")

Souvent, plusieurs feuilles cachent le fruit. Le robot doit savoir laquelle enlever en premier.

• SG-DOR ne dit pas juste "Il y a des feuilles". Il dit : "La feuille jaune est le coupable n°1 (elle cache 80% du fruit), la feuille violette est le n°2, et la feuille bleue est le n°3".
• C'est comme un détective qui classe les suspects par ordre de culpabilité. Cela permet au robot de pousser la feuille la plus gênante en premier, économisant ainsi du temps et de l'énergie.

🛠️ Comment ont-ils appris au robot ? (L'École Virtuelle)

En vrai, il est très difficile de prendre des photos de l'intérieur d'une plante pour savoir exactement ce qui cache quoi (c'est trop sombre et emmêlé).

Alors, les chercheurs ont créé un monde virtuel (une simulation) :

• Ils ont fait pousser des milliers de plants de poivrons numériques.
• Ils ont programmé le robot pour qu'il "voit" exactement quelles feuilles cachent quels fruits sous tous les angles possibles.
• Ils ont entraîné le cerveau du robot (un réseau de neurones) sur ces données virtuelles.

Le résultat ? Le robot a appris la logique physique de l'occlusion (qui cache quoi) sans jamais avoir touché une vraie plante pendant l'entraînement.

🤖 Le Résultat : Un Robot Jardinier Efficace

Quand ils ont testé ce système sur un vrai plant de poivron (ou une maquette physique) :

• Le robot a réussi à identifier quelles feuilles bloquaient le fruit.
• Il a su les classer dans le bon ordre pour les enlever.
• Il a fait cela même avec du bruit (des erreurs de capteurs) et des angles de vue bizarres.

En Résumé

SG-DOR, c'est comme donner à un robot de récolte un sixième sens. Au lieu de voir une plante comme un tas de vert, il la voit comme un puzzle 3D dynamique. Il sait exactement :

1. Qui est attaché à qui.
2. Qui cache le trésor (le fruit) selon la direction d'où on arrive.
3. Dans quel ordre il faut pousser les obstacles pour libérer le fruit.

C'est une étape cruciale pour que les robots puissent un jour travailler seuls dans les serres, récolter nos légumes et nous aider à nourrir le monde, sans casser les plantes ! 🌱🤖🍅

Résumé technique

Voici un résumé technique détaillé de l'article "SG-DOR: Learning Scene Graphs with Direction-Conditioned Occlusion Reasoning for Pepper Plants", structuré selon vos demandes.

1. Le Problème

Dans le domaine de l'horticulture de précision, la récolte automatisée de poivrons dans des canopées denses se heurte à un défi majeur : l'auto-occlusion. Les fruits sont souvent partiellement ou totalement cachés par les feuilles, les pédicelles et les tiges environnantes.

• Limites des approches actuelles : Les pipelines de cartographie existants détectent les objets (fruits, feuilles) mais opèrent au niveau de l'objet sans encoder les dépendances structurelles (attachements) ni les relations spatiales dynamiques.
• Le manque critique : Les méthodes actuelles ne parviennent pas à identifier explicitement quelles feuilles spécifiques obstruent un fruit cible d'un point de vue directionnel donné. Pour planifier des interventions robotisées (comme pousser une feuille spécifique ou élaguer), le robot doit savoir non seulement qu'un fruit est caché, mais aussi par quoi et depuis quelle direction, afin d'optimiser la trajectoire d'accès.

2. Méthodologie : SG-DOR

Les auteurs proposent SG-DOR (Scene Graphs with Direction-Conditioned Occlusion Reasoning), un cadre d'apprentissage relationnel qui transforme des nuages de points d'organes segmentés en un graphe de scène sémantique et géométrique.

A. Représentation et Architecture

Le système prend en entrée des nuages de points segmentés par instance (tiges, feuilles, pédicelles, fruits) et construit un graphe orienté $G = (V, E)$.

• Encodage Local : Chaque organe est encodé via PointNet++ pour obtenir une représentation géométrique intrinsèque ($h_{id}$), indépendante de la translation.
• Backbone Relationnel : Un réseau de neurones à graphes résiduel (ResGINE) affine ces embeddings en intégrant les relations de voisinage et les attributs géométriques des arêtes candidates (distance, déplacement relatif).
• Module d'Attention pour l'Occlusion : C'est le cœur de l'innovation. Pour chaque fruit cible et une direction d'approche donnée :
  • Un mécanisme d'attention croisée (Cross-Attention) évalue la compétition entre les feuilles candidates.
  • Le fruit agit comme requête ($Q$), tandis que les feuilles forment les clés et valeurs ($K, V$).
  • Une attention auto-attentive (Self-Attention) sur l'ensemble des feuilles permet de modéliser les redondances et les occlusions cumulatives avant l'évaluation directionnelle.
  • Le système intègre des embeddings directionnels pour rendre l'inférence conditionnée à la trajectoire d'approche.

B. Tâches d'Apprentissage Multi-Tâches

Le modèle est entraîné de bout en bout pour prédire simultanément :

1. Sémantique et Géométrie : Classification des organes, existence des arêtes (attachements), et régression des paramètres géométriques (centroïdes, extents).
2. Inférence d'Occlusion Directionnelle :
   • Visibilité Union : Prédiction de la réduction globale de visibilité pour une direction donnée.
   • Potentiel de Paires : Score d'occlusion pour chaque paire fruit-feuille.
   • Classement (Ranking) : Prédiction d'un ordre de priorité pour les feuilles obstruantes (quelle feuille enlever en premier).

C. Jeu de Données Synthétique

Face à la difficulté d'obtenir des vérités terrain pour les attachements et l'occlusion dans des serres réelles, les auteurs ont développé un pipeline de génération procédurale dans BlenderProc.

• Ce pipeline génère des plants de poivrons biologiquement plausibles avec des annotations de vérité terrain complètes (topologie, masques d'occlusion en profondeur).
• L'occlusion est calculée via un tampon de profondeur (z-buffer) multi-couches le long de 18 directions canoniques, permettant un apprentissage supervisé à grande échelle.

3. Contributions Clés

1. Formulation du problème : Définition de l'inférence d'occlusion 3D conditionnée à la direction comme un problème d'apprentissage relationnel, avec un graphe de scène codant à la fois les attachements structurels et le classement des occludeurs.
2. Architecture SG-DOR : Conception d'un réseau de graphes directionnel avec une attention par ensemble de feuilles (per-fruit leaf-set) et une agrégation au niveau de l'union, permettant de gérer la redondance des feuilles.
3. Jeu de Données et Pipeline : Création et publication d'un jeu de données synthétique multi-plantes de grande échelle avec des étiquettes d'occlusion directionnelle ground-truth, essentiel pour la supervision de systèmes de raisonnement.
4. Stratégie d'entraînement : Utilisation d'une perte de cohérence "feuille-vers-union" (Leaf-to-Union Consistency) pour garantir que la visibilité globale prédite est soutenue par des occludeurs locaux identifiables.

4. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données synthétique et validées sur un prototype physique.

• Performance d'Inférence :
  • Classement des feuilles (NDCG@3) : SG-DOR atteint 0,85, surpassant significativement les ablations (ex: sans attention auto, NDCG@3 chute à 0,57).
  • Prédiction d'occlusion (F1) : F1 de 0,73 pour la direction d'occlusion.
  • Inférence d'attachement (Edge F1) : 0,83, montrant que le modèle préserve la structure du graphe tout en apprenant l'occlusion.
• Analyse d'Ablation :
  • L'absence de mécanisme d'attention compétitive (Self-Attention) ou de géométrie explicite (Pair Geometry) entraîne une dégradation drastique des performances de récupération des feuilles.
  • L'utilisation exclusive de la perte de visibilité globale (Union Loss) fait s'effondrer la capacité de classement, prouvant la nécessité des pertes de classement listwise et de potentiel de paires.
• Robustesse :
  • Le modèle reste robuste face au bruit géométrique (jitter de 4 mm) et aux distorsions de projection (perspective vs orthographique), confirmant qu'il apprend des relations volumétriques réelles et non des artefacts de rendu.
  • Validation Réelle : Appliqué sans fine-tuning sur un plant de poivron réel reconstruit, SG-DOR a correctement identifié et classé les feuilles obstruantes, démontrant un transfert "zero-shot" vers le monde réel.

5. Signification et Impact

Ce travail comble un fossé critique entre la perception 3D et la planification d'action en robotique agricole.

• Passage de la détection à l'action : SG-DOR ne se contente pas de dire "le fruit est caché", il fournit un signal relationnel structuré indiquant "la feuille X obstrue le fruit Y depuis le haut, et c'est la priorité #1 à déplacer".
• Planification d'intervention : Ces prédictions permettent aux robots de planifier des stratégies d'intervention ciblées (pousser une feuille spécifique, élaguer) plutôt que d'agir aveuglément, améliorant ainsi l'efficacité et la sécurité de la récolte automatisée.
• Généralité : Bien que testé sur des poivriers, le cadre SG-DOR est applicable à d'autres cultures à feuillage dense, offrant une nouvelle voie pour le raisonnement relationnel dans des environnements 3D complexes et occlus.