Résumé Technique : FG-TreeSeg

Énoncé du Problème

La segmentation individuelle des cimes d'arbres est une tâche critique pour l'estimation de la biomasse forestière et la surveillance écologique, mais elle demeure un goulot d'étranglement majeur en télédétection. Les principaux défis découlent des structures spatiales complexes des couverts forestiers, où des branches denses et superposées créent des limites visuelles ambiguës. Les approches existantes se heurtent à deux limitations distinctes :

1. Apprentissage profond supervisé : Les méthodes reposant sur des annotations d'instances à grande échelle souffrent de coûts de main-d'œuvre élevés, de subjectivité dans la génération des vérités terrain et d'une généralisation limitée à travers différents types de capteurs et densités de couvert.
2. Modèles de fondation : Bien que des modèles comme le Segment Anything Model (SAM) offrent une segmentation polyvalente puissante, ils manquent souvent de connaissances spécifiques au domaine de la foresterie. Lorsqu'ils sont appliqués à des forêts denses, ils échouent fréquemment à séparer les instances en contact, conduisant à une sous-segmentation. De plus, les approches multi-modales incorporant le LiDAR ou les MNS augmentent les coûts d'acquisition de données et la complexité computationnelle.

Méthodologie

Les auteurs proposent FG-TreeSeg (Segmentation d'Arbres Guidée par le Flux), un cadre sans entraînement qui transfère des techniques de délimitation basées sur le flux de l'imagerie biomédicale vers la télédétection. L'innovation centrale réside dans la reconceptualisation de la délimitation des cimes d'arbres comme un problème de convergence topologique de flux plutôt que comme une tâche traditionnelle de détection de limites. Le cadre exploite l'isomorphisme structurel entre les cellules biologiques et les cimes d'arbres, qui présentent tous deux des propriétés morphologiques étoilées-convexes.

Le pipeline opère en deux étapes distinctes :

1. Contrainte Sémantique du Couvert

Pour prévenir la sur-segmentation de l'arrière-plan (par exemple, sur l'herbe ou les toits) et restreindre l'espace de recherche, le cadre utilise un modèle SegFormer pré-entraîné (backbone MiT-B5). Entraîné sur le jeu de données OAM-TCD, ce composant effectue une segmentation sémantique binaire pour générer un masque de couvert ($M_{sem}$). Ce masque agit comme une priorité spatiale, isolant les régions de couvert valides avant le début de la segmentation d'instances.

2. Segmentation d'Instances Guidée par le Flux

La séparation d'instances centrale est réalisée à l'aide de Cellpose-SAM, adapté aux cimes d'arbres. Cette étape traite la segmentation comme un système dynamique :

• Encodage des Caractéristiques : Un backbone Vision Transformer (ViT) (basé sur SAM) encode l'image d'entrée dans un espace latent ($Z$), capturant les informations contextuelles globales et les structures intérieures des objets.
• Prédiction du Flux : Le réseau prédit un champ vectoriel pixel par pixel ($V$) représentant le gradient d'une surface de potentiel spécifique à l'instance. Géométriquement, ces vecteurs guident les pixels vers l'intérieur, en direction du centre de gravité (puits) de leurs cimes d'arbres respectives.
• Convergence du Flux : Lors de l'inférence, les pixels sont traités comme des particules dans un système dynamique. Ils sont advectés de manière itérative le long des lignes de courant prédites en utilisant l'intégration d'Euler ($p_{\tau+1} = p_\tau + V(p_\tau)$). Les pixels appartenant à la même cime convergent vers un point fixe stable commun, formant le masque d'instance. Ce mécanisme sépare naturellement les instances en contact sans nécessiter d'étapes de post-traitement telles que des transformations de ligne de partage des eaux ou une suppression non maximale.

Contributions Clés

• Cadre Sans Entraînement : FG-TreeSeg élimine le besoin d'annotations spécifiques à la tâche ou d'affinage en transférant des priors géométriques de l'imagerie biomédicale (Cellpose-SAM) vers la télédétection.
• Séparation Topologique : En modélisant les cimes d'arbres comme des objets étoilés-convexes au sein d'un champ de flux, la méthode sépare efficacement les couverts denses et superposés là où les méthodes traditionnelles basées sur les limites échouent.
• Architecture Hybride : L'intégration d'une priorité sémantique (SegFormer) avec un modèle d'instance basé sur le flux (Cellpose-SAM) atténue efficacement le bruit de fond tout en assurant une séparation d'instances robuste.
• Évolutivité : L'approche offre une solution évolutive pour générer des masques d'instances préliminaires, déplaçant la charge d'annotation du dessin manuel de polygones vers le raffinement des limites.

Résultats

Le cadre a été évalué sur les jeux de données NEON (RGB aérien) et BAMFORESTS (UAV VHR), ainsi que visuellement sur le jeu de données TCD.

• Performance Quantitative :
  • Sur le jeu de données NEON, FG-TreeSeg a atteint un mAP@50 de 42,30 %, surpassant TreePseCo supervisé par points (41,68 %) et s'approchant de DeepForest supervisé (49,89 %).
  • Sur le jeu de données BAMFORESTS, le cadre a atteint un mAP@50 de 67,31 %, se situant à moins de 2 % des modèles entièrement supervisés comme Mask R-CNN (69,05 %) et Mask2Former (68,89 %) sans aucune annotation manuelle.
• Évaluation Qualitative :
  • Le modèle a démontré une généralisation robuste à travers différentes échelles (des plants aux arbres patrimoniaux) et densités (zones urbaines clairsemées aux forêts denses).
  • Les comparaisons visuelles sur le jeu de données TCD ont révélé que, tandis que les modèles supervisés (par exemple, Mask R-CNN entraîné sur TCD) ont tendance à sous-segmenter les grappes denses en raison de biais d'annotation (regroupant plusieurs arbres en polygones uniques), FG-TreeSeg sépare avec succès les centres de gravité topologiques distincts.
  • Le cadre évite la sensibilité au fond souvent observée dans les modèles de fondation bruts comme SAM.

Importance et Revendications

L'article positionne FG-TreeSeg non pas comme un remplacement de l'apprentissage supervisé, mais comme une solution rapide, prête à l'emploi pour générer des masques d'instances préliminaires. Son importance principale réside dans :

1. Combler le Fossé d'Annotation : Il fournit une méthode sans entraînement pour générer des étiquettes pour les environnements forestiers denses, accélérant considérablement la création de jeux de données massifs nécessaires pour entraîner les futurs modèles de fondation en foresterie.
2. Généralisation Robuste : Il démontre que les priors géométriques (étoilée-convexité et dynamique de flux) peuvent efficacement combler le fossé entre l'inférence sans annotation et la précision supervisée à travers divers types de capteurs et densités de couvert.
3. Résoudre les Incohérences de Granularité : Les auteurs notent que les benchmarks quantitatifs standards peuvent pénaliser les prédictions fines dans les jeux de données où la vérité terrain agrège les grappes denses. La capacité de FG-TreeSeg à séparer visuellement ces grappes prouve sa séparabilité fine supérieure, même lorsque les métriques standard sont peu fiables.

Les auteurs reconnaissent que, bien que les performances absolues actuelles soient compétitives, elles ne peuvent pas encore répondre aux seuils stricts requis pour une comptabilité écologique précise. Cependant, le cadre offre une voie évolutive pour améliorer l'efficacité de l'annotation et soutient le développement de modèles de fondation plus avancés et spécifiques au domaine.