LeafInst - Unified Instance Segmentation Network for Fine-Grained Forestry Leaf Phenotype Analysis: A New UAV based Benchmark

1. Probleemstelling

Houtkweek en bosbeheer hebben baat bij geavanceerde plantfenotypiek, maar bestaande onderzoeken richten zich voornamelijk op landbouwgewassen met grote bladeren in gestructureerde omgevingen. Er bestaat een significante kennislacune op het gebied van fijnkorrelige analyse van bladeren van jonge bomen in open velden.

De specifieke uitdagingen bij het segmenteren van bosbladeren via UAV-beelden (dronebeelden) zijn:

• Schaalvariaties: Bladeren kunnen op verschillende afstanden worden gefotografeerd (van individuele bladeren tot hele takken en bomen), wat leidt tot grote variaties in grootte binnen één beeld.
• Helderheidsvariaties: Door de tijd van opname en de hoek van de zon ontstaan ongelijke verlichting, schaduwen en reflecties, wat de detectie bemoeilijkt.
• Vormvariaties: Bladeren in de natuur vertonen onregelmatige vormen door windinvloeden (beweging/deformatie) en soortenverschillen (microphyllous vs. macrophyllous).
• Gebrek aan data: Er ontbrak tot nu toe een open-source dataset met pixel-niveau annotaties specifiek voor bosbladeren in natuurlijke omgevingen. Bestaande datasets zijn vaak orthorectificeerd (landbouw) of beperkt tot gezonde/infectie-gevallen in kweekomgevingen.

2. Methodologie: LeafInst

De auteurs stellen LeafInst voor, een uniek netwerk voor instantiesegmentatie dat is ontworpen om de bovengenoemde uitdagingen aan te pakken. Het model is gebaseerd op een anchor-free CondInst-architectuur met de volgende kerncomponenten:

• Neck (Asymptotic Feature Pyramid Network - AFPN):
  Om de schaalvariaties aan te pakken, wordt de standaard FPN vervangen door AFPN. Dit module zorgt voor progressieve multi-schaal visuele perceptie door dynamische interactie tussen verschillende feature-niveaus, waardoor informatieverlies bij niet-adjacente niveaus wordt geminimaliseerd.

• Head (Dynamic Anomalous Regression Head - DARH):
  Dit is een nieuw, unificerend detectiehoofd dat de nauwkeurigheid verbetert voor vervormde objecten. Het bevat twee innovaties:

  • Dynamic Asymmetric Spatial Perception (DASP): Een module die feature-extractie optimaliseert voor onregelmatige vormen. Het splitst features op in vier takken: horizontale convolutie, verticale convolutie, diepe convolutie en deformeerbare convolutie. Dit stelt het model in staat om de specifieke vervormingen van bladeren door de wind te vangen.
  • Dual-Residual Structuur: Een strategie om langeafhangsafhankelijkheden te behouden en lokale beperkingen van convoluties te compenseren, waardoor de feature-representatie wordt hersteld en versterkt.

• Feature Fusion (Top-down Concatenation–decoder Feature Fusion - TCFU):
  In plaats van de gebruikelijke pixel-wijze optelling (die leidt tot redundantie en gewichtsverlies van lage-resolutie features), gebruikt LeafInst een concatenatie-strategie. Features worden via convolutie gereduceerd en vervolgens samengevoegd met de volgende laag. Dit vermindert redundante representaties en verbetert de kwaliteit van de mask-decoding.

• Verliesfunctie:
  Het model gebruikt een multi-task loss die bestaat uit: Focal Loss (voor classificatie), GIoU Loss (voor bounding boxes), Centerness Loss (voor kwaliteitsfiltering) en Dice Loss (voor mask-segmentatie).

3. Belangrijkste Bijdragen

1. Poplar-leaf Dataset: De eerste pixel-niveau geannoteerde open-source dataset voor instantiesegmentatie van bosbladeren in open velden.
   • Omvang: 1.202 takken, 19.876 bladerinstanties.
   • Bron: UAV-opnames van populieren in Dongtai Plantation (China) onder diverse licht- en weersomstandigheden.
   • Toegang: 40,8 GB aan ongeannoteerde data is ook beschikbaar voor transfer learning.
2. LeafInst Architectuur: Een state-of-the-art model dat specifiek is ontworpen voor de complexe omstandigheden van bosbladeren (schaal, licht, vorm).
3. Downstream Applicaties:
   • Robuuste Segmentatie: Toepassing in complexe scenario's (nacht, verschillende soorten, schaal).
   • LGCI (Leaf Growth Condition Indicator): Een nieuwe, hoogdoorvoerende indicator voor kwantitatieve beoordeling van bladgroei en fenotypische ontwikkeling, gebaseerd op gesegmenteerde vormen en kleureigenschappen.

4. Resultaten

De prestaties van LeafInst zijn getest op de nieuwe Poplar-leaf dataset en de bestaande landbouwdataset PhenoBench.

• Poplar-leaf (Bosdata):

  • LeafInst bereikte een seg-mAP van 68,4%, wat een verbetering is van 7,1% ten opzichte van YOLOv11 en 6,5% ten opzichte van MaskDINO.
  • Het model presteerde ook superieur op de box-metrics (65,6 mAP).
  • In kwalitatieve tests (zero-shot) overtrof het grote visuele modellen zoals SAM (Segment Anything) en FastSAM, vooral in scenario's met schaduwen en vervormingen.

• PhenoBench (Landbouwdata - Zero-shot Transfer):

  • Zonder specifieke training op deze dataset, behaalde LeafInst een box-mAP van 52,7%, wat 3,4% hoger is dan MaskDINO.
  • Dit bewijst de sterke generalisatiecapaciteit van het model voor verschillende bladtypen en omgevingen.

• Ablatie Studies:

  • Het vervangen van FPN door AFPN en het gebruik van de volledige DARH-module met DASP leverden de grootste prestatieverbeteringen op (respectievelijk +1,5 en +4,0 mAP).

5. Betekenis en Toekomstperspectief

Dit onderzoek vormt een mijlpaal in de intelligente bosbouw en fenotypiek:

• Overbrugging van de kloof: Het sluit de kloof tussen instantiesegmentatie en fijnkorrelige fenotypische analyse in natuurlijke bosomgevingen.
• Efficiëntie in Kweek: De voorgestelde LGCI-indicator biedt een niet-destructieve, hoogdoorvoerende methode om de groei en gezondheid van bladeren te beoordelen. Dit is cruciaal voor "early-stage selection" (selectie in vroege stadia) van superieure boomvariëteiten, wat traditioneel tijdrovend en subjectief was.
• Scalabiliteit: De combinatie van UAV-data en het LeafInst-model maakt het mogelijk om op grote schaal en in real-time bosgezondheid en groei te monitoren, wat essentieel is voor het oplossen van tekorten aan hout en het verbeteren van koolstofopslagcapaciteit in bossen.

Kortom, LeafInst biedt niet alleen een technisch superieur algoritme, maar ook een volledig ecosysteem (dataset + model + applicatie) dat de weg vrijmaakt voor data-gedreven, intelligente bosveredeling.