SegmentAnyTreeV2: Scaling Transformer-Based Tree Instance Segmentation Across Sensors, Platforms, and Forests

Technische Samenvatting: SegmentAnyTreeV2

Probleemstelling
De segmentatie van 3D-bospuntenwolken staat voor hardnekkige uitdagingen op het gebied van structurele complexiteit, multischalige representatie en cross-domain variabiliteit. Hoewel recente deep learning-methoden hoge prestaties hebben behaald in beheerde naaldbossen, worstelen ze in structureel heterogene omgevingen (bijv. gematigde loofbossen en tropische bossen) die worden gekenmerkt door in elkaar grijpende kronen, dichte ondergroei en diverse sensormodaliteiten. Bestaande state-of-the-art modellen, zoals ForestFormer3D en ForAINet, vertrouwen vaak op sparse-convolutional backbones die er niet in slagen om lang-afstandscontext binnen individuele boomkronen te vangen of die lijden onder query-uitputting in drukke scènes. Bovendien zijn huidige benchmarks bevooroordeeld ten gunste van Europese boreale bossen, waardoor ze een gebrek aan diversiteit vertonen die nodig is om robuustheid over wereldwijde biomen en sensortypes (ULS, MLS, TLS) te evalueren.

Methodologie
De auteurs stellen SegmentAnyTreeV2 (SaTv2) voor, een sensor- en platformonafhankelijk framework voor de gezamenlijke semantische en instantie-segmentatie van bospuntenwolken. De architectuur is ontworpen om de beperkingen van eerdere query-gebaseerde methoden aan te pakken via drie kerninnovaties:

1. Serialisatie-gebaseerde Transformer Backbone:
   SaTv2 maakt gebruik van Point Transformer v3 (PTv3) als backbone. In tegenstelling tot sparse-convolutional netwerken, serialiseert PTv3 3D-punten langs ruimtevullende curven (Z-order en Hilbert), waardoor self-attention kan worden toegepast binnen korte sliding windows langs een 1D-sequentie. Deze aanpak schaalt lineair met het aantal punten, vermijdt fixed-radius burenzoekopdrachten en legt effectief lang-afstands geometrische context vast binnen individuele boomkronen.

2. Asymmetrische, Instantie-gefocusseerde Decoder:
   Het framework ontkoppelt semantische en instantie-segmentatie in asymmetrische paden:

   • Semantische Head: Een lichtgewicht, per-voxel MLP die direct op backbone-features wordt toegepast, voorspelt semantische klassen (grond, hout, blad) op volledige resolutie.
   • Instantie Decoder: De transformer decoder is uitsluitend toegewezen aan instantie-groepering. Cruciaal is dat de decoder-input wordt gefilterd om alleen boom-klasse voxels (hout en blad) te bevatten op basis van de voorspellingen van de semantische head. Dit vermindert de effectieve sequentielengte, verlaagt het geheugengebruik en concentreert de capaciteit van de decoder op het scheiden van aangrenzende bomen.
   • Mask Scoring: De decoder maakt gebruik van een dual-projectiestrategie waarbij attention memory en mask scoring gebruikmaken van afzonderlijke feature-paden. De mask-scoring branch is dieper en bevat intermediate layer normalisatie om scherpere mask-voorspellingen te produceren.

3. Instance-Aware Sampling (ISA) en Trainingsstrategie:
   Om het probleem van query-uitputting in dichte scènes aan te pakken, vervangt SaTv2 willekeurige query-initialisatie door Instance-Aware Sampling. Een hulp-embedding head leert een discriminerende feature space waar voxels van dezelfde instantie worden geclusterd. Query-seeds worden vervolgens geïnitialiseerd via Farthest Point Sampling (FPS) binnen deze embedding space, wat ervoor zorgt dat queries natuurlijk verdeeld zijn over verschillende bomen.

   • One-to-Many Supervisie: Queries worden gematcht met ground-truth instanties via een one-to-many seed-gebaseerde toewijzing, wat de recall verbetert voor grote bomen die mogelijk meerdere queries vereisen.
   • Curriculum Warm-up: De ISA-module wordt pas geactiveerd na epoch 30, waardoor de semantische head en de embedding space kunnen rijpen voordat de seeds de instantie-decoder initiëren.

4. Schaalbare Inferentie Pipeline:
   Voor per hectare schaalbare plots gebruikt het model een cilinder-gebaseerde tiling strategie (16m radius, 4m stride). Voorspellingen van overlappende cilinders worden samengevoegd met een greedy, confidence-geordende globale merge die duplicate instanties oplost op basis van asymmetrische overlap, gevolgd door boundary en ground-aware filtering.

Belangrijkste Bijdragen

• FOR-instance v3 Dataset: De auteurs introduceren een uitgebreide benchmark bestaande uit 427 scènes en 26.496 geannoteerde bomen verspreid over negen geografische regio's en vier continenten. Deze dataset vergroot de structurele complexiteit aanzienlijk, inclusen onbeheerde gematigde loofbossen en tropische bossen, en beslaat diverse sensormodaliteiten (TLS, MLS, ULS, HeliALS).
• SegmentAnyTreeV2 Architectuur: Een verenigd end-to-end model dat PTv3 combineert met een boom-gefocusseerde cross-attention decoder, waarmee wordt aangetoond dat serialisatie-gebaseerde backbones en instantie-centrische decoding strategieën beter presteren dan sparse-convolutional benaderingen in complexe bossen.
• State-of-the-Art Prestaties: Het model bereikt nieuwe benchmarks in zowel in-distribution nauwkeurigheid als zero-shot generalisatie.

Resultaten
Geëvalueerd op de FOR-instance v2 test split, bereikt SegmentAnyTreeV2 (getraind op v3 data):

• Instantie-segmentatie: 90,5% Precisie, 80,2% Recall, 85,0% F1, en 90,7% Coverage. Dit vertegenwoordigt een verbetering van +2,2 procentpunt (pp) in F1 en een verbetering van +9,5 pp in coverage ten opzichte van de vorige beste methode (ForestFormer3D).
• Semantische segmentatie: 87,6% mean Intersection over Union (mIoU), met bijzonder sterke prestaties op de moeilijke "hout" klasse (70,1%).
• Zero-Shot Generalisatie: Zonder fine-tuning behaalt het model de beste F1-scores op drie van de vier volledig onbekende locaties (Wytham Woods, LAUTx, Litchfield, en Robson Creek), wat duidt op robuuste cross-sensor en cross-biome transfereerbaarheid.
• Per-Regio Analyse: Het model laat de meest significante winsten zien in structureel complexe regio's (bijv. BlueCat en TUWIEN), waar de verbeteringen in coverage de +30 pp overstijgen ten opzichte van baselines, wat wijst op superieure mask-volledigheid in dichte, overlappende kronen.

Betekenis en Claims
Het artikel claimt dat SegmentAnyTreeV2 een nieuwe state-of-the-art vestigt voor bos-instantie-segmentatie, met name in uitdagende, structureel complexe omgevingen waar voorheen gebruikte methoden falen. De auteurs stellen dat de vooruitgang in het veld verschuift van simpelweg het vergroten van de annotatie-volumes naar het verbeteren van de kwaliteit en complexiteit van trainingsdata en modelarchitecturen.

Belangrijke leerpunten zijn:

• Architecturale Superioriteit: De winst in coverage wordt primair gedreven door de PTv3 backbone en de instantie-gefocusseerde decoder, in plaats van enkel door de grotere dataset, wat suggereert dat serialisatie-gebaseerde attention cruciaal is voor het vangen van context op kroon-schaal.
• Operationele Haalbaarheid: Het model brengt inventarisatie op individuele boomniveau dichter bij operationele implementatie in naaldbossen, terwijl het duidelijke verbeteringen laat zien in complexe gemengde en tropische bossen.
• Community Resource: De release van FOR-instance v3 en de modelgewichten beoogt een rigoureuze, gestandaardiseerde benchmark te bieden voor het evalueren van generalisatie over diverse bos types en sensoren, waarmee de historische bias naar beheerde boreale bossen wordt aangepakt.

De auteurs blijven bescheiden over beperkingen en merken op dat hoewel de prestaties zijn verbeterd, instantie-scheiding in extreem dichte, in elkaar grijpende naaldboom-standen (bijv. Ofental) en zeer complexe tropische regenwouden (bijv. Robson Creek) nog steeds uitdagend blijft, waarbij sommige fouten in onder-segmentatie aanhouden. Zij suggereren dat toekomstige vooruitgang zowel engineering-verbeteringen aan het model als de ontwikkeling van nog uitdagendere open benchmarks vereist.