Multispectral airborne laser scanning for tree species classification: a benchmark of machine learning and deep learning algorithms

Deze studie toont aan dat puntgebaseerde deep learning-modellen, met name een point transformer, superieur zijn aan traditionele machine learning- en beeldgebaseerde deep learning-methoden voor het classificeren van boomsoorten in hoogdichte multispectrale ALS-data, waarbij een nauwkeurigheid van 87,9% werd bereikt met een beperkt trainingsdataset.

De kern

🌲 De Grote Boom-Identificatie Wedstrijd: Hoe Computers Bomen Herkennen

Stel je voor dat je een enorme, digitale foto van een bos maakt, maar dan niet met een gewone camera, maar met een laser-scan die vanuit een helikopter vliegt. Deze laser schiet duizenden punten per seconde op de bomen. Het resultaat is een "wolk" van punten die de vorm van elke boom in 3D nabootst.

De vraag is: Kan een computer vertellen welk type boom het is? Is dat een spar, een berk of misschien een esdoorn? En kan hij dat doen, zelfs als er duizenden verschillende soorten bomen zijn en sommige soorten heel zeldzaam?

Dit artikel beschrijft een enorme internationale wedstrijd (een "benchmark") waar wetenschappers uit de hele wereld hun slimste computerprogramma's tegen elkaar hebben laten strijden om deze vraag te beantwoorden.

1. De Twee Camera's: De "Scherpe" en de "Vage" Lens

De onderzoekers gebruikten twee verschillende soorten scanners om de data te verzamelen:

• De HeliALS (De Super-Held): Dit is een nieuw systeem dat vanuit een helikopter vliegt. Het schiet 1.300 punten per vierkante meter op de bomen.
  • Vergelijking: Dit is alsof je een boom bekijkt met een 4K-camera die je tot in de kleinste takjes en blaadjes ziet. Je kunt bijna elk detail zien.
• De Optech Titan (De Oude Vriend): Dit is een ouder systeem dat al langer in gebruik is. Het schiet maar 35 punten per vierkante meter.
  • Vergelijking: Dit is alsof je de boom bekijkt met een oude, wazige foto. Je ziet de algemene vorm, maar de details zijn vaag.

Bovendien gebruikten ze niet één, maar drie verschillende kleuren laser (groen, infrarood en nabij-infrarood).

• Vergelijking: Stel je voor dat je bomen niet alleen ziet, maar ook hun "huidskleur" kunt meten. Verschillende boomsoorten reflecteren licht anders, net zoals een appel anders glinstert dan een perzik. Dit helpt de computer om ze te onderscheiden.

2. De Wedstrijd: Oude Wijsheid vs. Nieuwe Slimheid

De onderzoekers gaven de data aan 13 teams. Deze teams moesten hun beste algoritmes (rekenregels) gebruiken om de bomen te classificeren. Er waren twee kampen:

• Het "Oude" Kamp (Machine Learning): Dit zijn slimme, maar traditionele methoden. Ze werken als een ervaren boswachter die duizenden regels heeft onthouden: "Als de boom 10 meter hoog is en de naalden zijn donkergroen, dan is het een spar."
• Het "Nieuwe" Kamp (Deep Learning): Dit zijn kunstmatige neurale netwerken. Ze werken als een superslimme student die zelf duizenden voorbeelden moet bekijken om patronen te leren, zonder dat iemand hem specifieke regels vertelt. Ze kijken rechtstreeks naar de 3D-punten.

3. De Uitslag: Wie Wint?

De resultaten waren verrassend en afhankelijk van de "kwaliteit" van de foto:

• Bij de "Vage" foto's (Optech Titan):
  De Oude Wijsheid (Machine Learning) won net. De traditionele methoden waren hier het meest betrouwbaar. De "superslimme student" (Deep Learning) deed het ook goed, maar kon de oude regels niet volledig overtreffen met zo weinig details.

  • Resultaat: Ongeveer 80% juist.

• Bij de "Super-Scherpe" foto's (HeliALS):
  Hier sloeg de Nieuwe Slimheid (Deep Learning) toe! De traditionele methoden bleven steken, maar de Deep Learning-modellen (vooral een model genaamd "Point Transformer") schoten omhoog.

  • Resultaat: Ongeveer 88% juist.
  • De Grootste Overwinning: Het nieuwe model was veel beter in het herkennen van zeldzame bomen (zoals de es of de lijsterbes). De oude methoden negeerden deze vaak of verwarde ze met andere soorten.

4. De Magie van de Kleuren (Spectrale Informatie)

Een belangrijk onderdeel van de studie was: "Wat gebeurt er als we de kleuren (laser-reflectie) weglaten?"

• Zonder kleuren (alleen vorm) was de computer minder goed.
• Met één kleur was het al veel beter.
• Met alle drie de kleuren was het perfect.
• Vergelijking: Het is alsof je een boom probeert te herkennen door alleen naar de schaduw te kijken (slecht), versus naar de schaduw én de exacte kleur van de bladeren kijken (uitstekend). De kleuren waren vooral cruciaal bij de "vage" foto's, waar de vorm niet genoeg informatie gaf.

5. De Leercurve: Hoe meer data, hoe slimmer

De onderzoekers keken ook naar hoe goed de systemen werden naarmate ze meer voorbeelden kregen.

• Machine Learning: Leerde snel aan het begin, maar stopte vrij snel met verbeteren. Het was als iemand die een boek leest en dan denkt: "Ik weet het nu wel."
• Deep Learning: Leerde langzaam aan het begin, maar bleef voortdurend slimmer worden naarmate er meer data bij kwam.
• Vergelijking: Stel je voor dat je een taal leert. De traditionele methode leert de basiswoorden en stopt dan. De Deep Learning-methode blijft lezen, oefenen en wordt uiteindelijk een native spreker, maar alleen als je hem duizenden boeken geeft.

6. Waarom is dit belangrijk?

Waarom maken we ons druk om het herkennen van elke individuele boom?

• Biodiversiteit: We willen weten waar zeldzame bomen staan, omdat die belangrijk zijn voor insecten en vogels.
• Bosbeheer: Als je weet welke bomen waar staan, kun je beter plannen welke bomen je mag kappen en welke je moet laten staan voor een gezond bos.
• Steden: In steden is het belangrijk om te weten welke bomen er staan voor de luchtkwaliteit en het uitzicht.

Conclusie in één zin

Deze studie laat zien dat als je super-scherpe 3D-scans maakt met meerdere kleuren, de nieuwste AI-technologie (Deep Learning) de beste manier is om bomen te herkennen, vooral voor het vinden van zeldzame soorten. Maar voor minder scherpe scans werken de ouderwetse, bewezen methoden nog steeds prima.

Het onderzoek heeft ook een enorme, openbare database gemaakt met duizenden gelabelde bomen, zodat andere wetenschappers hun eigen AI-modellen kunnen trainen en het bosbeheer in de toekomst nog slimmer kan worden. 🌳🤖🚁

Technische samenvatting

Probleemstelling

De moderne bosbouw en stedelijke planning vereisen steeds nauwkeurigere informatie over bosresourcen, specifiek op het niveau van individuele bomen. Hoewel Airborne Laser Scanning (ALS) veelbelovend is voor bosinventarisatie, blijft de automatische classificatie van boomsoorten een uitdaging, vooral bij:

• Zeldzame soorten: In onbalans datasets (class-imbalanced datasets) presteren traditionele methoden vaak slecht op minder voorkomende soorten.
• Diep leren (Deep Learning): Er is een gebrek aan benchmarks die diepe leertechnieken vergelijken met traditionele machine learning-methoden op hoge-resolutie, multispectrale ALS-data.
• Data-tekort: Grote, open datasets met grondwaarheid (ground-truth) voor boomsoortclassificatie ontbreken vaak, wat de ontwikkeling van sensor-agnostische modellen belemmert.

Methodologie

De auteurs hebben een internationaal benchmark-onderzoek uitgevoerd om verschillende algoritmen te vergelijken voor de classificatie van boomsoorten.

1. Dataverzameling en Voorbewerking:

• Onderzoeksgebied: Espoonlahti, Espoo (Finland), een semi-urban gebied met hoge diversiteit aan boomsoorten (9 soorten: den, spar, berk, esdoorn, populier, lijsterbes, eik, linde, els).
• Sensoren:
  • HeliALS: Een nieuw ontwikkeld systeem van het FGI (Finnish Geospatial Research Institute) met drie laserscanners (532 nm, 905 nm, 1550 nm). Dit leverde zeer hoge dichtheden op (>1000 punten/m²).
  • Optech Titan: Een bestaand multispectraal systeem (35 punten/m²), gebruikt als vergelijkingspunt voor "spare" data.
• Referentiedata: Een dataset van 6326 boomsegmenten werd gecreëerd met behulp van een nieuw ontwikkeld browser-based crowdsourcing-tool. Dit tool liet experts en vrijwilligers toe om boomsegmenten in het veld te labelen, wat werd geverifieerd door experts om de kwaliteit te waarborgen.
• Datasplitsing: De dataset werd gesplitst in een trainingsset (1065 segmenten) en een testset (5261 segmenten).

2. Geëvalueerde Algoritmen:
Er werden 13 teams betrokken die in totaal 26 methoden inzonden, verdeeld in drie categorieën:

• Puntgebaseerde Deep Learning (3D): Modellen zoals Point Transformer, PointNet++, DGCNN en Point2Vec die direct werken met de 3D-puntwolk en radiometrische informatie (intensiteit/reflectie).
• Beeldgebaseerde Deep Learning (2D): Modellen zoals YOLOv8, DenseNet en ConvNeXt die de puntwolk projecteren naar 2D-afbeeldingen (dieptekaarten of RGB-projecties).
• Traditionele Machine Learning (Shallow ML): Methoden zoals Random Forest (RF), Support Vector Machines (SVM) en Gradient Boosting, die handgemaakte kenmerken (geometrie, intensiteitsstatistieken) gebruiken.

3. Analyse:
De prestaties werden gemeten aan de hand van algehele nauwkeurigheid (Overall Accuracy), macro-gemiddelde nauwkeurigheid (belangrijk voor zeldzame soorten), precisie, recall en F1-score. Er werd ook een schaalanalyse (scaling law) uitgevoerd om het effect van trainingssetgrootte en puntendichtheid te onderzoeken.

Belangrijkste Bijdragen

1. Internationaal Benchmark: De eerste uitgebreide vergelijking van state-of-the-art deep learning en machine learning methoden voor boomsoortclassificatie op multispectrale ALS-data.
2. Open Dataset: Publicatie van een unieke dataset met hoge dichtheid (HeliALS) en lagere dichtheid (Optech Titan) inclusief grondwaarheid labels voor 9 soorten, beschikbaar gesteld via Zenodo.
3. Crowdsourcing Tool: Introductie van een innovatief webtool voor efficiënte en schaalbare verzameling van grondwaarheid data voor boomsegmenten.
4. Schaalwetten: Een kwantitatieve analyse van hoe de classificatiefout afneemt naarmate de trainingssetgrootte en puntendichtheid toenemen, met een vergelijking tussen deep learning en machine learning convergentie.

Resultaten

1. Prestaties op Hoge Dichtheid Data (HeliALS >1000 pts/m²):

• Winnaar: Puntgebaseerde deep learning, specifiek het Point Transformer-model, presteerde het beste.
  • Overall Accuracy: 87,9% (met 1065 trainingssegmenten).
  • Macro-average Accuracy: 74,5%.
• Vergelijking:
  • De beste beeldgebaseerde methode (DetailView) haalde 84,3% overall accuracy.
  • De beste traditionele machine learning methode (Random Forest) haalde 83,2% overall accuracy.
• Zeldzame Soorten: Het Point Transformer-model presteerde aanzienlijk beter bij het identificeren van zeldzame soorten (zoals populier en els) dan traditionele methoden, wat resulteerde in een veel hogere macro-average nauwkeurigheid.

2. Prestaties op Lage Dichtheid Data (Optech Titan ~35 pts/m²):

• Op deze "spare" data presteerde een Random Forest-model het beste (79,9% overall accuracy), gevolgd zeer dicht door het Point Transformer-model (79,6%).
• Dit suggereert dat bij lage puntendichtheid de voordelen van deep learning minder duidelijk zijn dan bij hoge dichtheid.

3. Invloed van Spectrale Informatie:

• Het gebruik van multispectrale informatie (alle drie de golflengtes) verbeterde de nauwkeurigheid aanzienlijk ten opzichte van alleen geometrische data.
• Voor het Point Transformer-model op HeliALS-data steeg de overall accuracy van 73,0% (geen spectrale info) naar 84,7% (één kanaal) en 87,9% (alle drie de kanalen).
• Multispectrale data is vooral cruciaal bij lage puntendichtheden (1–50 pts/m²).

4. Schaalwetten (Scaling Laws):

• De classificatiefout volgt een machtswet: $\epsilon(m) \propto m^{-\alpha}$.
• Convergentie: Deep learning modellen (Point Transformer) convergeren ongeveer twee keer zo snel als machine learning modellen (Random Forest) naarmate de trainingsset groter wordt.
• Voorspelling: Om een macro-average nauwkeurigheid van 90% te bereiken, zou het Point Transformer-model ongeveer 14.000 trainingssegmenten nodig hebben, terwijl de Random Forest-methoden naar schatting 4,9 miljoen segmenten nodig zouden hebben.

5. Segmentatie en Kroonklasse:

• De nauwkeurigheid daalt significant voor "onderdrukte" bomen (kleine bomen naast grote bomen) en bij onvolledige segmentatie. Deep learning modellen presteren hier echter beter dan traditionele methoden.

Betekenis en Conclusie

Dit onderzoek toont aan dat deep learning, en specifiek puntgebaseerde modellen zoals Point Transformer, superieur zijn voor boomsoortclassificatie wanneer er toegang is tot hoge-resolutie, multispectrale ALS-data.

• Praktische Toepassing: De resultaten maken nauwkeurige inventarisatie van individuele bomen mogelijk, wat essentieel is voor biodiversiteitsbeheer (bijv. het identificeren van populieren, een sleutelsoort voor biodiversiteit) en klimaatvriendelijke bosbeheer.
• Toekomst: Hoewel deep learning op grote datasets overweldigend presteert, blijft het belangrijk om de transferbaarheid van deze modellen naar nieuwe gebieden en sensoren te onderzoeken. De studie benadrukt ook de noodzaak van grootschalige, hoogwaardige referentiedatasets, die nu mogelijk zijn dankzij de ontwikkelde crowdsourcing-methodiek.
• Data Beschikbaarheid: De publicatie van de dataset en de benchmark-resultaten vormt een fundamentele stap voor de gemeenschap om verdere innovaties in de bosinformatie en remote sensing te stimuleren.