Assessing airborne laser scanning and aerial photogrammetry for deep learning-based stand delineation

De studie concludeert dat voor diepgeleerde bosstandindeling DAP-gebaseerde canopy height-modellen en digitale terreinmodellen vergelijkbare prestaties leveren als ALS-gebaseerde modellen, wat de schaalbaarheid van deze methode vergroot dankzij beter temporale uitlijning van de data.

De kern

Stel je voor dat een bos niet zomaar een groene massa is, maar een enorme, levende stad. In deze stad wonen verschillende "buurten" of bospercelen (in het vakjargon: stands). Elke buurt heeft zijn eigen karakter: hier staan jonge, kleine bomen, daar oude, reusachtige sparren, en weer ergens anders een mix van loof- en naaldbomen. Voor bosbeheerders is het cruciaal om deze buurten precies in kaart te brengen, zodat ze weten waar ze moeten snoeien, planten of oogsten.

Vroeger was het werk van het in kaart brengen van deze buurten een taak voor menselijke detectives. Zij keken naar luchtfoto's en probeerden met het blote oog de grenzen te trekken. Maar dit was lastig, tijdrovend en soms zelfs subjectief: twee detectives konden over dezelfde plek heel andere grenzen trekken.

De onderzoekers van deze studie wilden weten of een kunstmatige intelligentie (AI) dit werk beter, sneller en consistenter kan doen. Ze gebruikten een slimme AI genaamd U-Net, die werkt als een super-sneltekenaar die foto's in stukjes snijdt en elk stukje een label geeft (bijv. "jong bos" of "oud bos").

Hier is de kern van hun onderzoek, vertaald in alledaagse taal:

1. Het probleem: De "tijdsverschil"-valstrik

Om de AI te leren, heb je twee soorten foto's nodig:

• Luchtfoto's: Om te zien hoe de bomen eruitzien (kleur, textuur).
• Laserfoto's (ALS): Om de hoogte van de bomen te meten, alsof je een 3D-scan maakt.

Het probleem is dat deze twee foto's vaak op verschillende momenten zijn gemaakt. Stel, de luchtfoto is van april en de laserfoto van mei. Tussen die twee maanden kan er een boom zijn gekapt of kan er een storm hebben gewoed. Voor de AI is dit een ramp: het leert op een "verkeerde" foto. Het is alsof je iemand probeert te leren fietsen op een fiets die er anders uitziet dan de echte fiets.

2. De oplossing: De "Tweeling"-methode (DAP)

De onderzoekers probeerden een nieuwe methode: Digitale Aerial Photogrammetry (DAP).
Stel je voor dat je een gewone luchtfoto neemt en die zo slim bewerkt dat je er een 3D-model van maakt, zonder lasers. De grote voordeel? De foto en het 3D-model zijn exact op hetzelfde moment gemaakt. Het zijn als tweelingbroers die altijd samen zijn.

De vraag was: Is dit 3D-model van de foto's net zo goed als de dure laser-scan?
Sommige experts dachten van niet, omdat foto's de top van het bladerdak soms wat "gladder" maken en kleine gaatjes (zoals een leeg plekje in het bos) minder goed zien dan lasers.

3. De verrassende uitkomst: De AI is een aanpassingskunstenaar

De onderzoekers lieten de AI leren met drie verschillende sets gegevens:

1. Luchtfoto + Laser-3D (de oude, dure manier).
2. Luchtfoto + Foto-3D (de nieuwe, goedkopere manier).
3. Luchtfoto + Foto-3D + Een topografische kaart (om de hellingen van de grond te zien).

Wat bleek?
Het maakte haast niet uit welke set ze gebruikten! De AI presteerde bijna even goed met de nieuwe "foto-3D" methode als met de dure "laser-3D" methode.

• De metafoor: Het is alsof je een chef-kok vraagt om een perfecte soep te maken. Je geeft hem ofwel verse, dure groenten (laser) of iets goedkopere, maar net zo verse groenten (foto-3D). De soep smaakt voor de klant (de bosbeheerder) precies hetzelfde. De AI is slim genoeg om de kleine verschillen in de "groenten" te negeren en toch een goed resultaat te leveren.

4. De "Grondkaart" (DTM) was niet nodig

Ze dachten ook dat het toevoegen van een kaart van de grondhellingen (DTM) zou helpen, vooral in bergachtige gebieden. Maar in dit vlakke Noorse bosgebied bleek dit niet nodig. De AI kon de hellingen al "voelen" door gewoon naar de bomen en de schaduwen te kijken. Het toevoegen van die extra kaart maakte het zelfs een beetje verwarrend voor de AI, alsof je iemand een extra kompas geeft terwijl hij al perfect de weg kent.

5. De menselijke factor: Zelfs experts zijn het oneens

Een heel interessant punt in het onderzoek was dit:
De AI's die met verschillende gegevens waren getraind, waren meer het eens met elkaar dan met de menselijke experts.

• De les: Als drie verschillende AI's bijna hetzelfde tekenen, maar twee menselijke experts tekenen het anders, dan is het misschien niet dat de AI fout zit. Het kan zijn dat menselijke experts het ook niet eens zijn over waar de grens precies ligt! Bosgrenzen zijn soms vaag, net als de grens tussen "jonge" en "oude" bomen. De AI is dus misschien wel eerlijker dan wij denken.

Conclusie: Wat betekent dit voor de toekomst?

Dit onderzoek is een groot nieuws voor de bosbouw:

• Schaalbaarheid: Omdat we nu weten dat we de dure laser-scans kunnen vervangen door slimme foto-3D-modellen (die we al van luchtfoto's hebben), kunnen we veel grotere gebieden sneller en goedkoper in kaart brengen.
• Tijdsynchronisatie: Het is belangrijker dat de foto's en de 3D-modellen op hetzelfde moment zijn gemaakt, dan dat ze van de allerduurste apparatuur komen.
• De AI is klaar, maar... De AI maakt soms nog wat "krabbelige" lijntjes of te kleine stukjes bos. Dit is niet erg; dat kan later met een simpele "veeg" (post-processing) worden opgelost.

Kortom: De AI is een uitstekende nieuwe detective die ons helpt om de stad van het bos sneller en consistenter in kaart te brengen, zonder dat we altijd de allerduurste apparatuur nodig hebben.

Technische samenvatting

Probleemstelling

Het nauwkeurig afbakenen van bospercelen (stand delineation) is essentieel voor bosinventarisatie en beheer, maar wordt traditioneel handmatig en subjectief uitgevoerd door experts die luchtfoto's interpreteren. Deze handmatige methode is tijdrovend, schaalt slecht en levert inconsistenties op tussen verschillende interpreters.

Recente studies hebben aangetoond dat deep learning (DL) modellen, zoals U-Net, vergelijkbare resultaten kunnen leveren als experts. Echter, een groot operationeel obstakel is de temporele misalignement tussen databronnen: luchtfoto's en Airborne Laser Scanning (ALS) data worden vaak op verschillende tijdstippen verzameld, wat leidt tot inconsistenties door veranderingen in het bos (bijv. oogst of aanplant) en de beschikbaarheid van trainingsdata beperkt.

De kernvraag van deze studie is of Digital Aerial Photogrammetry (DAP)-afgeleide Canopy Height Models (CHM) een betrouwbaar alternatief kunnen zijn voor ALS-gebaseerde CHM's. DAP-data is temporair perfect afgestemd met de multispectrale luchtfoto's (zelfde vlucht), maar kan mogelijk minder gedetailleerd zijn (gegladde kroonoppervlakken, minder openingen). Daarnaast wordt onderzocht of het toevoegen van een Digital Terrain Model (DTM) de prestaties verbetert, aangezien terreininformatie vaak door menselijke interpreters wordt gebruikt, maar nog niet systematisch is getest in geautomatiseerde DL-workflows.

Methodologie

Onderzoeksgebied en Data:

• Locatie: District Follo, Akershus, Noorwegen (6 gemeenten).
• Data: Alle data is in 2021 verzameld om temporale consistentie te garanderen.
  • Referentie: Een bosperceelkaart gemaakt door twee experts (30 en 40 jaar ervaring) op basis van stereoscopische interpretatie van ALS, luchtfoto's en bestaande kaarten. De klassen zijn: niet-bos, herbebossing (I-II), jong/oud dunnen (III-IV) en volwassen bos (V).
  • Input Data:
    1. Multispectrale luchtfoto's (RGB + NIR).
    2. ALS-puntenwolk (5 punten/m²).
    3. DAP-puntenwolk (gegenereerd uit luchtfoto's, 25 punten/m²).
    4. DTM (gegenereerd uit ALS).

Preprocessing:

• De referentiekaart is omgezet naar een raster van 5 klassen (waarbij klasse I en II zijn samengevoegd).
• CHM's zijn gegenereerd uit zowel ALS als DAP (1m resolutie).
• DTM is gegenereerd uit ALS (1m resolutie).
• Drie input-combinaties werden samengesteld voor het model:
  1. RGBI-ALS: Foto's + ALS-CHM.
  2. RGBI-DAP: Foto's + DAP-CHM.
  3. RGBI-DAP-DTM: Foto's + DAP-CHM + DTM.

Model en Training:

• Architectuur: U-Net voor semantische segmentatie.
• Validatie: Ruimtelijke cross-validatie op gemeenteniveau (6-voudige cross-validatie), waarbij één gemeente als testset diende en de rest voor training/validatie.
• Hyperparameter tuning: Geoptimaliseerd met het Optuna-framework (Tree-structured Parzen Estimator) om de Macro-averaged Matthew's Correlation Coefficient (mMCC) te maximaliseren.
• Verliesfunctie: Focal Tversky loss (geschikt voor onbalans tussen klassen).

Kernbijdragen

1. Validatie van DAP als ALS-vervanger: Het is het eerste onderzoek dat systematisch test of DAP-gebaseerde CHM's (met temporale perfectie) kunnen vervangen voor ALS-CHM's in deep learning voor bosperceelafbakening.
2. Testen van DTM-inclusie: Evalueert voor het eerst of het expliciet toevoegen van terreinhoogte (DTM) de prestaties van een DL-model voor perceelafbakening verbetert.
3. Analyse van modelconsistentie vs. menselijke subjectiviteit: Vergelijkt de overeenkomst tussen verschillende modellen met de overeenkomst tussen modellen en de menselijke referentie, om de inherente subjectiviteit van de referentiedata te kwantificeren.

Resultaten

Prestatiemetingen:

• Alle drie de data-combinaties leverden vergelijkbare prestaties op met een Overall Accuracy (OA) tussen 0,90 en 0,91.
• De mMCC (de belangrijkste metriek voor onbalans) lag rond de 0,60 - 0,62 voor alle modellen.
• Er was geen significant voordeel te zien bij het toevoegen van de DTM; de prestaties waren gelijk aan het model met alleen DAP-CHM.

Inter-model overeenkomst:

• Een opvallend resultaat was dat de overeenkomst tussen de voorspellingen van de verschillende modellen onderling (mMCC ≈ 0,84) aanzienlijk hoger was dan de overeenkomst tussen de modellen en de menselijke referentie (mMCC ≈ 0,60).
• Dit suggereert dat de modellen zeer consistent zijn in hun interpretatie van de data, maar dat de menselijke referentiekaart zelf subjectief is en variatie bevat.

Kwalitatieve observaties:

• DAP vs. ALS: Hoewel DAP-CHM's gladder zijn en minder detail tonen in loofbomen (door de bladloze conditie bij de opname), presteerde het model even goed als met ALS-data. Het model lijkt te compenseren met informatie uit de spectrale beelden.
• DTM: Het toevoegen van de DTM leidde niet tot betere resultaten en veroorzaakte zelfs eerder overfitting (training werd vroegtijdig gestopt). Dit wordt toegeschreven aan het relatief vlakke terrein in het studiegebied, waar terreininfo al impliciet in de beelden zit.
• Foutenpatronen: Modellen neigden tot over-segmentatie (veel kleine percelen onder de minimale kaartleggingsgrootte van 0,2 ha) en misten soms boswegen. De grenzen werden soms iets anders getrokken dan door de expert, maar de algemene structuur was consistent.

Betekenis en Conclusie

De studie concludeert dat Deep Learning-based stand delineation robuust is en niet sterk afhankelijk is van de specifieke bron van de hoogtegegevens (ALS vs. DAP), zolang de data temporair goed is afgestemd.

• Operationele impact: Omdat DAP-data temporair perfect aligneert met luchtfoto's, kunnen er grootschalige, consistente datasets worden samengesteld voor training zonder de beperkingen van gescheiden ALS-vluchten. Dit maakt de methode veel schaalbaarder voor operationeel gebruik.
• Rol van DTM: In vlakke gebieden met homogeen bosbeheer lijkt de DTM geen extra meerwaarde te hebben voor semantische segmentatie van ontwikkelingsstadia.
• Toekomstperspectief: Hoewel de resultaten veelbelovend zijn, blijft er ruimte voor verbetering in de post-processing (het gladstrijken van grenzen en samenvoegen van kleine percelen). Daarnaast is verdere research nodig naar semi-supervised learning om de afhankelijkheid van uitgebreide handmatige annotaties te verminderen.

Kortom, de auteurs tonen aan dat men kan vertrouwen op DAP-gebaseerde datasets voor het trainen van geavanceerde DL-modellen voor bosinventarisatie, wat een belangrijke stap is naar geautomatiseerd en schaalbaar bosbeheer.