Enhancing Tree Species Classification: Insights from YOLOv8 and Explainable AI Applied to TLS Point Cloud Projections

Dit onderzoek toont aan dat YOLOv8, gecombineerd met de Finer-CAM-techniek voor explainable AI, een nauwkeurige en interpreteerbare methode biedt voor het classificeren van zeven Europese boomsoorten op basis van TLS-puntwolkprojecties, waarbij de modellen voornamelijk vertrouwen op kroongebieden maar ook stamkenmerken benutten voor specifieke soorten.

De kern

Hoe een AI-baas de bomen van het bos leert herkennen: Een verhaal over YOLOv8 en "X-ray-vision"

Stel je voor dat je een enorme verzameling van 3D-scanbeelden van bomen hebt, gemaakt met een super-accurate laser (TLS). Je wilt dat een computer deze bomen herkent: is dit een berk, een beuk of een den? Dit klinkt als een makkelijk spelletje voor een slimme computer, maar er zit een addertje onder het gras.

Deze computer, een kunstmatige intelligentie genaamd YOLOv8, is zo slim dat hij 96% van de bomen correct herkent. Maar net als een genie dat niet kan uitleggen hoe het een wiskundig probleem oplost, weten we niet precies waarom de AI zo'n oordeel velt. Ziekt hij de vorm van de takken? Of kijkt hij misschien naar een rare vlek op de stam die per toeval vaak bij die boomsoort voorkomt?

In dit onderzoek nemen de auteurs een kijkje in de "zwarte doos" van de AI. Ze gebruiken een speciale techniek genaamd Finer-CAM.

De Analogie: De X-ray-bril en de "Bos-detective"

Stel je voor dat de AI een detective is die een bos in moet lopen om elke boom te identificeren. Normaal gesproken kijkt de detective gewoon naar de boom en zegt: "Dat is een beuk." Maar we weten niet waar hij naar keek.

Met Finer-CAM geven we de detective een X-ray-bril. Deze bril verlicht precies de delen van de boom die de detective belangrijk vindt voor zijn beslissing, en laat de rest in de schaduw.

• Als de bril op de kruin (de takken en bladeren) fel oplicht, betekent dit: "Ah, de vorm van de takken is het geheim!"
• Als de bril op de stam fel oplicht, betekent dit: "De stam zelf is het sleutelwoord!"

Wat hebben ze ontdekt?

De onderzoekers hebben deze "X-ray-bril" op 2.445 bomen van zeven verschillende soorten geprobeerd. Hier zijn de belangrijkste ontdekkingen, vertaald naar alledaags taal:

1. De "Kruin" is vaak de hoofdrolspeler
Voor de meeste bomen (zoals berk, beuk, eik en spar) kijkt de AI vooral naar de kruin. Het is alsof de AI de "haarstijl" van de boom bekijkt. De manier waarop de takken zich vertakken en de vorm van de bladeren, is voor de computer het sterkste bewijs.

• Vergelijking: Het is alsof je iemand herkent aan zijn kapsel en kleding, niet aan zijn schoenen.

2. De "Stam" is de held voor specifieke bomen
Voor sommige bomen, zoals de essen, den en douglas, kijkt de AI juist veel naar de stam.

• Bij de essen (Ash) is dit interessant: de AI kijkt bijna altijd naar kromme stammen. De onderzoekers vermoeden dat dit een valkuil is. Misschien staan er in hun dataset gewoon veel kromme essen, terwijl de AI denkt: "Kromme stam = Ess". Als je deze AI in een ander bos zet waar essen rechtop staan, zou hij misschien in de war raken. Dit noemen we "shortcut learning" (het nemen van een makkelijk maar vals pad).
• Bij den en douglas kijkt de AI naar dode takken die aan de stam hangen. Dit is een echt biologisch kenmerk van deze bomen, dus hier is de AI heel slim bezig.

3. Details maken het verschil
De onderzoekers hebben ook gepeild wat er gebeurt als ze de foto's van de bomen "wazig" maken of als ze alleen de silhouet van de boom tonen.

• Conclusie: De AI doet het het beste als hij veel details kan zien (takjes, schors, binnenkant van de kroon).
• Als je de foto's wazig maakt, zakt de score. Maar zelfs als je alleen het silhouet (de vorm) laat zien, herkent de AI de bomen nog redelijk goed. Dit betekent dat de AI zowel de "silhouet-vorm" als de "detail-textuur" kan gebruiken.

Waarom is dit belangrijk?

Vroeger dachten we: "De AI is slim, hij doet het goed, klaar." Maar nu weten we:

1. Vertrouwen: We kunnen nu controleren of de AI echt naar de boom kijkt, of naar een toevallig detail in de foto.
2. Verbetering: Als we zien dat de AI op een kromme stam van een es reageert (in plaats van op de bladeren), weten we dat we meer data nodig hebben van rechte essen.
3. Toekomst: Het helpt ons om betere databases te maken voor de toekomst, zodat de AI niet "leert" op basis van toevalligheden, maar op basis van echte biologische kenmerken.

Samenvattend

Deze studie is als het geven van een spiegel aan de AI. We laten de AI zien waar hij naar kijkt. Het blijkt dat de AI vooral naar de "kapsel" (de kroon) van de bomen kijkt, maar soms ook naar de "stevige benen" (de stam). Soms kijkt hij zelfs naar een rare kromming die per ongeluk vaak voorkomt. Door dit te begrijpen, kunnen we de AI slimmer en betrouwbaarder maken voor het beheer van onze bossen in de toekomst.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Enhancing Tree Species Classification: Insights from YOLOv8 and Explainable AI Applied to TLS Point Cloud Projections", geschreven in het Nederlands.

Probleemstelling

Het classificeren van boomsoorten op basis van remote sensing-data is een complex probleem. Hoewel dieplearning-modellen (zoals CNN's) die werken met Terrestrial Laser Scanning (TLS) 3D-puntenwolken hoge nauwkeurigheden bereiken, blijft het beslissingsproces van deze modellen een "black box".

• Gebrek aan interpretatie: Bestaande studies rapporteren voornamelijk prestatie-metrics (zoals nauwkeurigheid en F1-score), maar geven geen inzicht in welke structurele kenmerken van de boom (stam, kroon, takken) het model gebruikt voor de classificatie.
• Risico op "shortcut learning": Modellen kunnen trucs leren (artefacten in de data) in plaats van biologisch relevante kenmerken, wat de generaliseerbaarheid naar nieuwe data beperkt.
• Beperkte XAI-toepassingen: Bestaande Explainable AI (XAI) methoden (zoals standaard CAM) zijn vaak onvoldoende om onderscheidende kenmerken tussen zeer vergelijkbare soorten te identificeren.

Methodologie

De auteurs presenteren een nieuw raamwerk dat YOLOv8 combineert met Finer-CAM (een geavanceerde variant van Class Activation Mapping) om de interpretatie van boomsoortclassificatie te verbeteren.

1. Dataset en Voorbewerking:

   • Gebruik van een subset van de FOR-Species20k dataset.
   • Selectie van 7 Europese boomsoorten: Berk, Beuk, Es, Grove Den, Spar, Douglas, en Eik.
   • Data omvat 2.445 individuele bomen uit TLS-puntenwolken van minimaal drie verschillende bronnen om generalisatie te vergroten.
   • De 3D-puntenwolken zijn omgezet in 2D orthografische zij-aanzichten (side-view projections) via rotatie rond de Z-as (0°, 45°, 90°, 135°).
   • Om "shortcut learning" door scannerpatronen te voorkomen, zijn punten licht verschoven (jittering).

2. Model Training (YOLOv8):

   • Er zijn vijf onafhankelijke YOLOv8 modellen getraind met 5-voudige cross-validatie.
   • De modellen zijn getraind op de 2D-projecties om boomsoorten te classificeren.
   • Gebruik van pre-trained weights (COCO dataset) en een 1-cycle learning rate policy.

3. Explainable AI (Finer-CAM):

   • Toepassing van Finer-CAM om salientiekaarten (saliency maps) te genereren.
   • Unieke aanpak: Finer-CAM identificeert pixels die bijdragen aan de doelsoort, maar niet aan de meest vergelijkbare contrastsoorten (counterfactuals). Dit verhoogt de specificiteit van de verkregen kenmerken.
   • Er werden 630 salientiekaarten gegenereerd voor correct geclassificeerde testbeelden.

4. Heuristische Integratie en Analyse:

   • Om cognitieve bias te vermijden, werden de salientiekaarten gekoppeld aan gedefinieerde boomstructuren:
     • Stam vs. Kroon.
     • Sub-segmenten van de kroon: Basis, Midden, Top, en Rand (edge buffer).
   • Een heuristische methode (met buffers en pad-algoritmen) verdeelde de pixels in deze segmenten.
   • Faithfulness-test: Er werd getest of het verwijderen van pixels met de laagste salientie (Least Relevant First - LeRF) de betrouwbaarheid van het model daadwerkelijk verlaagt, in vergelijking met willekeurige verwijdering.

5. Perturbatie-experimenten:

   • Om te testen hoe zichtbaarheid van interne structuur de prestaties beïnvloedt, werden experimenten uitgevoerd met:
     • Binair "boomvorm"-beeld (alleen silhouet).
     • Verminderde resolutie (downscaling van 640px tot 10px) om interne takkenstructuur te verbergen.

Belangrijkste Resultaten

• Prestaties: De vijf YOLOv8-modellen bereikten een gemiddelde nauwkeurigheid van 96% op de testdata.
• Faithfulness: Finer-CAM bleek betrouwbaar ("faithful"). De modelvertrouwdheid bleef stabiel totdat 80% van de minst relevante pixels was verwijderd, waarna een snelle daling optrad. Dit bevestigt dat de salientiekaarten de werkelijke beslissingsprocessen van het model weerspiegelen.
• Kenmerkende Gebieden:
  • Over het algemeen wordt de kroon het meest gebruikt voor classificatie (68,6% van de salientiepixels).
  • Soortspecifiek gedrag:
    • Berk, Beuk, Spar, Eik: Classificatie wordt voornamelijk bepaald door takkenpatronen in de kroon, met name aan de randen van de kroon.
    • Es, Grove Den, Douglas: De stam speelt een grotere rol. Voor Es focust het model opvallend vaak op krommingen in de stam (in 64,4% van de gevallen).
• Invloed van Structuur:
  • Modellen presteerden het beste wanneer interne boomstructuur (takken) zichtbaar was.
  • Zelfs bij sterke downscaling (tot 0,5m resolutie) bleven de prestaties hoog.
  • Zelfs bij puur silhouet (boomvorm) bleef de F1-score redelijk hoog (78,8%), maar dit was 15% lager dan bij volledige structuur. Dit suggereert dat YOLOv8 zowel vorm als interne structuur leert te gebruiken.
• Potentiële Bias: Het sterke focus op "gebogen stammen" bij Es-soorten suggereert mogelijk een dataset-specifiek artefact (shortcut learning), aangezien gebogen stammen niet uniek zijn voor Es. Dit kan de generaliseerbaarheid beperken.

Bijdragen en Significantie

1. Nieuw Interpretatiekader: Het artikel introduceert een systematische methode om salientiekaarten te koppelen aan biologisch relevante boomsegmenten (stam/kroon), wat een stap vooruit is ten opzichte van puur visuele inspectie.
2. Validatie van Finer-CAM: Het bewijst dat Finer-CAM geschikt is voor het identificeren van discriminerende kenmerken tussen vergelijkbare boomsoorten in TLS-data.
3. Inzicht in "Shortcut Learning": De studie onthult waar modellen mogelijk trucs leren (bijv. afhankelijkheid van dataset-specifieke krommingen in stammen), wat essentieel is voor het verbeteren van toekomstige datasets en modellen.
4. Aanbevelingen voor Data: De resultaten onderstrepen het belang van hoge resolutie TLS-data waarbij interne structuur zichtbaar is voor maximale nauwkeurigheid. Ze suggereren ook dat toekomstige datasets moeten worden gestandaardiseerd om artefacten te minimaliseren.
5. Toekomstperspectief: De auteurs pleiten voor verdere onderzoek naar directe methoden om kenmerkgewicht te meten en voor het gebruik van onafhankelijke testsets om de robuustheid van CNN-modellen in de bosbouw te garanderen.

Kortom, dit onderzoek biedt een cruciale brug tussen de hoge prestaties van deep learning in de bosbouw en het noodzakelijke inzicht in waarom een model een bepaalde beslissing neemt, wat essentieel is voor vertrouwen en toepassing in de praktijk.