A High-Resolution Landscape Dataset for Concept-Based XAI With Application to Species Distribution Models

Probleemstelling

Het modelleren van de ruimtelijke verspreiding van soorten (Species Distribution Models - SDMs) is cruciaal voor natuurbehoud en het beheer van invasieve soorten. Traditionele SDMs combineren veldobservaties met omgevingsvariabelen om zowel voorspellende nauwkeurigheid als ecologische inzichten te bieden. Echter, de toenemende complexiteit van diepe leermodellen (Deep Learning) voor SDMs heeft de interpretatie bemoeilijkt. Waar traditionele modellen directe feature-importance bieden, leren diepe netwerken abstracte kenmerken over miljoenen parameters, wat het voor ecologen moeilijk maakt om de "black box" te begrijpen.

Bestaande uitlegbare AI (XAI) methoden, zoals LIME of SHAP, werken vaak op pixelniveau bij beeldmodellen. Dit levert voor niet-experts een lastig te interpreteren output op en mist de vermogen om globale, hoog-niveau ecologische concepten (zoals "hagen" of "moerassen") te verklaren die nodig zijn voor beleidsvorming. Er ontbreekt momenteel een specifiek dataset voor concept-based XAI binnen het domein van SDMs.

Methodologie

De auteurs stellen een nieuwe aanpak voor die de kloof tussen voorspellende prestaties en interpreteerbaarheid dicht door Concept-Based XAI toe te passen op SDMs, specifiek gebruikmakend van Robust TCAV (Testing with Concept Activation Vectors).

1. Dataset Creatie (De Kernbijdrage):

   • Er is een nieuwe, open-access dataset ontwikkeld met hoge resolutie (8 cm/pixel) afkomstig van dronebeelden (multispectraal en LiDAR).
   • De dataset bevat 653 concept-patches verdeeld over 15 distincte landschapsconcepten (bijv. hagen, geïsoleerde bomen, bossen, waterlopen, wegen, gebouwen, verschillende gewassen zoals maïs en biologische gewassen).
   • Daarnaast zijn 1.450 willekeurige referentiepatches gegenereerd.
   • De data is afkomstig van vijf studiegebieden in Frankrijk en is handmatig geannoteerd met behulp van GIS, officiële landbouwregisters en fotointerpretatie.

2. Model Architecturen:
   Drie verschillende deep learning modellen werden getraind om de aanwezigheid/afwezigheid van twee waterinsecten (Plecoptera en Trichoptera) te voorspellen op basis van de 7-bandige drone-gegevens (5 multispectrale banden + 2 LiDAR-afgeleide modellen):

   • CerberusCNN: Een aangepast CNN met drie parallelle takken voor multi-schaal feature extractie.
   • Adapted ResNet-50 (ARN-50): Een aangepaste ResNet-50 met een aanpassing voor 7-kanaals input.
   • PicoViT: Een compacte Vision Transformer (ViT) met 3 lagen en 3 attention-heads.

3. Robust TCAV Implementatie:

   • Na het trainen van de modellen, wordt Robust TCAV gebruikt om de invloed van elk van de 15 landschapsconcepten op de voorspellingen te kwantificeren.
   • In plaats van een lineaire classifier te gebruiken (zoals in originele TCAV), berekent Robust TCAV het verschil tussen de gemiddelde activaties van concept-patches en willekeurige patches in een geselecteerde neurale laag.
   • De TCAV-score geeft aan in welke mate een concept de voorspelling voor een bepaalde klasse (bijv. "Aanwezigheid") beïnvloedt (score > 0.5 = positieve invloed, < 0.5 = negatieve invloed).

Belangrijkste Bijdragen

1. Eerste Concept-Dataset voor SDMs: De publicatie van een open-source dataset met 15 ecologisch relevante landschapsconcepten, specifiek ontworpen voor concept-based XAI in de ecologie.
2. Eerste Implementatie van Concept-Based XAI voor SDMs: Het succesvol toepassen van Robust TCAV op deep learning SDMs om ecologische inzichten te halen uit complexe modellen.
3. Validatie en Hypothesegeneratie: Het tonen aan dat deze methode modellen kan valideren tegen expertkennis én nieuwe, tegenintuïtieve ecologische associaties kan onthullen.

Resultaten

• Voorspellende Prestaties:

  • De CNN-architecturen (CerberusCNN en ARN-50) presteerden over het algemeen beter dan de Vision Transformer (PicoViT).
  • CerberusCNN leverde betrouwbare resultaten voor beide taxa (AUC 0.88 voor Plecoptera, 0.79 voor Trichoptera).
  • Pretrained ARN-50 behaalde de beste resultaten voor Plecoptera (AUC 0.90).
  • PicoViT was minder betrouwbaar, vooral voor Trichoptera (AUC 0.66), wat suggereert dat lokale pixel-nabijheid voor deze insecten belangrijker is dan lange-afstands relaties die Transformers vangen.

• Interpretatie (Robust TCAV):

  • Ecologische consistentie: De resultaten bevestigen algemeen ecologisch inzicht. Natuurlijke concepten (bossen, moerassen, permanente graslanden, geïsoleerde bomen) hebben een sterke positieve invloed op de aanwezigheid van beide insecten.
  • Antropogene invloeden: Mensgemaakte structuren (wegen, gebouwen) en conventionele landbouw hebben over het algemeen een negatieve invloed.
  • Nuance: Organische landbouw scoort hoger dan conventionele landbouw, maar beide hebben nog steeds een negatieve invloed, wat suggereert dat landschapsdegradatie het effect van lokale biologische praktijken kan ondermijnen.
  • Onverwachte bevindingen: Voor Trichoptera toonden sommige modellen een positieve associatie met wegen en gebouwen. Hoewel dit tegenintuïtief lijkt, kan dit wijzen op nieuwe ecologische hypothesen die verder onderzoek vereisen.
  • Modelafhankelijkheid: PicoViT leverde voor Trichoptera bijna nul scores op, wat aantoont dat onbetrouwbare modellen geen zinvolle ecologische inzichten kunnen genereren via XAI.

Betekenis en Conclusie

Dit onderzoek markeert een doorbraak in het domein van ecologische modellering. Door een gespecialiseerde dataset te koppelen aan Robust TCAV, slagen de auteurs erin om de "black box" van deep learning SDMs te openen zonder in te leveren op voorspellende nauwkeurigheid.

De belangrijkste implicaties zijn:

1. Vertrouwen: Beleidsmakers en ecologen kunnen nu vertrouwen op de logica van complexe AI-modellen omdat deze getoetst kunnen worden aan menselijke concepten.
2. Nieuwe Hypothesen: De methode kan nieuwe, onbekende relaties tussen landschapselementen en soorten blootleggen die traditionele statistische methoden misschien over het hoofd zien.
3. Beleid: De output biedt direct bruikbare, landschapsgerichte inzichten voor natuurbeheer en ruimtelijke planning, bijvoorbeeld door te laten zien welke specifieke landschapselementen (zoals hagen of moerassen) het meest cruciaal zijn voor de aanwezigheid van bedreigde soorten.

De code en datasets zijn publiek beschikbaar gesteld, wat de adoptie van concept-based XAI in de SDM-gemeenschap moet stimuleren.