Spatio-Temporal driven Attention Graph Neural Network with Block Adjacency matrix (STAG-NN-BA) for Remote Land-use Change Detection

Probleemstelling

Landgebruiksmonitoring is cruciaal voor ruimtelijke planning, vooral gezien de impact van bevolkingsgroei en klimaatverandering. Bestaande deep-learning-methoden, zoals Convolutionele Neuronale Netwerken (CNN's), zijn beperkt tot het Euclidische domein (regelmatige pixelroosters). Echter, de aard van aardoppervlakmetingen is inherent niet-Euclidisch en bolvormig.

Daarnaast stellen hoge-resolutie satellietbeelden specifieke uitdagingen:

1. Heterogeniteit: Variaties in sensoren, bouwstijlen, seizoenen en verlichting maken automatische detectie moeilijk.
2. Pixel-gebaseerde redundantie: Klassieke pixel-gebaseerde classificatie is inefficiënt en redundant, omdat aangrenzende pixels vaak dezelfde informatie bevatten, behalve bij objectgrenzen.
3. Tijdsafhankelijkheid: Superpixels (samengevoegde regio's) zijn onregelmatig van vorm en veranderen over tijd, wat het bouwen van standaard spatio-temporele grafen bemoeilijkt.

Methodologie

De auteurs stellen een hybride aanpak voor die Simple Linear Iterative Clustering (SLIC) voor beeldsegmentatie combineert met Graph Neural Networks (GNN's). De kern van de methode bestaat uit de volgende stappen:

1. Superpixel Segmentatie:
   In plaats van pixels te gebruiken, wordt het beeld overgesegmenteerd in superpixels. De auteurs tonen aan dat SLIC superieure resultaten geeft voor satellietbeelden (bijv. bebouwde gebieden en grasland) vergeleken met Quickshift of Felzenszwalb. Dit reduceert het aantal knopen in de graf van duizenden pixels naar ongeveer 75 superpixels per beeld.

2. Region Adjacency Graph (RAG) Constructie:
   Elke superpixel wordt een knoop in de graf. Kanten worden gelegd tussen direct aangrenzende superpixels, waardoor een Region Adjacency Graph (RAG) ontstaat. Dit maakt globale informatiediffusie mogelijk binnen het beeld.

3. SAG-NN (Spatially driven Attention Graph Neural Network):
   Voor ruimtelijke classificatie wordt een verbeterde Graph Attention Network (GAT) architectuur voorgesteld.

   • Innovatie: De auteurs verbeteren de scoringsfunctie van GATv1 en GATv2. In plaats van gewichten en attentie-parameters achter elkaar toe te passen (wat kan leiden tot een lineaire collapse), introduceren ze een relationele inductieve bias. Dit gebeurt door eerst kenmerken van buren te aggregeren en vervolgens de attentie te berekenen, wat zorgt voor betere rangschikking van de aandachtspunten.

4. STAG-NN-BA (Spatio-Temporal driven Attention Graph Neural Network with Block Adjacency matrix):
   Voor tijdsreeksdata (veranderingen in landgebruik) is een standaard grafstructuur onvoldoende omdat het aantal knopen (superpixels) per tijdstip kan variëren.

   • Oplossing: De auteurs combineren RAG's van verschillende tijdstippen tot één "supergraaf" (Temporal-RAG).
   • Block Adjacency Matrix: Ze introduceren een block-diagonale adjacentiematrix. Hierdoor blijven de subgrafieken (per jaar) gescheiden, maar kunnen ze worden verwerkt in één enkele graf.
   • Tijdbias: Een numerieke index (vierde dimensie) wordt toegevoegd aan de knoopkenmerken om de chronologische volgorde aan te geven.
   • Aggregatie: Er worden twee pooling-methoden getest: Global Sum Pooling (GSP) en Global Concatenated Pooling (GCP). GSP bleek effectiever omdat het de volgorde van de onderliggende RAG's behoudt zonder verwarring te creëren.

Belangrijkste Bijdragen

• Nieuwe Architecturen: Introductie van SAG-NN voor ruimtelijke classificatie en STAG-NN-BA voor spatio-temporele classificatie van landgebruikswijzigingen.
• Verbeterde GAT: Een nieuwe scoringsfunctie die relationele inductieve bias implementeert, waardoor de prestaties van bestaande GAT-versies (v1 en v2) worden overtroffen.
• Efficiënte Tijdsrepresentatie: De methode om onregelmatige superpixel-grafen over tijd te combineren via een block-diagonale adjacentiematrix, wat het probleem van variërende knopenaantallen oplost.
• Superpixel-gebaseerde aanpak: Een bewezen strategie om de rekenkosten drastisch te verlagen ten opzichte van pixel-gebaseerde methoden, zonder in te leveren op nauwkeurigheid.

Resultaten

De methoden zijn geëvalueerd op drie datasets: MNIST (digitale classificatie als benchmark), Asia14 (ruimtelijke landgebruikscategorieën) en C2D2 (spatio-temporele landgebruikswijzigingen zoals bouw, vernietiging, landbouw).

• Ruimtelijke Classificatie (Asia14 & MNIST):
  • SAG-NN behaalde 98,14% nauwkeurigheid op MNIST en 80,98% op SLIC-superpixel RAG's van Asia14.
  • Dit is significant beter dan bestaande methoden zoals GATv1, GATv2, GraphSAGE en klassieke CNN's (zoals ResNet-50), terwijl het aantal parameters lager of vergelijkbaar blijft.
• Spatio-Temporele Classificatie (C2D2):
  • De STAG-NN-BA-GSP variant behaalde de hoogste nauwkeurigheid van 77,83% voor het detecteren van landgebruikswijzigingen.
  • Dit is een verbetering van ongeveer 20% ten opzichte van de state-of-the-art 3D-ResNet-34 en 17,81% ten opzichte van de ensemble-baseline (SAG-NN-E).
  • Rekenkosten: De forward pass tijd was aanzienlijk lager (2,62 ms) vergeleken met 3D-ResNet-34 (>3,6 ms) en andere methoden, wat aantoont dat de methode rekenkundig efficiënter is.

Betekenis en Toekomstperspectief

De studie demonstreert dat het combineren van superpixels met geavanceerde graf-neurale netwerken een krachtige oplossing biedt voor complexe ruimtelijke en tijdsafhankelijke taken in de aardobservatie. De methode maakt het mogelijk om kritieke overgangen in landgebruik (zoals ontbossing of urbanisatie) nauwkeurig en efficiënt te monitoren, wat essentieel is voor klimaatadaptatieplannen en emissierapportage.

Als toekomstig werk identificeren de auteurs het verlies aan informatie tijdens de superpixel-generatie (zoals vorminformatie) als een uitdaging. Ze stellen voor om een auto-encoder te gebruiken om vorm-embeddings te extraheren en toe te voegen aan de knoopkenmerken om de representatiekracht verder te vergroten.

Kortom, STAG-NN-BA biedt een schaalbare, nauwkeurige en rekenkundig efficiënte framework voor het begrijpen van dynamische landgebruikswijzigingen op aarde.