Technische Samenvatting: Een Comparatieve Studie van Transformer- en Convolutionele Modellen voor Gewassegmentatie uit SITS

Probleemstelling

Gewassegmentatie uit Satellietbeeld-Tijdreeksen (SITS) is een kritieke taak voor landbouwmonitoring en landgebruiksanalyse. Hoewel Convolutionele Neurale Netwerken (CNN's) lang de standaard zijn geweest voor het leren van hiërarchische ruimtelijke representaties uit multispectrale beelden, blijft de integratie van temporale data een uitdaging. Specifiek is het onduidelijk hoe transformer-modellen gebaseerd op zelf-attention zich verhouden tot CNN's wanneer ruimtelijke en temporale informatie gezamenlijk gemodelleerd moeten worden. Bovendien variëren bestaande transformer-architecturen aanzienlijk in hun strategieën voor het hanteren van de temporale dimensie; sommige behandelen tijd als een extra ruimtelijke dimensie, terwijl anderen temporale en ruimtelijke afhankelijkheden expliciet factoriseren. Dit artikel adresseert het gat in het begrip welke architecturale strategieën de beste prestaties opleveren voor gewaskartering met Sentinel-2 tijdreeksen.

Methodologie

De studie voert een comparatieve evaluatie uit van drie transformer-gebaseerde architecturen tegenover gevestigde 3D CNN-baselines. De modellen worden getraind en getest op twee publieke datasets: de Munich dataset (48×48 patches, 13 spectrale banden, 18 gewasklassen) en de Lombardia dataset (48×48 patches, 9 spectrale banden, 7 gewasklassen, over de periode 2016–2019).

Geëvalueerde Architecturen

1. CNN-baselines:

   • 3D U-Net: Een sterke baseline die de tijdreeks behandelt als een 3D-volume.
   • 3D FPN (Feature Pyramid Network): Gebruikmakend van feature pyramides voor multi-schaal detectie.
   • 3D DeepLabv3: Toepassing van atrous convoluties voor uitbreiding van het receptieve veld.

2. Transformer-architecturen:

   • Swin UNETR (Aangepast): Oorspronkelijk ontworpen voor 3D medische beeldvorming, werd dit model aangepast voor SITS. De temporale as wordt behandeld als de dieptedimensie, en spectrale banden als inputkanalen. Aanpassingen omvatten het verminderen van de encoder-diepte (verwijdering van de vierde fase) om ruimtelijke details op 48×48-inputs te behouden, en het aanpassen van de outputlaag voor dichte pixel-voor-pixel voorspelling. Het verwerkt de input als een 3D-volume met behulp van hiërarchische Swin Transformer-blokken met verschoven vensters.
   • TSViT: Deze architectuur factoriseert temporale en ruimtelijke attention expliciet. Het leert eerst temporale signatuur voor elke ruimtelijke locatie (met behulp van acquisitiedata als positionele encoding) en modelleert vervolgens ruimtelijke relaties. Deze aanpak is ontworpen om seizoenspatronen en onregelmatige temporale sampling te vangen.
   • VistaFormer: Dit model maakt gebruik van 3D-gated convoluties om spatiotemporale inputs te downsamplen, gevolgd door efficiënte zelf-attention over ruimtelijke tokens, waarbij de temporale dimensie in de decoder wordt samengevouwen.

Experimentele Opstelling

• Training: Modellen werden getraind met Stochastic Gradient Descent (SGD) met momentum (0,9) en een cosine annealing leerplanscheduler voor 200 epochen met een batchgrootte van 32.
• Data Augmentatie: Beperkt tot horizontale en verticale spiegelingen.
• Metingen: Prestaties werden geëvalueerd met behulp van Overall Accuracy (OA), Cohens Kappa, mean Intersection over Union (mIoU) en gewogen F1-score (wF1).

Belangrijkste Resultaten

Munich Dataset

Op de Munich dataset behaalde TSViT de hoogste algehele prestatie, de 3D U-Net baseline lichtjes overtreffend.

• TSViT: 94,50% OA, 93,17% Kappa, 83,01% mIoU, 94,47% wF1.
• 3D U-Net: 94,39% OA, 93,04% Kappa, 81,25% mIoU, 94,28% wF1.
• VistaFormer: Toonde de beste efficiëntie, met 93,60% OA en slechts 0,57M parameters en 1,97 GFLOPs, wat een superieure efficiëntie-accuraatheid trade-off biedt.
• Swin UNETR: Presteerde competitief (92,51% OA) met een laag aantal parameters (4,50M), maar overtrof TSViT niet.
• 3D DeepLabv3: Presteerde het slechtst (83,43% OA), waarschijnlijk door de inefficëntie van atrous convoluties op kleine 48×48 input patches.

Lombardia Dataset

De Lombardia dataset presenteerde een uitdagender scenario met lagere algehele scores voor alle modellen, toegeschreven aan hogere intra-klass variabiliteit en potentiële inconsistenties in de ground truth.

• TSViT behaalde opnieuw de hoogste OA (74,74%), Kappa (69,26%) en wF1 (74,12%).
• 3D U-Net behaalde de hoogste mIoU (58,50%), wat een lichte trade-off aangeeft tussen pixel-voor-pixel nauwkeurigheid en regio-overlapping in vergelijking met TSViT.
• VistaFormer behield sterke prestaties (74,24% OA) met minimale rekenkosten.
• Swin UNETR bleef competitief (71,61% OA), maar exploiteerde de temporale structuur niet volledig in vergelijking met TSViT.

Kwalitatieve Observaties

Kwalitatieve analyse onthulde dat accurate voorspellingen over het algemeen worden gevonden binnen homogene percelen. Fouten kwamen het meest voor langs veldgrenzen waar gewasovergangen ambigu zijn. In uitdagende gevallen beïnvloeden misclassificaties grotere aaneengesloten gebieden, wat wijst op verwarring tussen gewassen met vergelijkbare spectrale of temporale signatuur. De modellen presteerden beter op de Munich dataset, wat suggereert dat ze profiteren van de meer consistente ruimtelijke en temporale structuur.

Belangrijkste Bijdragen

1. Uitgebreide Vergelijking: Het artikel biedt een systematische vergelijking van CNN's en diverse transformer-architecturen die specifiek zijn aangepast voor SITS-gewassegmentatie.
2. Architecturale Aanpassing: Het beschrijft de specifieke aanpassingen die nodig zijn om Swin UNETR (een model voor medische beeldvorming) aan te passen voor Sentinel-2 tijdreeksen, inclusief herdefinitie van inputtensors en vermindering van de encoder-diepte.
3. Analyse van Temporele Modellering: De studie isoleert de impact van strategieën voor temporale modellering, waarbij expliciete temporale factorisatie (TSViT) en spatiotemporale downsampling (VistaFormer) worden vergeleken met het behandelen van tijd als een ruimtelijke dimensie (Swin UNETR, 3D CNN's).
4. Efficiëntie Benchmarking: Het werk benadrukt de rekenkundige efficiëntie van VistaFormer, en toont aan dat hoge nauwkeurigheid kan worden bereikt met aanzienlijk lagere FLOPs en aantallen parameters.

Betekenis en Claims

Het artikel claimt dat temporale modellering kritiek is voor accurate gewassegmentatie uit SITS. De resultaten geven aan dat:

• Architecturen die temporale dynamiek expliciet modelleren (zoals TSViT) zowel standaard CNN's als transformers die tijd slechts als een extra ruimtelijke dimensie behandelen (zoals Swin UNETR) overtreffen.
• Hoewel 3D U-Net een sterke baseline blijft, biedt de expliciete scheiding van temporale en ruimtelijke attention in TSViT een duidelijk voordeel, met name bij het hanteren van seizoenspatronen.
• VistaFormer biedt een overtuigende oplossing voor scenario's die hoge efficiëntie vereisen zonder significante nauwkeurigheid op te offeren.
• De keuze van de strategie voor temporale modellering speelt een doorslaggevende rol, vooral in heterogene en uitdagende omgevingen zoals de Lombardia dataset.

De auteurs concluderen dat het effectief modelleren van temporale dynamiek niet alleen gunstig, maar essentieel is voor het volledig benutten van de informatie in satellietbeeld-tijdreeksen, met name in scenario's gekenmerkt door complexe seizoenspatronen en hoge intra-klass variabiliteit. Er wordt voorgesteld om deze analyse in toekomstig werk uit te breiden naar hogere resolutie beelden en meer diverse geografische regio's.