NeXt2Former-CD: Efficient Remote Sensing Change Detection with Modern Vision Architectures

Dit artikel introduceert NeXt2Former-CD, een efficiënt framework voor veranderingdetectie in remote sensing dat moderne ConvNeXt- en Mask2Former-architecturen combineert om superieure prestaties te behalen ten opzichte van State Space Model-baselines, zelfs bij ruis en kleine ruimtelijke verschuivingen.

De kern

Stel je voor dat je twee foto's van dezelfde stad hebt: één gemaakt vandaag en één gemaakt een jaar geleden. Je wilt weten wat er is veranderd: zijn er nieuwe huizen gebouwd? Is een bos gekapt? Of is er een overstroming geweest?

Dit is wat veranderingdetectie in de luchtvaartfotografie doet. Maar het is lastiger dan het lijkt. Soms lijkt een huis veranderd, maar is het gewoon dat de zon vandaag anders schijnt, of dat de camera een beetje scheef stond.

De auteurs van dit paper, NeXt2Former-CD, hebben een nieuwe, slimme manier bedacht om deze foto's te vergelijken. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Vergelijkings-Strijd"

Vroeger gebruikten computers simpele netwerken om foto's te vergelijken. Later kwamen er slimme "Transformer"-modellen (die heel goed zijn in het begrijpen van context, zoals taalmodellen), maar die waren erg traag en zwaar.
Recentelijk zijn er nieuwe, snelle modellen opgekomen (genaamd Mamba of State Space Models). Die zijn snel, maar ze hebben een nadeel: ze lezen foto's vaak als een lange rij letters (van links naar rechts, regel voor regel). Dit werkt goed voor tekst, maar bij foto's kan het verwarrend zijn als objecten een beetje verschoven zijn (bijvoorbeeld door een onnauwkeurige GPS). Het is alsof je een puzzel probeert te leggen waarbij je de stukjes in een rechte lijn moet houden, terwijl ze eigenlijk een beetje schuin liggen.

2. De Oplossing: Een Super-Team

De auteurs zeggen: "Wacht even, laten we niet de nieuwe, snelle maar stijve methode gebruiken. Laten we een team samenstellen van de beste, bewezen onderdelen die we al hebben, maar dan slim gekoppeld."

Hun systeem, NeXt2Former-CD, bestaat uit drie hoofdonderdelen:

• De Slimme Ogen (De Encoder):
  Ze gebruiken een briljante bril genaamd DINOv3. Dit is een AI die al miljarden foto's heeft gezien en weet hoe de wereld eruitziet. Het is alsof je een expert in architectuur en natuur hebt ingehuurd die elke foto direct "begrijpt" voordat hij begint te vergelijken.
• De Flexibele Vergelijker (De Fusion):
  Dit is het magische deel. Als je twee foto's vergelijkt, zijn ze nooit 100% perfect op elkaar uitgelijnd (net als twee foto's van hetzelfde huis die je vanuit een andere hoek maakt).
  • De oude methode: Kijkt alleen recht vooruit. Als een boom een beetje verschoven is, denkt de computer: "Oh, dit is een nieuwe boom!" (een fout).
  • Hun methode (Deformable Attention): Ze gebruiken een flexibele lens. Als de AI ziet dat een object een beetje verschoven is, buigt hij zijn blik een beetje om het toch perfect te vergelijken. Het is alsof je met je ogen meebeweegt als iemand in de kamer loopt, in plaats van starrig vooruit te staren.
• De Schilder (De Decoder):
  Uiteindelijk moet de computer een witte en zwarte kaart maken: wit = veranderd, zwart = niet veranderd. Ze gebruiken een Mask2Former-systeem. Dit is als een kunstenaar die niet alleen zegt "er is iets veranderd", maar precies de vorm van het nieuwe gebouw of de geroofde boom uitschildert, met scherpe randen.

3. Het Resultaat: Sneller en Scherper

De auteurs hebben hun nieuwe systeem getest op drie grote datasets (steden en landschappen).

• Beter dan de "snelle" concurrenten: Hun systeem doet het beter dan de populaire Mamba-modellen. Het maakt minder fouten en tekent de randen van gebouwen veel scherper.
• Niet traag: Je zou denken dat een zo'n complex systeem traag is, maar dankzij de krachtige grafische kaarten (GPUs) is het bijna net zo snel als de snellere, maar minder nauwkeurige modellen.

De Grootste Les

Het paper is eigenlijk een statement: "We hoeven niet per se de nieuwste, exotische technologie (zoals Mamba) te gebruiken om het beste resultaat te krijgen. Als je de juiste, bewezen onderdelen (zoals ConvNeXt en Transformers) slim combineert en rekening houdt met kleine verschuivingen in de foto's, kun je nog steeds de beste prestaties leveren."

Kortom: Ze hebben een systeem gebouwd dat twee foto's van de aarde vergelijkt met de ogen van een expert, een flexibele lens om kleine verschuivingen te negeren, en een precieze hand om de veranderingen perfect te tekenen. En dat allemaal sneller dan de concurrentie.

Technische samenvatting

Probleemstelling

Veranderingdetectie (Change Detection - CD) in bi-temporele remote sensing-beelden is cruciaal voor toepassingen zoals stedelijke expansie en rampenbeheer. Een fundamentele uitdaging is het onderscheiden van echte semantische veranderingen van "pseudo-veranderingen" veroorzaakt door:

• Variaties in verlichting en seizoensinvloeden.
• Ruis en imperfecte co-registratie (kleine ruimtelijke verschuivingen tussen beelden).
• De beperkingen van bestaande architecturen:
  • CNN's hebben een beperkt receptief veld.
  • Transformers zijn computationeel duur op hoge resoluties (kwadratische complexiteit).
  • State Space Models (SSM's/Mamba) zijn recent populair geworden vanwege hun schaalbaarheid, maar vereisen het serialiseren van 2D-features naar 1D-scans. Dit kan de ruimtelijke coherentie en randalignement verstoren, afhankelijk van de gekozen scanstrategie.

Het paper stelt de vraag of moderne convolutie- en attention-architecturen, die sterke 2D-inductieve bias behouden, een concurrerend alternatief kunnen zijn voor SSM-based benaderingen.

Methodologie: NeXt2Former-CD

De auteurs stellen NeXt2Former-CD voor, een end-to-end Siamese framework dat bestaat uit drie hoofdcomponenten:

1. Siamese Backbone (Encoder):

   • Gebruikt een ConvNeXt-Large encoder, vooraf getraind met DINOv3 (op het LVD-1689M webdataset).
   • Twee parallelle takken verwerken het pre-change ($I_1$) en post-change ($I_2$) beeld met gedeelde gewichten.
   • Dit levert een hiërarchie van multi-scale feature maps op (strides 4, 8, 16, 32).

2. Spatio-temporele Feature Interactie:

   • Feature Rectify Module (FRM): Voordat fusion plaatsvindt, worden features van het ene tijdstip "gekalibreerd" met informatie van het andere tijdstip. Dit onderdrukt ruis en pseudo-veranderingen.
   • Feature Fusion Module (FFM): In plaats van standaard cross-attention (zoals in eerdere werken), gebruikt de auteurs Deformable Attention. Dit is cruciaal om geometrische vervormingen en kleine ruimtelijke verschuivingen (door registratiefouten) te compenseren door adaptief te sample rondom ruimtelijke locaties.

3. Decoder (Mask2Former):

   • Een aangepaste Mask2Former decoder verwerkt de gefuseerde multi-scale features.
   • Deze bestaat uit een pixel-decoder en een transformer-decoder die leerbare query-embeddings verfijnt via masked attention.
   • Query-to-Pixel Aggregatie: De query-outputs worden omgezet in een dichte pixel-wijze veranderingkaart via een log-sum-exp operatie.
   • Hybride Loss Functie: Het model wordt getraind met een combinatie van:
     • Een set-gebaseerde loss (Hungarian matching, zoals in Mask2Former).
     • Een expliciete dichte pixel-wijze classificatie loss (cross-entropy) om de optimalisatie te stabiliseren en volledige pixeldekking te garanderen.

Belangrijkste Bijdragen

• Alternatief voor SSM's: Het paper demonstreert dat een goed geoptimaliseerde combinatie van ConvNeXt, Deformable Attention en Mask2Former superieur presteert ten opzichte van de nieuwste Mamba/SSM-based methoden, zonder de 2D-ruimtelijke structuur te verliezen.
• Robuustheid tegen Registratiefouten: Door het gebruik van Deformable Attention in de fusion-module, is het model beter bestand tegen kleine ruimtelijke verschuivingen en randmisalignementen tussen bi-temporele beelden.
• Efficiëntie ondanks grotere parametercount: Ondanks een aanzienlijk hoger aantal parameters dan Mamba-baselines, behoudt het model een inferentielatentie die vergelijkbaar is met SSM-methoden dankzij de sterke parallelle verwerking op GPU's.

Resultaten

De methode is geëvalueerd op drie standaard benchmarks: LEVIR-CD, WHU-CD en CDD.

• Prestaties: NeXt2Former-CD behaalde de beste resultaten in alle drie de datasets, met name in termen van F1-score en IoU (Intersection over Union), en versloeg recente Mamba-baselines (zoals M-CD, ChangeMamba).
  • Voorbeeld (LEVIR-CD): F1-score van 0.955 vs. 0.954 voor M-CD.
  • Voorbeeld (CDD): F1-score van 0.984 vs. 0.981 voor M-CD.
• Ablatiestudies:
  • Het gebruik van Deformable Attention in plaats van standaard Cross-Attention leidde tot consistente verbeteringen in de validatiemetrics.
  • De Hybride Loss (Set + Pixel) presteerde beter dan alleen Set-loss of alleen Cross-Entropy.
• Efficiëntie:
  • Hoewel het model meer parameters heeft (392M vs. 69.8M voor M-CD) en meer FLOPs vereist, is de inferentietijd op een RTX 5090 GPU slechts marginaal hoger (36.79 ms vs. 33.84 ms).
  • Het model bereikt een hoge IoU sneller tijdens het trainen (binnen ~25 epochs) dankzij de sterke initialisatie via DINOv3.
• Kwalitatieve Analyse: Visuele resultaten tonen aan dat het model scherpere randen behoudt (minder "gezaagde" randen bij gebouwen) en minder false positives vertoont in onveranderde achtergronden veroorzaakt door seizoensinvloeden.

Significantie

Dit paper is significant omdat het de dominantie van State Space Models (SSM/Mamba) in de recente remote sensing-literatuur uitdaagt. Het bewijst dat moderne, op convolutie en attention gebaseerde architecturen, wanneer ze correct worden geïntegreerd met sterke pre-trained backbones (DINOv3) en robuuste fusion-mechanismen (Deformable Attention), nog steeds zeer competitief zijn voor hoge-resolutie veranderingdetectie.

De bevindingen suggereren dat voor toekomstige systemen een heroverweging van de architectuurkeuzes nodig is, waarbij niet alleen naar SSM-centric designs wordt gekeken, maar ook naar geoptimaliseerde 2D-architecturen die beter omgaan met ruimtelijke onzekerheden en schaalbaarheid.