Finding Change in Satellite Archives from Text: How to Combine Before-and-After Images Efficiently

Technische Samenvatting: Verandering vinden in satellietarchieven vanuit tekst

Probleemdefinitie
Operationele aardobservatie (EO) vereist steeds vaker het beantwoorden van natuurlijke taalvragen zoals "vind de afbeeldingen waarbij een nieuw gebouw is verschenen." Dit noodzaakt het doorzoeken van archieven van bi-temporele (voor-en-na) satellietbeeldparen en het rangschikken van deze paren op basis van hoe goed ze overeenkomen met een tekstuele beschrijving van een verandering. Hoewel vision-language modellen zoals CLIP beelden en tekst in een gedeelde ruimte kunnen inbedden, vereist de specifieke uitdaging van veranderingsretrieval het fuseren van twee temporele weergaven voordat er met tekst wordt overeengestemd. In realistische implementaties wordt de dure vision-backbone één keer per frame berekend tijdens de ingestie, maar het fusiemodule moet tijdens de query worden uitgevoerd voor elk kandidaat-paar gevormd door het gevraagde gebied en het tijdsinterval. Bijgevolg bepalen de snelheid en de geheugengrootte van deze fusiemodule grotendeels de kosten en de haalbaarheid van interactieve zoekopdrachten, met name op beperkte platforms.

Methodologie
De auteurs voeren een gecontroleerde vergelijking uit van acht fusiearchitecturen die ontworpen zijn om "voor"- en "na"-beeldkenmerken te combineren. De studie maakt gebruik van een vaste, bevroren CLIP ViT-B/16 encoder om patch-kenmerken te extraheren ($L=196$ patches, $D_{in}=768$), die naar een breedte van $D=320$ worden geprojecteerd vóór de fusie. Alle modellen worden getraind met hetzelfde recept (AdamW, symmetrische InfoNCE-objectief) over tien willekeurige seeds op twee benchmarks: LEVIR-CC (hoog-resolutie urbanisatie) en Dubai-CC (Landsat 7-tegels).

De geëvalueerde architecturen vallen uiteen in drie families:

1. Aandachtsgebaseerd (Attention-Based):
   • Concatenation Transformer: Concateneert kenmerken langs de kanaal-as ($L \times 2D$) en verwerkt deze met een standaard Transformer. Dit verdubbelt de kenmerkbreedte, wat de kosten van lineaire en feed-forward lagen verviervoudigt.
   • TFF (Text-ITSR): Past cross-attention toe tussen verschil-kenmerken en de originele bi-temporele kenmerken.
2. State-Space Modellen (SSM/Mamba):
   • Concatenation Mamba: Vervangt de Transformer door Mamba-blokken op breedte $2D$.
   • Bottleneck Mamba: Comprimeert kenmerken naar breedte $D$ vóór de Mamba-blokken.
   • Interleaved Mamba: Interleat temporele tokens in een enkele sequentie van lengte $2L$.
3. Geleerde Compressie:
   • Temporal Bottleneck Fusion (TBF): Past een "concat-then-reduce" patroon toe. Een MLP projecteert geconcateneerde kenmerken terug naar breedte $D$ vóór het zelf-attention mechanisme, waardoor de kwadratische kosten van de attention-lagen worden verminderd terwijl globale interactie behouden blijft.
4. Baselines: Eenvoudige elementgewijze subtractie en een MLP-fusie (kanaalmenging zonder token-interactie).

Daarnaast stellen de auteurs een training-vrije twee-fasen retrieval-cascade voor: een goedkope subtractie-module selecteert kandidaten, gevolgd door een herrangschikkingsstap met behulp van een aandacht-gebaseerde module (TBF of Concatenation Transformer) op de top-$N$ paren.

Belangrijkste Resultaten

• Efficiëntie vs. Nauwkeurigheid Trade-off: De Temporal Bottleneck Fusion (TBF) komt naar voren als het meest gunstige werkpunt. Het vermindert het aantal parameters met 2,3$\times$ en de latentie met 1,6$\times$ vergeleken met de volledige Concatenation Transformer, met een verwaarloosbare daling in de change-only BLEU-1 score (verschil van 0,007).
• Mamba Prestaties: In tegenstelling tot de theoretische verwachtingen van lineaire complexiteit, boden Mamba-varianten geen voordelen in de wandklok-snelheid bij standaard vision transformer sequentielengtes ($L=196$). De selectieve scan is geheugenbandbreedte-gebonden en sequentieel, terwijl attention efficiënt naar parallelle tensor cores mapt. Mamba wordt pas sneller dan attention bij sequentielengtes die $L \approx 400$ overschrijden.
• Gecascadeerde Retrieval: De voorgestelde twee-fasen zoekopdracht (Subtraction $\to$ TBF) bereikt een 10–15$\times$ reductie in querykosten op LEVIR-CC, terwijl het de recall van full-fusion baselines evenaart of overtreft. Op de kleinere Dubai-CC dataset bereikte het een vergelijkbare recall tegen ongeveer 2,6$\times$ lagere kosten.
• Robuustheid: De relatieve prestatierangschikking van de fusiemodules bleef consistent bij testen met alternatieve bevroren backbones (GeoRSCLIP en SigLIP 2), wat bevestigt dat de bevindingen niet specifiek zijn voor de CLIP-architectuur.

Betekenis en Claims
Het artikel beweert de eerste gecontroleerde, statistisch onderbouwde vergelijking te bieden van attention-, bottleneck- en SSM-gebaseerde fusie voor tekstgebaseerde veranderingsretrieval. De primaire bijdragen zijn:

1. Praktische Efficiëntie: Aantonen dat een eenvoudige compressiestrategie (TBF) een superieur evenwicht biedt tussen efficiëntie en kwaliteit voor standaard satelliet-tegels, waardoor de computationele last wordt verminderd zonder significant verlies van nauwkeurigheid.
2. Hardware Reality Check: Benadrukken dat de theoretische complexiteitsvoordelen van SSMs (zoals Mamba) niet vertalen naar latentievoordelen bij typische vision sequentielengtes vanwege hardware geheugenbottlenecks.
3. Deployment Strategie: Valideren dat een training-vrije, meerfasen retrieval-cascade de kosten van het doorzoeken van grote archieven drastisch kan verlagen terwijl een hoge recall behouden blijft, wat interactieve tekstgebaseerde veranderingsretrieval haalbaarder maakt voor operationele systemen.

De auteurs concluderen dat voor standaard patch-aantallen, geoptimaliseerde attention (specifiek met bottleneck compressie) de standaard moet blijven, en dat fusie niet voor elk kandidaat-paar in een archief berekend hoeft te worden.