Finding Change in Satellite Archives from Text: How to Combine Before-and-After Images Efficiently

Sintesi Tecnica: Ricerca del Cambiamento negli Archivi Satellitari tramite Testo

Definizione del Problema
L'osservazione della Terra (EO) operativa richiede sempre più spesso di rispondere a query in linguaggio naturale come "trova le coppie di immagini dove è apparso un nuovo edificio". Ciò rende necessario la ricerca in archivi di coppie di immagini satellitari bi-temporali (prima e dopo) e il loro ordinamento in base a quanto corrispondono a una descrizione testuale del cambiamento. Sebbene i modelli visione-linguaggio come CLIP possano incorporare immagini e testo in uno spazio condiviso, la sfida specifica del recupero del cambiamento richiede la fusione di due viste temporali prima dell'abbinamento con il testo. Nelle implementazioni realistiche, l'estrazione delle caratteristiche tramite il costoso backbone di visione viene calcolata una sola volta per fotogramma durante l'ingestione, ma il modulo di fusione deve essere eseguito al momento della query per ogni coppia candidata formata dalla regione e dall'intervallo temporale richiesti. Di conseguenza, la velocità e l'impronta di memoria del modulo di fusione determinano in gran parte il costo e la fattibilità della ricerca interattiva, in particolare su piattaforme con risorse limitate.

Metodologia
Gli autori conducono un confronto controllato di otto architetture di fusione progettate per combinare le caratteristiche delle immagini "prima" e "dopo". Lo studio utilizza un encoder CLIP ViT-B/16 fisso e congelato per estrarre le caratteristiche dei patch ($L=196$ patch, $D_{in}=768$), che vengono proiettate a una larghezza $D=320$ prima della fusione. Tutti i modelli sono addestrati utilizzando la stessa ricetta (AdamW, obiettivo simmetrico InfoNCE) su dieci seed casuali in due benchmark: LEVIR-CC (urbanizzazione ad alta risoluzione) e Dubai-CC (tile Landsat 7).

Le architetture valutate rientrano in tre famiglie:

1. Basate sull'Attenzione:
   • Concatenation Transformer: Concatena le caratteristiche lungo l'asse dei canali ($L \times 2D$) e le elabora con un Transformer standard. Questo raddoppia la larghezza delle caratteristiche, quadruplicando il costo dei livelli lineari e feed-forward.
   • TFF (Text-ITSR): Applica l'attenzione incrociata tra le caratteristiche di differenza e le caratteristiche bi-temporali originali.
2. Modelli State-Space (SSM/Mamba):
   • Concatenation Mamba: Sostituisce il Transformer con blocchi Mamba alla larghezza $2D$.
   • Bottleneck Mamba: Comprime le caratteristiche alla larghezza $D$ prima dei blocchi Mamba.
   • Interleaved Mamba: Intercala i token temporali in una singola sequenza di lunghezza $2L$.
3. Compressione Appresa:
   • Temporal Bottleneck Fusion (TBF): Applica un pattern "concat-then-reduce". Un MLP proietta le caratteristiche concatenate nuovamente alla larghezza $D$ prima del meccanismo di auto-attenzione, riducendo il costo quadratico dei livelli di attenzione pur preservando l'interazione globale.
4. Baseline: Sottrazione elemento per elemento e una fusione MLP (mixing dei canali senza interazione tra i token).

Inoltre, gli autori propongono una cascata di recupero a due stadi priva di addestramento: un modello di sottrazione economico seleziona i candidati, seguito da un passaggio di re-ranking utilizzando un modulo basato sull'attenzione (TBF o Concatenation Transformer) sulle prime $N$ coppie.

Risultati Chiave

• Trade-off Efficienza vs. Accuratezza: La Temporal Bottleneck Fusion (TBF) emerge come il punto operativo più favorevole. Riduce i parametri di 2,3× e la latenza di 1,6× rispetto al Concatenation Transformer completo, con una riduzione trascurabile del punteggio BLEU-1 relativo al solo cambiamento (differenza di 0,007).
• Prestazioni di Mamba: Contrariamente alle aspettative teoriche di complessità lineare, le varianti Mamba non hanno offerto vantaggi di velocità in termini di tempo di esecuzione (wall-clock) alle lunghezze standard delle sequenze dei Vision Transformer ($L=196$). Lo scan selettivo è limitato dalla larghezza di banda della memoria e sequenziale, mentre l'attenzione si mappa efficientemente sui tensor core paralleli. Mamba diventa più veloce dell'attenzione solo a lunghezze di sequenza superiori a $L \approx 400$.
• Recupero a Cascata: Il recupero a due stadi proposto (Sottrazione $\to$ TBF) ottiene una riduzione del costo di query di 10–15× su LEVIR-CC, eguagliando o superando il richiamo (recall) delle baseline a fusione completa. Sul dataset più piccolo Dubai-CC, ha ottenuto un richiamo comparabile con un costo circa 2,6× inferiore.
• Robustezza: La classifica relativa delle prestazioni dei moduli di fusione è rimasta coerente quando testata con backbone alternativi congelati (GeoRSCLIP e SigLIP 2), confermando che i risultati non sono specifici dell'architettura CLIP.

Significatività e Rivendicazioni
Il documento sostiene di fornire il primo confronto controllato e statisticamente fondato tra la fusione basata su attenzione, bottleneck e SSM per il recupero del cambiamento basato sul testo. I suoi principali contributi sono:

1. Efficienza Pratica: Dimostrare che una semplice strategia di compressione (TBF) offre un equilibrio efficienza-qualità superiore per le dimensioni standard dei tile satellitari, riducendo il carico computazionale senza una perdita significativa di accuratezza.
2. Verifica della Realtà Hardware: Evidenziare che i vantaggi teorici di complessità degli SSM (come Mamba) non si traducono in benefici di latenza alle tipiche lunghezze di sequenza della visione a causa dei colli di bottiglia della memoria hardware.
3. Strategia di Deployment: Validare che una cascata di recupero a più stadi, priva di addestramento, può ridurre drasticamente il costo della ricerca in grandi archivi mantenendo un alto richiamo, rendendo il recupero del cambiamento basato sul testo più fattibile per i sistemi operativi.

Gli autori concludono che per il numero standard di patch, l'attenzione ottimizzata (specificamente con compressione bottleneck) dovrebbe rimanere lo standard predefinito, e che la fusione non deve essere calcolata per ogni coppia candidata in un archivio.