Multi-modal, multi-scale representation learning for satellite imagery analysis just needs a good ALiBi

Probleemstelling

De hoeveelheid satellietbeelden die jaarlijks wordt gegenereerd door zowel overheids- als commerciële constellaties, neemt exponentieel toe en overstijgt ver het vermogen van menselijke analisten om deze te verwerken. Hoewel er weinig gelabelde data beschikbaar is, zijn satellietbeelden ideaal voor representatieleren omdat ze vooraf orthorectificeerd zijn, locatietags bevatten en vaak door dezelfde sensoren over dezelfde gebieden worden opgenomen.

Bestaande representatieleringsmodellen focussen echter meestal op slechts één dimensie tegelijk:

1. Stabiliteit over verschillende ruimtelijke resoluties (Ground Sample Distance - GSD).
2. Stabiliteit over verschillende sensormodi (bijv. radar naar optisch).
3. Stabiliteit over tijdsintervallen.

Er zijn weinig modellen die in staat zijn om meer dan één van deze representaties tegelijkertijd te leren. De uitdaging ligt in het creëren van een model dat operationeel is over multi-sensormodi en multi-resolutie data, terwijl het de complexe relaties tussen beelden met verschillende schalen en types behoudt.

Methodologie: Scale-ALiBi

De auteurs stellen Scale-ALiBi voor, een nieuw mechanisme dat een lineaire bias in de attentie van transformers introduceert, specifiek ontworpen voor satellietbeelden met verschillende GSD-waarden.

1. Scale-ALiBi Attentie Mechanisme
Het mechanisme is een extensie van de bestaande 2D-ALiBi en X-ALiBi (Attention with Linear Biases).

• Conventionele ALiBi: Voegt een bias toe op basis van de Euclidische afstand tussen patches om extrapolatie naar langere sequenties mogelijk te maken.
• Scale-ALiBi: Introduceert een extra bias-component die rekening houdt met de Ground Sample Distance (GSD).
  • De formule voor de attentie-matrix $A$ wordt: $a_{hij} = \text{normale attentie} - g(i, j) \cdot m(h)$.
  • Hierbij is $g(i, j) = \text{distance}(i, j) \cdot \text{GSD}$.
  • Dit betekent dat de bias niet alleen afhangt van de pixelafstand, maar ook van de schaal van de bronafbeelding. Hierdoor kan het model beelden met verschillende resoluties (bijv. een 256x256 Sentinel-2 beeld vs. een 512x512 NAIP beeld) direct vergelijken, zelfs als ze in een verschillend aantal tokens zijn opgesplitst.

2. Architectuur: Triple-Contrastive en Reconstructieve Opzet
Het model gebruikt een complexe architectuur (zie Figuur 1 in het paper) die bestaat uit:

• Drie Encoders:
  • $E_{radar}$: Voor lage-resolutie SAR (Sentinel-1).
  • $E_{lores}$: Voor lage-resolutie optisch (Sentinel-2).
  • $E_{hires}$: Voor hoge-resolutie optisch (NAIP), die 4x zoveel tokens genereert vanwege de dubbele resolutie.
• Cross-Encoders: De tokens van de drie encoders worden gekruist verwerkt om een gezamenlijke radar-optische representatie te vormen, waarna deze wordt gefuseerd met de hoge-resolutie stream.
• Verliesfuncties:
  • Contrastief Verlies ($L_{Con}$): Een uitgebreide InfoNCE-loss die de representaties van alle drie de modi (SAR, laag-res optisch, hoog-res optisch) van dezelfde fysieke locatie dichter bij elkaar "knijpt" en wegduwt van andere locaties.
  • Reconstructief Verlies ($L_{Recon}$): Een Masked Autoencoder (MAE) die probeert de gemaskerde patches van alle sensormodi te reconstrueren, inclusief de hoge-resolutie stream.
  • Totale Loss: $L = L_{Con} + L_{Recon}$.

3. Dataset Curation
Omdat er geen bestaande publieke dataset was die perfect paste bij deze eisen, hebben de auteurs een nieuwe dataset samengesteld.

• Bronnen: ESA Sentinel-1 (SAR), Sentinel-2 (Optisch) en USDA NAIP (Hoge-resolutie optisch).
• Omvang: De dataset bevat uitgelijnde tripletten van lage-resolutie optisch, lage-resolutie SAR en hoge-resolutie optisch beelden.
• Beperking: Door de geografische beschikbaarheid van NAIP-data is de dataset beperkt tot het vasteland van de VS en Puerto Rico.
• Beschikbaarheid: De dataset wordt openbaar gemaakt in verschillende formaten (small, full, micro).

Kernbijdragen

1. Scale-ALiBi Mechanisme: De eerste extensie van de ALiBi-attentie naar 2D met een specifieke bias voor GSD-schaling. Dit stelt transformers in staat om schaal- en afstandsinformatie uit satellietbeelden direct in het trainingsproces te integreren.
2. Novel Architectuur: Een triple-contrastieve en reconstructieve architectuur die native werkt met multi-modale en multi-resolutie data.
3. Nieuwe Dataset: De publicatie en beschikbaarstelling van een uniek, uitgelijnd dataset van Sentinel-1, Sentinel-2 en NAIP beelden, wat een belangrijke bron vormt voor toekomstig onderzoek.
4. Benchmarking: Evaluatie op de GEO-Bench benchmark, waarbij een vergelijking wordt gemaakt met de state-of-the-art CROMA-modellen.

Resultaten

Het model werd geëvalueerd op de GEO-Bench benchmark, die bestaat uit 6 classificatie- en 6 segmentatietaken over hoge- en lage-resolutie optische en SAR-beelden.

• Vergelijking: Het Scale-ALiBi-model werd getraind met dezelfde data en hardware als het CROMA-model (voor een eerlijke vergelijking).
• Prestaties:
  • Scale-ALiBi presteerde over het algemeen vergelijkbaar of beter dan CROMA op de meeste taken.
  • Bijvoorbeeld, bij de taak m-pv4ger (classificatie) behaalde de hoge-resolutie variant van Scale-ALiBi 87.77%, vergeleken met 88.53% voor CROMA en 83.27% voor de lage-resolutie variant.
  • Bij k-NN (k-Nearest Neighbors) voor m-forestnet behaalde Scale-ALiBi (hoge res) 37.26% tegenover 35.44% voor CROMA.
• Opmerking: De auteurs geven aan dat de resultaten nog "voorlopig" zijn en dat met langere trainingstijden en een grotere dataset de resultaten naar verwachting verder kunnen worden verbeterd om de state-of-the-art resultaten van CROMA volledig te evenaren of te overtreffen.

Betekenis en Conclusie

Dit paper is significant omdat het een oplossing biedt voor een fundamentele beperking in huidige satellietbeeldanalyse: het inability om schaal en modus gelijktijdig te verwerken in één model.

• Technische Innovatie: Door de GSD expliciet te coderen in de attentie-mechanismen, kunnen modellen beter omgaan met de variabiliteit in resolutie die inherent is aan satellietdata.
• Praktische Toepassing: De vrijgegeven dataset en het model faciliteren betere landgebruikscategorisatie, veranderingenmonitoring en andere downstream-taken zonder de noodzaak van grote hoeveelheden gelabelde data.
• Toekomstperspectief: De auteurs plannen het verzamelen van een veel grotere dataset en het uitvoeren van langere trainingen om het volledige potentieel van Scale-ALiBi te benutten.

Samenvattend biedt Scale-ALiBi een veelbelovende richting voor de ontwikkeling van robuuste foundation-modellen voor aardobservatie die de complexiteit van multi-sensor en multi-resolutie data kunnen hanteren.