Cross-Scale Pretraining: Enhancing Self-Supervised Learning for Low-Resolution Satellite Imagery for Semantic Segmentation

Technische Samenvatting: Cross-Scale Pretraining voor Lage-Resolutie Satellietbeelden

Probleemstelling
Semantische segmentatie in de aardobservatie is cruciaal voor toepassingen zoals voedselzekerheid, rampenmanagement en klimaatonderzoek. De prestaties van deep learning in dit domein worden echter vaak beperkt door het gebrek aan annotaties op pixelniveau. Hoewel Zelftoezichthoudend Leren (SSL) een oplossing biedt door gebruik te maken van de overvloed aan niet-geannoteerde beelden, vertrouwt de huidige literatuur over SSL voor aardobservatie voornamelijk op datasets met middelhoge resolutie (MR) (bijv. Sentinel-1/2, ≥10m Ground Sample Distance) vanwege hun beschikbaarheid. Hoewel datasets met hoge resolutie (HR) (≤5m GSD) rijkere ruimtelijke details bieden die van nature leiden tot superieure prestaties, zijn ze vaak duur, eigendom van derden of beperkt toegankelijk.

Een rechttoe-rechtaan aanpak waarbij uitsluitend wordt voorgeprogrammeerd op HR-data faalt om de voordelen van MR-beelden te benutten, zoals hogere spectrale dimensies, en kan zich niet goed vertalen naar downstream-taken die MR-inputs gebruiken. Omgekeerd mist pretraining uitsluitend op MR-data de ruimtelijke details die beschikbaar zijn in HR-beelden. De kernuitdaging die dit werk adresseert, is hoe HR-datasets kunnen worden geïntegreerd in de zelftoezichthoudende pretraining van MR-beelden om het leren van representaties te verbeteren zonder de specifieke voordelen van MR-data te verliezen.

Methodologie
De auteurs stellen een Cross-Scale Pretraining-strategie voor die gebruikmaakt van een Ruimtelijke Affiniteitscomponent, ontworpen om te worden geïntegreerd in bestaande SSL-frameworks. De methodologie maakt gebruik van een echt gepaard dataset (Sen2Venus), met gelijktijdige Sentinel-2 (10m) en Venus (5m) beelden.

• Architectuur: De component maakt gebruik van een student-leraar-architectuur voor zelfdistillatie.
  • Student Encoder: Verwerkt patches van het beeld met middelhoge resolutie ($I_{MR}$). Deze encoder wordt gedeeld met het gastheer-SSL-framework en wordt bijgewerkt via backpropagation.
  • Leraar Encoder (HR Leraar): Verwerkt patches van het beeld met hoge resolutie ($I_{HR}$). Het deelt dezelfde architectuur als de student, maar wordt bijgewerkt via een Exponentiële Bewegende Gemiddelde (EMA) van de parameters van de student om instorting te voorkomen.
• Patch-correspondentie: Gegeven een schaalfactor $s=2$, komt elke patch in $I_{MR}$ overeen met $s^2$ patches in $I_{HR}$. De output van de HR-leraar voor deze corresponderende patches wordt gedownsampt (via bilineaire, bicubische of lineaire projectie) om de dimensionaliteit van de output van de student te matchen.
• Verliesfunctie: De kern van de methode is de Gram-verliesfunctie. In plaats van de Gemiddelde Kwikwafelijke Fout (MSE) tussen patch-representaties direct te minimaliseren, minimaliseert de methode de MSE tussen de Gram-matrices (paarwijze puntproducten van L2-genormaliseerde representaties) van de student en de gedownsampte leraar. Deze aanpak tolereert sensor-specifieke verschillen tussen de twee resoluties, terwijl verschillen in ruimtelijke structuur op patch-niveau worden bestraft.
• Geteste Frameworks: De component werd geëvalueerd op twee Masked Image Modeling (MIM)-frameworks: I-JEPA (dat gebruikmaakt van bloksampling) en LatentMIM (dat gebruikmaakt van willekeurige niet-aaneengesloten sampling).

Belangrijkste Bijdragen

1. Ruimtelijke Affiniteitscomponent: Een nieuwe module die bestaande SSL-frameworks in staat stelt HR-beelden te benutten om rijkere representaties van MR-beelden te leren via een latent-space super-resolution doelstelling.
2. Cross-Scale Pretraining-strategie: Een demonstratie dat het combineren van echte HR- en MR-paardata tijdens pretraining betere downstream-prestaties oplevert dan pretraining op slechts één resolutie.
3. Empirische Validatie: Omvattende evaluatie over vier diverse MR-semantische segmentatietaken (gewasstype, overstromingsmapping, gewaskartering en detectie van mariene verontreiniging) die consistente verbeteringen aantonen.

Resultaten
De auteurs evalueerden het voorgestelde SA-model (voorgeprogrammeerd met de Ruimtelijke Affiniteitscomponent op HR/MR-paren) tegenover MR-modellen (uitsluitend voorgeprogrammeerd op MR) en HR-modellen (uitsluitend voorgeprogrammeerd op HR) met behulp van lineaire probing op vier datasets: m-SA-Crop-Type, Sen1Floods11, PASTIS en MADOS.

• Prestaties: Het SA-model presteerde beter dan het MR-model in alle gevallen behalve één, en presteerde beter dan het HR-model in de meeste gevallen, zowel binnen het I-JEPA- als het LatentMIM-framework. Bijvoorbeeld, met LatentMIM behaalde het SA-model een gemiddelde Intersection over Union (mIoU) van 23,39 op m-SA-Crop-Type, vergeleken met 21,41 (MR) en 22,39 (HR).
• Echte versus Valse HR: Ablatiestudies bevestigden dat de prestatiewinsten voortkomen uit de informatieve inhoud van echte HR-data. Modellen getraind met "valse" HR-data (gegenereerd via interpolatie van MR-beelden) presteerden over het algemeen slechter dan die getraind met echte HR-paren, wat valideert dat de methode echte sensor-specifieke kenmerken leert in plaats van slechts resolutieschaling.
• Ablaties:
  • Gram-verlies: Presteerde beter dan de standaard MSE-verliesfunctie in downstream-taken.
  • Downsampling: Bilineaire downsampling bleek het meest effectief en computatie-efficiënt in vergelijking met bicubische of lineaire projectie.
  • Sampling: Bloksampling verbeterde de prestaties niet ten opzichte van de standaard willekeurige sampling voor LatentMIM.

Betekenis en Claims
Het artikel claimt dat de voorgestelde ruimtelijke affiniteitscomponent effectief gebruikmaakt van de rijkere visuele details van HR-satellietbeelden, terwijl de voordelen van MR-beelden worden behouden (zoals spectrale dimensies en beschikbaarheid). De auteurs betogen dat deze aanpak aantoont dat effectieve trainingsstrategieën die zowel HR- als MR-data gebruiken, modellen die zijn getraind op één enkele resolutie kunnen overtreffen.

Het werk benadrukt dat, hoewel HR-data waardevol is, het simpelweg voorgeprogrammeerd op deze data suboptimaal is voor MR-downstream-taken. Door gebruik te maken van echte HR/MR-paren en een op Gram-verlies gebaseerde distillatie, leert het model MR-patches te representeren met een niveau van ruimtelijke detail dat dicht in de buurt komt van dat van HR-beelden. De auteurs concluderen bescheiden dat, hoewel hun methode effectief is, toekomstig werk zich moet richten op het verminderen van de afhankelijkheid van hoogwaardige, gelijktijdige HR/MR-beeldparen, gezien de schaarste en de moeilijkheid om dergelijke datasets te verwerven.