Technische Samenvatting: Schalen van Remote Sensing Foundation Modellen

Probleemstelling

Hoewel schalingswetten voor foundation modellen (FM's) goed gevestigd zijn in de domeinen van natuurlijke taalverwerking en natuurlijke afbeeldingen, blijft hun toepasbaarheid op remote sensing (RS) onvoldoende begrepen. RS-data brengt unieke uitdagingen met zich mee, waaronder diverse spectrale en ruimtelijke eigenschappen, beperkte gelabelde monsters, en een potentiële bovengrens aan de representatieve capaciteit door de eindige variëteit van waarneembare objecten in overheadbeelden. Er bestaat een kritische kloof in het begrip van de relatie tussen de omvang van de trainingsdataset, modelparameters en prestaties op petaschaal. Specifiek is het onduidelijk of huidige frontier-schaal RS-modellen worden beperkt door de beschikbaarheid van data of door de modelcapaciteit, en of het vergroten van de modelgrootte of de batchgrootte verminderde meeropbrengsten oplevert in dit domein.

Methodologie

De auteurs hebben een systematische studie uitgevoerd met behulp van Akupara, een nieuwe wereldwijde remote sensing dataset bestaande uit meer dan 1 petapixel (1 × 10¹⁵ pixels) aan hoogresolutie Maxar-satellietbeelden (0,3m–1,2m Ground Sample Distance). De dataset bevat meer dan 1 miljoen volledige satellietbeelden die 415 miljoen km² beslaan.

Om trainingslabels op deze schaal te genereren, heeft het team G-DAUG (Geospatial Data Augmentation) ontwikkeld, een pijplijn die beeldchips koppelt aan OpenStreetMap (OSM) vectorgegevens om geautomatiseerde, zwakke supervisielabels te creëren (semantische segmentatie, instantie-segmentatie en geroteerde bounding boxes) voor 37 objectklassen.

Het experimentele ontwerp richtte zich op vier leidende vragen met behulp van twee modelarchitecturen:

1. MTP (Multi-Task Pretraining): Een volledig gesuperviseerd framework met een gedeelde ViT-backbone en taakspecifieke decoders voor segmentatie en detectie.
2. ScaleMAE: Een zelf-gesuperviseerde masked autoencoder die de werkelijke schaal (GSD) integreert in positionele embeddings.

Belangrijke experimenten omvatten:

• Batch Size Sensitivity: Het doorzoeken van batchgroottes (128–512) om kritieke batchgroottes voor convergentie-efficiëntie te bepalen.
• Learning Rate (LR) Stabiliteit: Het implementeren van een "Fail Fast"-protocol om instabiele LRs te triageren voordat er volledige trainingsruns worden gestart, gebruikmakend van een Warmup, Stable, Decay (WSD) schema.
• Data Scaling: Het trainen van een vast, overgedimensioneerd model (ViT-Giant, 1,8B parameters) op geneste subsets van Akupara variërend van 5k tot 1M afbeeldingen om data-effecten te isoleren.
• Parameter Scaling: Het trainen van modellen van verschillende groottes (86M tot 1,8B parameters) op een vaste dataset (100k afbeeldingen) om parameter-effecten te isoleren.

Belangrijkste Bijdragen

Het artikel biedt een procesgerichte uiteenzetting van het schalen van RS foundation modellen en biedt de volgende empirische inzichten:

• Doorvoerschalingslessen: Training in de vroege- tot middenfase is grotendeels ongevoelig voor toenames in de batchgrootte boven gematigde drempels. Efficiëntie wordt beter bereikt door datadiversiteit en LR-scheduling dan door agressieve batching.
• Stabiele Optimalisatieschema's: Een WSD-regime met een gematigde base learning rate (specifiek 1 × 10⁻⁴ voor MTP met ViT-L) zorgt voor robuuste convergentie. Het "Fail Fast" warmup-protocol identificeert en verwerpt effectief instabiele hoge-LR kandidaten, wat computeresources bespaart.
• Empirische Data-scaling Wet: Binnen het bereik van 5k tot 1M volledige scènes volgt de validatieverlies een consistente machtswet ($L(N) = A + BN^{-a}$) met een exponent $a \approx 0,03$. Dit wijst op verminderde maar niet verzadigde meeropbrengsten, wat de waarde van verdere data-expansie ondersteunt.
• Empirische Parameter-scaling Wet: Over modelgroottes van 86M tot 1,8B parameters waren de prestatiewinsten effectief vlak ($b \approx 0$) wanneer de data en trainingsbudgetten constant werden gehouden. Dit suggereert dat het schalen van parameters alleen in typische dataregimes verwaarloosbare voordelen biedt.
• Schaalbare Zwakke Supervisie: De G-DAUG-pijplijn demonstreert een reproduceerbare methode voor het genereren van wereldwijde supervisie vanuit open vectorbronnen, waardoor de kloof tussen GIS-data en hoogresolutie rastertraining wordt overbrugd.

Resultaten

• Data vs. Parameters: De studie bevestigt dat RS foundation modellen momenteel opereren in een data-beperkt regime. Het vergroten van de dataset vergroot consistent de prestaties (volgens een machtswet), terwijl het vergroten van de modelparameters zonder een overeenkomstige toename in data of trainings-tokens per parameter de loss niet verlaagt.
• Batch Size: Het vergroten van de batchgrootte van 128 naar 512 versnelde de convergentie of verbeterde de efficiëntie in de vroege- tot middenfase van de training niet.
• Learning Rates: Hoge learning rates (bijv. $10^{-3}$) veroorzaakten divergentie of oscillatie. De optimale stabiele rate die werd geïdentificeerd was $10^{-4}$, wat zorgde voor een monotone afname van de loss.
• Foutmodi: Ongeveer de helft van de data-scaling runs raakte vroeg in de training gevangen in lokale minima, wat de gevoeligheid van grootschalige RS-training voor initialisatie en optimalisatiedynamiek benadrukt.

Betekenis en Claims

De auteurs beweren dat dit werk de eerste empirische schalingsgedragingen vaststelt voor RS foundation modellen getraind op petaschaal. De primaire betekenis ligt in de verschuiving van het paradigma voor RS-modelontwikkeling van een focus op "grotere modellen" naar "betere datadiversiteit en optimalisatiestrategieën."

Het artikel voert aan dat:

1. RS is Data-beperkt: In tegenstelling tot sommige natuurlijke beeldvormingsdomeinen waar modelcapaciteit een knelpunt kan zijn, wordt de prestatie van RS momenteel beperkt door de beschikbaarheid van diverse, in-domain data.
2. Verminderde Meeropbrengsten zijn Behandelbaar: Hoewel de data-schalingsexponent ($a=0,03$) wijst op verminderde meeropbrengsten, zijn de rendementen niet verzadigd, wat impliceert dat verdere dataverzameling meetbare winst oplevert.
3. Engineering boven Architectuur: Toekomstige vooruitgang hangt af van engineering-hefbomen zoals datastratificatie (geografie, sensor, seizoen), labelkwaliteit en stabiele optimalisatieschema's in plaats van simpelweg het aantal parameters of de batchgrootte te vergroten.
4. Praktische Richtlijnen: De studie biedt een "praktische checklist" voor de gemeenschap, waarbij de naden worden gelegd op conservatieve learning rates, gestratificeerde datasampling om inhoudelijke duplicatie te voorkomen, en rigoureuze hyperparameter-triage om verspilde rekenkracht te voorkomen.

De auteurs concluderen dat duurzame vooruitgang in RS foundation modeling afhangt van het gebruik van meer diverse data (inclusief multi-modale en multi-temporele bronnen) in plaats van louter het schalen van rekenkracht of modelgrootte.