Sintesi Tecnica: Scalare i Modelli Fondazionali per il Remote Sensing

Definizione del Problema

Sebbene le leggi di scala (scaling laws) per i modelli fondazionali (FM) siano ben consolidate nel campo del linguaggio naturale e delle immagini naturali, la loro applicabilità al remote sensing (RS) rimane scarsamente compresa. I dati RS presentano sfide uniche, tra cui diverse proprietà spettrali e spaziali, campioni etichettati limitati e un potenziale limite superiore nella capacità rappresentativa dovuto alla varietà finita di oggetti osservabili nelle immagini zenitali. Esiste un divario critico nella comprensione della relazione tra la dimensione del dataset di addestramento, i parametri del modello e le prestazioni su scala petascale. In particolare, non è chiaro se gli attuali modelli di frontiera per il RS siano limitati dalla disponibilità di dati o dalla capacità del modello, e se l'aumento della dimensione del modello o del batch size produca rendimenti decrescenti in questo dominio.

Metodologia

Gli autori hanno condotto uno studio sistematico utilizzando Akupara, un nuovo dataset di remote sensing globale che comprende oltre 1 petapixel (1 × 10¹⁵ pixel) di immagini satellitari ad alta risoluzione Maxar (GSD da 0,3 m a 1,2 m). Il dataset include oltre 1 milione di immagini satellitari complete che coprono 415 milioni di km².

Per generare etichette di addestramento a questa scala, il team ha sviluppato G-DAUG (Geospatial Data Augmentation), una pipeline che accoppia i chip di immagini con dati vettoriali OpenStreetMap (OSM) per creare etichette di supervisione debole automatizzate (segmentazione semantica, segmentazione delle istanze e bounding box ruotati) per 37 classi di oggetti.

Il design sperimentale si è concentrato su quattro domande guida utilizzando due architetture di modelli:

1. MTP (Multi-Task Pretraining): Un framework completamente supervisionato con un backbone ViT condiviso e decoder specifici per compito per segmentazione e rilevamento.
2. ScaleMAE: Un autoencoder mascherato autosupervisionato che incorpora la scala reale (GSD) nei positional embeddings.

Le esperienze chiave includevano:

• Sensibilità al Batch Size: Scansione dei batch size (da 128 a 512) per determinare i batch size critici per l'efficienza della convergenza.
• Stabilità del Learning Rate (LR): Implementazione di un protocollo "Fail Fast" per triare i LR instabili prima di impegnarsi in cicli di addestramento completi, utilizzando uno schema Warmup, Stable, Decay (WSD).
• Scaling dei Dati: Addestramento di un modello fisso, sovradimensionato (ViT-Giant, 1,8 miliardi di parametri) su sottoinsiemi nidificati di Akupara che vanno da 5k a 1M di immagini per isolare gli effetti dei dati.
• Scaling dei Parametri: Addestramento di modelli di varie dimensioni (da 86M a 1,8B di parametri) su un dataset fisso (100k immagini) per isolare gli effetti dei parametri.

Contributi Chiave

Il documento fornisce un resoconto orientato ai processi dello scaling dei modelli fondazionali per il RS, offrendo i seguenti approfondimenti empirici:

• Lezioni sullo Scaling del Throughput: Le fasi iniziali e intermedie dell'addestramento sono ampiamente insensibili all'aumento del batch size oltre soglie moderate. L'efficienza si ottiene meglio attraverso la diversità dei dati e lo scheduling del LR piuttosto che tramite un batching aggressivo.
• Schemi di Ottimizzazione Stabili: Un regime WSD con un learning rate base moderato (specificamente 1 × 10⁻⁴ per MTP con ViT-L) fornisce una convergenza robusta. Il protocolo di warmup "Fail Fast" identifica ed elimina efficacemente i candidati con LR elevati e instabili, risparmiando risorse computazionali.
• Legge di Scaling dei Dati Empirica: Nell'intervallo tra 5k e 1M di immagini a scena intera, la perdita di validazione segue una legge di potenza costante ($L(N) = A + BN^{-a}$) con un esponente $a \approx 0,03$. Ciò indica rendimenti decrescenti ma non saturati, a supporto del valore di un'ulteriore espansione dei dati.
• Legge di Scaling dei Parametri Empirica: Attraverso dimensioni del modello da 86M a 1,8B di parametri, i guadagni di performance sono stati effettivamente piatti ($b \approx 0$) quando i dati e i budget di addestramento sono stati mantenuti costanti. Ciò suggerisce che, nei tipici regimi di dati, lo scaling dei soli parametri produce benefici trascurabili.
• Supervisione Debole Scalabile: La pipeline G-DAUG dimostra un metodo riproducibile per generare supervisione su scala globale da fonti vettoriali aperte, colmando il divario tra i dati GIS e l'addestramento raster ad alta risoluzione.

Risultati

• Dati vs. Parametri: Lo studio conferma che i modelli fondazionali per il RS operano attualmente in un regime limitato dai dati. L'aumento della dimensione del dataset migliora costantemente le prestazioni (seguendo una legge di potenza), mentre l'aumento dei parametri del modello senza un corrispondente aumento di dati o di token di addestramento per parametro non riduce la perdita.
• Batch Size: L'aumento del batch size da 128 a 512 non ha accelerato la convergenza né migliorato l'efficienza nelle fasi iniziali o intermedie dell'addestramento.
• Learning Rates: Learning rate elevati (es. $10^{-3}$) hanno causato divergenza o oscillazioni. Il tasso stabile ottimale identificato è stato $10^{-4}$, che ha permesso una riduzione monotona della perdita.
• Modalità di Fallimento: Circa la metà degli esperimenti di scaling dei dati è rimasta intrappolata in minimi locali all'inizio dell'addestramento, evidenziando la sensibilità dell'addestramento RS su larga scala rispetto all'inizializzazione e alla dinamica di ottimizzazione.

Significato e Rivendicazioni

Gli autori affermano che questo lavoro stabilisce i primi comportamenti di scaling empirici per i modelli fondazionali RS addestrati su scala petascale. La significanza primaria risiede nello spostamento del paradigma per lo sviluppo di modelli RS da un focus su "modelli più grandi" a "migliore diversità dei dati e strategie di ottimizzazione".

Il documento sostiene che:

1. Il RS è Limitato dai Dati: A differenza di alcuni domini di immagini naturali dove la capacità del modello può essere un collo di bottiglia, le prestazioni del RS sono attualmente vincolate dalla disponibilità di dati diversificati e in-domain.
2. I Rendimenti Decrescenti sono Gestibili: Sebbene l'esponente di scaling dei dati ($a=0,03$) indichi rendimenti decrescenti, questi non sono saturati, il che implica che la continua raccolta di dati produce guadagni misurabili.
3. Ingegneria sopra l'Architettura: Il progresso futuro dipende da leve ingegneristiche come la stratificazione dei dati (geografia, sensore, stagione), la qualità delle etichette e schemi di ottimizzazione stabili piuttosto che dal semplice aumento del numero di parametri o del batch size.
4. Linee Guida Pratiche: Lo studio fornisce una "checklist pratica" per la comunità, enfatizzando l'uso di learning rate conservativi, campionamento stratificato dei dati per evitare la duplicazione dei contenuti e un rigoroso triage degli iperparametri per prevenire lo spreco di calcolo.

Gli autori concludono che il progresso sostenibile nella modellazione fondazionale per il RS dipende dall'uso di dati più diversificati (inclusi sorgenti multi-modali e multi-temporali) piuttosto che dal semplice aumento del calcolo o della dimensione del modello.