Sintesi Tecnica: Oltre GSD-as-Token: Condizionamento su Scala Continua per VLM di Telerilevamento

1. Enunciato del Problema

I Modelli Vision-Language per il Telerilevamento (RS-VLM) presentano una discrepanza fondamentale rispetto alle loro controparti per immagini naturali dovuta alla variabilità estrema della Ground Sampling Distance (GSD). Mentre le immagini naturali esistono tipicamente entro un intervallo di scala stabile, le immagini RS coprono oltre due ordini di grandezza, dalle immagini aeree sub-decimetriche (0,06 m/pixel) ai prodotti satellitari decametrici (10 m/pixel o più grossolani).

Gli RS-VLM esistenti non riescono ad affrontare efficacemente questa realtà fisica attraverso due limitazioni primarie:

1. Fine-Tuning Scale-Agnostic: Questi modelli utilizzano parametri statici su tutte le risoluzioni, costringendo il modello a collassare regimi visivi distinti (ad esempio, texture fini vs. regioni sfocate) in una singola rappresentazione media, degradando sia il riconoscimento dei dettagli fini che il ragionamento regionale grossolano.
2. GSD-as-Token: Gli approcci attuali iniettano i metadati GSD come token di testo discreti (ad esempio, "risoluzione 0,4 m"). Questo metodo tokenizza lo scalare come testo, non inducendo alcun adattamento a livello di parametri e fallendo completamente quando i metadati del sensore sono mancanti o inaffidabili.

Nessuno dei due approcci tratta la GSD come una variabile fisica continua che dovrebbe governare dinamicamente il percorso di calcolo interno del modello.

2. Metodologia: ScaleEarth

Gli autori propongono ScaleEarth, un framework di fine-tuning efficiente in termini di parametri basato sul backbone Qwen3-VL-8B. L'innovazione centrale consiste nel trattare la GSD non come metadato passivo, ma come una variabile di condizionamento continua che guida il calcolo del modello. Il framework è composto da tre componenti principali:

A. CS-HLoRA (Continuous Scale-Conditioned Hyper-LoRA)

CS-HLoRA è il meccanismo di adattamento centrale. Modifica il percorso di aggiornamento standard Low-Rank Adaptation (LoRA) inserendo un gate guidato dalla GSD tra le matrici di down-projection e up-projection.

• Meccanismo: L'aggiornamento è definito come $\Delta W(s) = \frac{\alpha_{lora}}{r} B \text{diag}(h(s)) A$, dove $s = \log_{10}(\text{GSD})$.
• Funzione di Gate: Il gate $h_k(s) = \sigma(\alpha(\tau_k - s))$ è una funzione sigmoide che seleziona dolcemente le dimensioni del rank LoRA in base alla scala di input.
• Inizializzazione a Livelli Fisici: Le 64 dimensioni del rank sono inizializzate in tre livelli motivati fisicamente basati sulla teoria dell'unità minima di mappatura:
  • Rank Oggetti (0–10): Attivi ad alta risoluzione (GSD < 1 m) per dettagli fini.
  • Rank Strutture (11–31): Attivi a media-bassa risoluzione (1–10 m) per layout e relazioni strutturali.
  • Rank Semantici (32–63): Attivi su tutto l'intervallo di scala per la semantica a livello di paesaggio.
• Instradamento Continuo: Mentre la GSD varia, le dimensioni LoRA attive si spostano in modo fluido, sostituendo la politica media del fine-tuning scale-agnostic con un percorso di adattamento dipendente dalla scala senza modificare il backbone pre-addestrato.

B. SSE-U (Stima della Scala Eteroschedastica)

Per garantire che il framework operi senza dipendere dai metadati del sensore durante il deployment, ScaleEarth include un sub-head eteroschedastico leggero, SSE-U.

• Funzione: Predice la GSD ($\hat{\mu}$) e la sua incertezza ($\hat{\sigma}^2$) direttamente dalle caratteristiche visive (caratteristiche ViT poolate).
• Addestramento: Viene addestrato tramite verosimiglianza negativa gaussiana (NLL) su campioni con annotazioni GSD esatte.
• Inferenza: Se i metadati sono mancanti, il modello utilizza la GSD predetta se l'incertezza è bassa; altrimenti, ricade su una scala di ancoraggio neutra. Ciò consente un decoding condizionato alla scala consapevole dell'incertezza.

C. Dataset GeoScale-VQA

Per fornire una supervisione corrispondente, gli autori hanno costruito GeoScale-VQA, un corpus RS-VQA stratificato per scala di 1,5 milioni di campioni.

• Costruzione: Combina dataset esistenti (RSVQA-HR/LR, RSVQA-xBEN, GeoLLaVA-8K, PatternNet, MtSCCD) con campioni generati di recente.
• Generazione Consapevole della Scala: Le coppie domanda-risposta sono generate condizionatamente al livello di GSD dell'immagine (Alta: <0,2m, Media: 0,2–1,0m, Bassa: >1,0m). I prompt di livello alto enfatizzano i dettagli degli oggetti, quelli di livello medio si concentrano sul layout spaziale e quelli di livello basso mirano alla semantica del paesaggio.
• Controllo di Qualità: Un processo di filtraggio a due stadi (controlli sintattici seguiti da screening di qualità supervisionato da Claude) garantisce coerenza fattuale e allineamento alla scala.

D. Pipeline di Addestramento

ScaleEarth impiega una strategia di addestramento in due fasi:

1. Fase 1 (RS-Domain SFT): Fine-tuning supervisionato a parametri completi su RS-GPT4V per colmare il divario di distribuzione tra immagini naturali e RS.
2. Fase 2 (Adattamento Condizionato alla Scala): Il backbone viene bloccato (quantizzato a 4 bit). Gli adattatori CS-HLoRA e l'head SSE-U vengono addestrati congiuntamente su GeoScale-VQA. L'obiettivo combina la perdita VLM con una perdita di stima GSD ($\mathcal{L} = \mathcal{L}_{VLM} + \lambda_{gsd}\mathcal{L}_{nll}$).

3. Contributi Chiave

1. CS-HLoRA: Un nuovo metodo di fine-tuning che modula il sottospazio a basso rank di LoRA attraverso un gate guidato dalla GSD con inizializzazione a livelli basata su fondamenti fisici. Permette a un modello unificato di adattare il calcolo alla scala fisica senza modifiche architetturali o adattatori separati specifici per risoluzione.
2. SSE-U: Un head di stima della scala eteroschedastico che predice GSD e incertezza dalle sole caratteristiche visive, riducendo la dipendenza dai metadati e supportando un decoding consapevole dell'incertezza.
3. GeoScale-VQA: Un corpus RS-VQA consapevole della scala di 1,5 milioni di campioni che forma un ciclo chiuso metodo-dati, dove supervisione e adattamento efficiente in termini di parametri sono guidati dallo stesso scalare fisico (GSD).

4. Risultati Sperimentali

Il modello è stato valutato su due benchmark completi: XLRS-Bench (percezione e ragionamento a risoluzione ultra-elevata) e OmniEarth-Bench (cognizione del sistema terrestre attraverso sei sfere).

• XLRS-Bench: ScaleEarth ha raggiunto una nuova accuratezza media state-of-the-art del 57,4%, superando la baseline specializzata più forte (GeoEyes, 54,2%) di +3,2% e il generalista open-source migliore (Qwen3-VL-235B-A22B, 51,1%) di +6,3%, nonostante l'uso di un backbone da soli 8B. Sono stati osservati guadagni significativi in compiti sensibili alla scala come la Classificazione dell'Uso del Suolo Regionale (78,6%) e lo Stato di Movimento degli Oggetti (66,1%).
• OmniEarth-Bench: ScaleEarth ha raggiunto un'accuratezza media del 40,71% su compiti a scelta multipla, superando la baseline open-source zero-shot più forte (InternVL3-72B, 33,26%) di +7,45 punti percentuali e la baseline closed-source più forte (Claude-3.7-Sonnet, 29,07%) di +11,64 punti percentuali.
• Studi di Ablazione: La rimozione di CS-HLoRA ha ridotto l'accuratezza del 4,2%, mentre la rimozione della supervisione consapevole della scala ha causato un calo del 3,8%. La randomizzazione dell'inizializzazione a livelli fisici ha ulteriormente diminuito le prestazioni del 3,5%, confermando l'utilità del prior cartografico.
• Test di GSD-Spoofing: Quando l'input GSD è stato perturbato sistematicamente, ScaleEarth ha esibito una curva di accuratezza a campana fluida, con picco alla vera GSD. Al contrario, l'instradamento basato su bucket discreti (MoE-LoRA) ha mostrato discontinuità nette ai confini dei bucket, e LoRA standard o l'iniezione di token di testo hanno mostrato risposte piatte, dimostrando che i guadagni derivano dal condizionamento fisico continuo e non semplicemente da capacità aggiuntiva.

5. Significato e Affermazioni

Il documento sostiene che il ciclo chiuso stabilito da ScaleEarth tra architettura, supervisione e dati suggerisce un principio di progettazione più ampio per gli RS-VLM: le variabili fisiche che distinguono fondamentalmente le immagini aeree dalle immagini naturali dovrebbero modellare direttamente e sistematicamente il modello, anziché essere scartate o inserite meramente come prompt di testo ausiliari.

Gli autori affermano che ScaleEarth dimostra che:

• Trattare la GSD come una variabile di condizionamento continua permette a un singolo modello di instradare dinamicamente il calcolo attraverso livelli a livello di oggetto, struttura e semantica.
• Questo approccio supera sia i modelli scale-agnostic sia quelli che trattano la scala come un token di testo discreto o un segnale di instradamento a bucket.
• Il framework rimane robusto negli scenari di deployment in cui i metadati del sensore sono mancanti, grazie al fallback consapevole dell'incertezza fornito da SSE-U.

Il lavoro si posiziona come un passo verso un'intelligenza artificiale per il telerilevamento più affidabile e consapevole della risoluzione, in particolare per compiti che richiedono percezione fine in scenari a risoluzione ultra-elevata o ragionamento cross-scala in compiti complessi del sistema terrestre.