Filling Before Advancing: Capability-Gap-Driven Post-Training for Scenario-Specialized Remote Sensing MLLMs

Sintesi Tecnica: Filling Before Advancing (FBA) per RS-MLLM specializzati in scenari

Formulazione del Problema
I modelli linguistici multimodali per la telerilevazione (RS-MLLM) hanno fatto progressi nella comprensione generale delle immagini aeree, ma faticano nelle applicazioni granulari e specifiche per scenario, come il monitoraggio dei porti costieri. I compiti del mondo reale richiedono report strutturati e basati su prove riguardanti zone funzionali, scale delle imbarcazioni e layout spaziali, piuttosto che descrizioni generiche della scena. Gli autori identificano due barriere primarie al raggiungimento di questa specializzazione:

1. Scarsità di Dati di Scenario di Alta Qualità: A differenza delle immagini naturali, i dati di supervisione annotati da esperti per specifici scenari di telerilevazione (RS) sono limitati a causa del tempo e del lavoro richiesti per l'acquisizione multi-sensore e l'annotazione rigorosa.
2. Difficoltà di Copertura delle Capacità: Il fine-tuning diretto dei modelli MLLM generali sui campioni del dominio target (Single-Stage Supervised Fine-Tuning o Direct-SFT) spesso fallisce. Ciò accade perché gli scenari RS specifici introducono lacune nell'allineamento visivo (prospettive zenitali), nella consapevolezza della modalità (SAR, PAN, NIR) e nella professionalità del compito che un singolo stadio di addestramento non può colmare.

Metodologia: Filling Before Advancing (FBA)
Il documento propone il Filling Before Advancing (FBA), un paradigma di post-training guidato dal colmamento dei gap di capacità. Invece di fare affidamento su un SFT a stadio singolo sui dati target, l'FBA chiude sequenzialmente i gap di capacità a più livelli prima di avanzare verso lo scenario specializzato finale. Questo viene istanziato per la comprensione dei porti costieri attraverso tre stadi ordinati, supportati dal dataset CPRS (Coastal-Port Remote Sensing):

1. Stadio 1: Ancoraggio Semantico RS (RS-Anchor)

   • Obiettivo: Stabilire un allineamento linguaggio-visivo zenitale ampio.
   • Dati: 569.853 coppie immagine-didascalia RGB da risorse RS esistenti (es. RSTeller, RSSRData).
   • Funzione: Crea una base semantica RS fondamentale, garantendo che il modello comprenda i pattern visivi RS generali prima di incontrare scenari specifici.

2. Stadio 2: Convergenza di Ponte di Dominio (Bridge-Conv)

   • Obiettivo: Apprendere i priori RS condivisi tra lo scenario target (porto) e gli scenari ponte (costiero/portuale) sotto molteplici modalità.
   • Dati: 187.296 campioni SFT multi-fonte (RGB, SAR, PAN, NIR) costruiti tramite distillazione Staged Multi-Teacher (SMT). Questo processo prevede la normalizzazione delle prove, la sintesi delle istruzioni e la verifica delle risposte per garantire la fondatezza visiva.
   • Funzione: Colma il divario tra l'RS generale e lo specifico, consolidando i priori condivisi (texture, layout, pattern di oggetti) attraverso le modalità per prepararsi al tuning specializzato.

3. Stadio 3: Tuning dello Scenario Basato su Prove (Scenario-EG)

   • Obiettivo: Adattamento finale ai compiti downstream specifici del porto con rigorosa fondatezza sulle prove.
   • Dati: 53.000 campioni di istruzione specializzati per i porti, focalizzati su zone funzionali, localizzazione a griglia e gestione dei casi negativi (rigetto di scene non portuali).
   • Funzione: Allinea le risposte del modello alle prove visive, migliorando l'affidabilità quando le prove sono insufficienti o ambigue, e riducendo l'overfitting su pattern di scena ristretti.

Protocollo di Valutazione
Gli autori introducono HarborEval, un benchmark diagnostico a otto tracce che copre immagini RGB, SAR, PAN e NIR sia da scene portuali che non portuali. Le tracce valutano:

• Riconoscimento di oggetti/scene e comprensione delle zone funzionali.
• Relazioni spaziali e localizzazione a griglia.
• Riconoscimento della modalità e vincoli di osservabilità.
• Giudizio sulle prove (distinguere affermazioni supportate da quelle non supportate).
• Rigetto del non-portuale e reporting aperto basato sulle prove.

Le prestazioni sono validate anche rispetto a benchmark pubblici (VRSBench, RSVQA) e tramite punteggio esperto (OpenEval).

Risultati Chiave
Sotto budget di addestramento comparabili, l'FBA supera costantemente il Direct-SFT e il Collapsed-SFT (addestramento su tutti i dati in un unico stadio) su molteplici backbone:

• LLaVA-v1.5: L'FBA raggiunge un punteggio HarborEval di 70.29, superando significativamente il Direct-SFT (57.95).
• Qwen3-VL: L'FBA raggiunge 83.37, superando il Direct-SFT (81.09).
• Confronto con lo Stato dell'Arte: I modelli addestrati con FBA superano gli esistenti RS-MLLM (es. GeoChat, SkyEyeGPT, LHRS-Bot-Nova) su HarborEval, VRSBench, RSVQA e OpenEval, nonostante utilizzino meno campioni curati (~810K) rispetto ad alcuni modelli di confronto.
• Studi di Ablazione: L'analisi per stadi conferma che ogni stadio contribuisce con capacità distinte: lo S1 stabilisce la fondazione RS, lo S2 migliora significamente la comprensione multi-fonte e lo S3 massimizza la performance finale dello scenario. I controlli di sostitazione di ruolo verificano che i livelli di supervisione specifici (RS-Anchor, Bridge-Conv, Scenario-EG) sono critici per i rispettivi ruoli.

Significato e Rivendicazioni
Il documento sostiene che la specializzazione dello scenario per gli RS-MLLM debba essere vista non semplicemente come un problema di raccolta dati, ma come un processo di colmamento dei gap di capacità. Il significato dell'FBA risiede in:

1. Cambio di Paradigma: Passaggio da un SFT "solo sul target" a un percorso di post-training ordinato e guidato dalle capacità che assegna la scarsa supervisione a ruoli separabili (ancoraggio, ponte, tuning).
2. Efficienza dei Dati: Dimostrare che dati accuratamente curati e a stadi possono superare dataset più grandi e non strutturati o l'addestramento a stadio singolo, affrontando la scarsità di annotazioni RS di alta qualità.
3. Robustezza: L'approccio a stadi gestisce efficacemente i cambiamenti di modalità (da RGB a SAR/PAN/NIR) e migliora la capacità del modello di rigettare affermazioni non supportate (controllo delle allucinazioni) e gestire l'incertezza, aspetti critici per le applicazioni operative di RS.

Gli autori concludono che l'FBA fornisce una via pratica ed efficace per sviluppare RS-MLLM specializzati per scenario sotto una supervisione limitata, con il dominio portuale che funge da caso rappresentativo per applicazioni più ampie di osservazione terrestre.