GeoSAM-Lite: A Lightweight Foundation Model for Onboard Remote Sensing Segmentation

Sintesi Tecnica di GeoSAM-Lite: Un Modello Foundation Leggero per la Segmentazione Remota Onboard

Problematica
L'implementazione di modelli foundation su larga scala, come il Segment Anything Model (SAM), su piattaforme di osservazione della Terra con risorse limitate (ad esempio, satelliti e UAV), è attualmente ostacolata da due sfide primarie. In primo luogo, il costo computazionale degli encoder d'immagine pesanti (ad esempio, ViT-H con oltre 600 milioni di parametri) è proibitivo per l'elaborazione onboard. In secondo luogo, le attuali adattamenti leggeri di SAM soffrono di un significativo "domain shift" perché distillano la conoscenza da teacher addestrati su immagini naturali, mancando dei necessari priori geospaziali. Inoltre, una riduzione aggressiva dei parametri in modelli leggeri generici spesso induce un effetto di "filtraggio passa-basso", che porta all'attenuazione dei dettagli ad alta frequenza e alla sfocatura dei bordi — un modo di guasto critico per compiti di telerilevamento a grana fine come il rilevamento delle nuvole, che comportano variazioni di scala estreme e bordi complessi.

Metodologia
Gli autori propongono GeoSAM-Lite, un framework di segmentazione leggero e privo di prompt, progettato per conciliare la fedeltità della segmentazione con l'efficienza onboard. L'architettura impiega un paradigma a due stadi disaccoppiati:

1. Stadio I: Inizializzazione del Dominio Geospaziale (Geo-Init):
   Invece di distillare la conoscenza da un modello di visione generico, GeoSAM-Lite utilizza un Domain-Expert Teacher (RSAM-Seg con un backbone ViT-L) pre-addestrato su dataset di telerilevamento su larga scala. Lo studente (un ViT-S leggero) subisce una strategia di pre-addestramento che prevede:

   • Masked Image Modeling (MIM): Lo studente impara a ricostruire il contesto olistico da patch di immagini mascherate (rapporto di masking del 75%), forzando l'astrazione delle caratteristiche per le scene geospaziali.
   • Distillazione della Conoscenza Guidata dal Teacher: Lo studente allinea le sue rappresentazioni a vista parziale con lo spazio delle caratteristiche a vista completa del teacher esperto (frozen), garantendo il trasferimento di semantica geospaziale specifica del dominio.

2. Stadio II: Fine-Tuning Specifico per il Task con Feature Fusion Layers (FFL):
   Per compensare i colli di bottiglia della capacità dell'encoder pre-addestrato, questo viene aumentato con due moduli specializzati prima di essere sottoposto a fine-tuning su specifici task downstream con un decoder convoluzionale leggero:

   • FFL-S (Ricalibrazione Spaziale): Incorporato all'interno dei blocchi ViT, questo modulo utilizza una struttura a bottleneck residuo per ricalibrare dinamicamente le caratteristiche in base alla significatività globale, gestendo target con ampie scale spaziali.
   • FFL-F (Iniezione di Alta Frequenza): Questo modulo affronta esplicitamente l'effetto di "filtraggio passa-basso". Esso converte le caratteristiche di input nel dominio della frequenza tramite la Trasformata di Fourier Veloce (FFT), applica un filtro passa-alto per isolare le componenti ad alta frequenza (HFC) ricche di informazioni sui bordi, e le ricostruisce tramite la Trasformata di Fourier Inversa (IFFT). Questi indizi vengono iniettati nuovamente nell'encoder per ripristinare bordi di segmentazione nitidi.

Contributi Chiave

1. Framework GeoSAM-Lite: Un framework leggero e privo di prompt che riduce i parametri del 92,8% rispetto al modello teacher pesante (RSAM-Seg) mantenendo un'accuratezza di segmentazione competitiva.
2. Strategia Geo-Init: Un approccio di pre-addestramento consapevole del dominio che distilla la conoscenza specifica del telerilevamento da un teacher esperto tramite l'allineamento delle caratteristiche mascherate, colmando efficacementamente il divario di dominio tra immagini naturali e geospaziali.
3. Feature Fusion Layers (FFL): Un design a doppio modulo che integra la ricalibrazione spaziale (FFL-S) e la ricostruzione nel dominio della frequenza (FFL-F) per compensare esplicitamente il bias spettrale e la sfocatura dei bordi inerenti alle reti compatte.

Risultati Sperimentali
Il framework è stato valutato su dataset rappresentativi di telerilevamento, con un focus primario sul rilevamento delle nuvole (38-Cloud, CloudSEN12, SPARCS) per testare le prestazioni sotto estreme variazioni di scala e bordi complessi, e una valutazione secondaria sulla segmentazione dei terreni agricoli (Sentinel-2) per valutarne la generalizzazione.

• Performance: Sul dataset CloudSEN12, GeoSAM-Lite ha migliorato l'indice di Jaccard di circa il 15% rispetto ad altri baseline leggeri (EfficientSAM, MobileSAM). Sebbene abbia mostrato un leggero calo delle prestazioni rispetto al pesante RSAM-Seg, ha mantenuto un'alta Recall e Precision, validandone la praticità.
• Efficienza: Rispetto a RSAM-Seg (ViT-L), GeoSAM-Lite (ViT-S) ha ottenuto una riduzione dei parametri del 92,8% e una riduzione dei FLOPs del 92,5%. Il consumo di risorse hardware è stato significativamente abbassato, con una riduzione del 58,3% nell'uso della memoria GPU e una riduzione del 50% nei requisiti della RAM di sistema.
• Studi di Ablazione: La rimozione del pre-addestramento Geo-Init ha causato un calo significativo delle prestazioni in metriche chiave, confermando la necessità di un'inizializzazione specifica del dominio. Allo stesso modo, la rimozione di FFL-F ha portato a una degradazione della fedeltà dei bordi, evidenziando il suo ruolo critico nel preservare i dettagli ad alta frequenza.
• Generalizzazione: Il modello ha dimostrato una robusta generalizzazione verso scenari agricoli senza modifiche architettoniche, delineando efficacemente i confini dei lotti agricoli.

Significatività
Il paper sostiene che GeoSAM-Lite stabilisce una frontiera di Pareto superiore tra efficienza e fedeltà, offrendo una soluzione pratica per la segmentazione in tempo reale su dispositivi edge. Decoupling (disaccoppiando) l'apprendimento della rappresentazione in inizializzazione consapevole del dominio e adattamento spazio-frequenziale, il modello riesce a ereditare la semantica geospaziale pur recuperando i dettagli ad alta frequenza persi. Questo approccio affronta le doppie sfide del domain shift e della degradazione delle caratteristiche, consentendo il dispiegamento delle capacità dei modelli foundation in ambienti di telerilevamento onboard con risorse limitate, dove i precedenti adattamenti leggeri non sono riusciti a preservare i dettagli critici dei bordi.