GeoSAM-Lite: A Lightweight Foundation Model for Onboard Remote Sensing Segmentation

Technische Samenvatting van GeoSAM-Lite: Een Lichtgewicht Foundation Model voor Onboard Remote Sensing Segmentatie

Probleemstelling
De implementatie van grootschalige foundation models, zoals het Segment Anything Model (SAM), op hulpbronnenbeperkte aardobservatieplatforms (bijv. satellieten en UAV's) wordt momenteel gehinderd door twee primaire uitdagingen. Ten eerste is de computationele kosten van zware beeldencoders (bijv. ViT-H met meer dan 600 miljoen parameters) prohibitief voor onboard verwerking. Ten tweede lijden bestaande lichtgewicht aanpassingen van SAM aan een significante "domeinverschuiving" omdat ze kennis distilleren van docenten die getraind zijn op natuurlijke afbeeldingen, waarbij essentiële geospatiale priors ontbreken. Bovendien induceert agressieve parameterreductie in generieke lichtgewicht modellen vaak een "laagdoorlaatfiltering"-effect, wat leidt tot de attenuatie van hoogfrequente details en vervaagde grenzen—een kritieke foutmodus voor fijnmazige remote sensing-taken zoals wolkdetectie, die extreme schaalvariaties en complexe randen met zich meebrengen.

Methodologie
De auteurs stellen GeoSAM-Lite voor, een prompt-vrij, lichtgewicht segmentatieframework dat ontworpen is om segmentatiegetrouwheid te verzoenen met onboard efficiëntie. De architectuur maakt gebruik van een gedecoupleerd tweestaps-paradigma:

1. Fase I: Geospatiale Domein-initialisatie (Geo-Init):
   In plaats van te distilleren van een algemeen visiemodel, maakt GeoSAM-Lite gebruik van een Domain-Expert Teacher (RSAM-Seg met een ViT-L backbone) die vooraf is getraind op grootschalige remote sensing-datasets. Het studentmodel (een lichtgewicht ViT-S) ondergaat een pre-training strategie die bestaat uit:

   • Masked Image Modeling (MIM): De student leert de holistische context te reconstrueren van gemaskeerde beeldpatches (75% masking ratio), wat dwingt tot feature abstractie voor geospatiale scènes.
   • Teacher-Guided Knowledge Distillation: De student brengt zijn gedeeltelijke weergaven in lijn met de volledige weergave-featureruimte van de bevroren expert-teacher, waardoor de transfer van domeinspecifieke geospatiale semantiek wordt gewaarborgd.

2. Fase II: Taakspecifieke Fine-Tuning met Feature Fusion Layers (FFL):
   Om de capaciteitsbeperkingen van de lichtgewicht backbone te compenseren, wordt de gepre-trainde encoder uitgebreid met twee gespecialiseerde modules voordat deze wordt gefinetuned op specifieke downstream-taken met een lichtgewicht convolutionele decoder:

   • FFL-S (Ruimtelijke Recalibratie): Ingebed binnen de ViT-blocks, gebruikt dit module een residuele bottleneck-structuur om features dynamisch te herkalibreren op basis van globale significantie, wat helpt bij doelobjecten met brede ruimtelijke schalen.
   • FFL-F (High-Frequency Injectie): Deze module adresseert expliciet het "laagdoorlaatfiltering"-effect. Het converteert input-features naar het frequentiedomein via Fast Fourier Transform (FFT), past een hoogdoorlaatfilter toe om hoogfrequente componenten (HFC) te isoleren die rijk zijn aan randinformatie, en reconstrueert deze vervolgens via Inverse FFT. Deze cues worden teruggeïnjecteerd in de encoder om scherpe segmentatieranden te herstellen.

Belangrijkste Bijdragen

1. GeoSAM-Lite Framework: Een prompt-vrij lichtgewicht framework dat de parameters met 92,8% vermindert vergeleken met het zware docentmodel (RSAM-Seg), terwijl het concurrerende segmentatienauwkeurigheid behoudt.
2. Geo-Init Strategie: Een domeinbewuste pre-training benadering die remote sensing-specifieke kennis distilleert van een expert-teacher via gemaskeerde feature-alignering, waardoor de domeingap tussen natuurlijke en geospatiale beelden effectief wordt overbrugd.
3. Feature Fusion Layers (FFL): Een dual-module ontwerp dat ruimtelijke recalibratie (FFL-S) en reconstructie in het frequentiedomein (FFL-F) integreert om expliciet de spectrale bias en de vervaging van randen te compenseren die inherent zijn aan compacte netwerken.

Experimentele Resultaten
Het framework werd geëvalueerd op representatieve remote sensing-datasets, met een primaire focus op wolkdetectie (38-Cloud, CloudSEN12, SPARCS) om prestaties onder extreme schaalvariaties en complexe randen te testen, en een secundaire evaluatie op landbouwsegmentatie (Sentinel-2) om generalisatie te beoordelen.

• Prestaties: Op de CloudSEN12-dataset verbeterde GeoSAM-Lite de Jaccard-index met ongeveer 15% ten opzichte van andere lichtgewicht baselines (EfficientSAM, MobileSAM). Hoewel het een lichte prestatiedaling vertoonde vergeleken met de zware RSAM-Seg, behield het een hoge Recall en Precision, wat de praktische bruikbaarheid valideert.
• Efficiëntie: Vergeleken met RSAM-Seg (ViT-L) bereikte GeoSAM-Lite (ViT-S) een reductie van 92,8% in parameters en een reductie van 92,5% in FLOPs. Het verbruik van hardwarebronnen werd aanzienlijk verlaagd, met een reductie van 58,3% in GPU-geheugengebruik en een reductie van 50% in systeem RAM-vereisten.
• Ablatie-studies: Het verwijderen van de Geo-Init pre-training veroorzaakte een significante daling in prestaties over de belangrijkste metrieken, wat de noodzaak van domeinspecifieke initialisatie bevestigt. Evenzo leidde het verwijderen van FFL-F tot een degradatie in de getrouwheid van de randen, wat de cruciale rol ervan bij het behouden van hoogfrequente details benadrukt.
• Generalisatie: Het model demonstreerde een robuuste generalisatie naar landbouwscenario's zonder architecturale wijzigingen, waarbij het de grenzen van landbouwpercelen effectief afbakende.

Significantie
Het artikel claimt dat GeoSAM-Lite een superieur Pareto-front vestigt tussen efficiëntie en getrouwheid, en een praktische oplossing biedt voor real-time segmentatie op edge-apparaten. Door de representatie-lering te ontkoppelen in domeinbewuste initialisatie en frequentie-ruimtelijke adaptatie, slaagt het model erin om geospatiale semantiek over te nemen terwijl verloren gegane hoogfrequente details worden hersteld. Deze benadering pakt de dubbele uitdagingen van domeinverschuiving en feature-degradatie aan, waardoor de implementatie van foundation model-capaciteiten in hulpbronnenbeperkte onboard remote sensing-omgevingen mogelijk wordt waar eerdere lichtgewicht aanpassingen faalden om kritieke randdetails te behouden.