Technische Samenvatting: Effectiviteit van Adaptatiestrategieën voor VLM-gebaseerd Federated Learning in Remote Sensing

1. Probleemstelling

Remote sensing (RS) genereert enorme hoeveelheden beeldgegevens die verspreid zijn over gedecentraliseerde archieven. Echter, juridische regelgeving, privacyzorgen en bandbreedtebeperkingen verhinderen vaak de centralisatie van deze gegevens, waardoor conventionele deep learning-benaderingen onpraktisch zijn. Federated Learning (FL) biedt een gedecentraliseerd alternatief waarbij cliënten modellen lokaal trainen en alleen parameters delen. Een kritieke uitdaging in FL voor RS is data-heterogeniteit (non-IID): geografische, seizoensgebonden en sensorgestuurde variaties veroorzaken significante distributieverschuivingen en label-imbalansen over cliënten heen. Dit leidt vaak tot cliënt-specifieke optima, wat de convergentie vertraagt en de generalisatie van het geaggregeerde globale model verslechtert.

Hoewel Vision-Language Models (VLM's), zoals CLIP, robuustheid vertonen tegen distributieverschuivingen dankzij hun overdraagbare representaties geleerd van grootschalige beeld-tekst data, wordt hun toepassing in FL gehinderd door hun enorme parametergrootte. Volledige adaptatie van deze modellen brengt prohibitieve communicatieoverhead en lokale computationele complexiteit met zich mee. Bijgevolg is er een gebrek aan begeleiding over welke VLM-adaptatiestrategie het beste de generalisatiecapaciteit, communicatie-efficiëntie en computationele kosten balanceert in de specifieke context van RS beeldclassificatie.

2. Methodologie

Het artikel presenteert de eerste uitgebreide vergelijkende studie van VLM-adaptatiestrategieën binnen een FL-framework voor RS. De studie evalueert vier verschillende strategieën op de BigEarthNet-S2 dataset (federated training) en beoordeelt de generalisatie op EuroSAT, RESISC45 en ImageNet.

Onderzochte Adaptatiestrategieën

1. Full Fine-Tuning (FFT): Update alle parameters van de beeld- en tekstencoder ($\theta_{train} = \theta$). Biedt maximale representationele flexibiliteit maar brengt de hoogste communicatie- en computationele kosten met zich mee.
2. Encoder-Specifieke Fine-Tuning: Beperkt updates tot ofwel de beeldencoder ($\theta_{train} = \{\theta_v\}$) of de tekstencoder ($\theta_{train} = \{\theta_t\}$), waarbij de andere bevroren blijft. Dit vermindert de communicatiekosten vergeleken met FFT, maar beperkt cross-modale adaptatie.
3. Prompt Learning (CoOp): Optimaliseert alleen een kleine set leerbare contextvectoren (soft prompts) die voorafgaan aan klassenamen, terwijl de encoders bevroren blijven. Dit minimaliseert de communicatieoverhead en de computationele last, maar beperkt de adaptatiecapaciteit tot het prompt-niveau.
4. Low-Rank Adaptation (LoRA): Bevriest de vooraf getrainde gewichten en voegt leerbare low-rank matrices toe aan de transformer projectielagen. Dit maakt adaptatie mogelijk naar een low-rank subspace, waarbij de vooraf getrainde representaties behouden blijven terwijl het aantal leerbare parameters aanzienlijk wordt verminderd vergeleken met FFT.

Experimenteel Ontwerp

• Federated Setup: Cliënten zijn gepartitioneerd op basis van land (bijv. Oostenrijk, België, Finland) om non-IID datadistributies te simuleren.
• Baselines: Bevat een ResNet-50 die vanaf nul is getraind en een Zero-shot CLIP baseline.
• Metrieken: Prestaties worden gemeten via micro/macro-mAP (in-distribution) en top-1/top-5 nauwkeurigheid/recall (out-of-distribution). Complexiteit wordt gekwantificeerd via FLOPs/MACs en het aantal verzonden parameters.
• Mitigatie van Catastrofale Vergetelheid: De studie onderzoekt PAINT, een methode die gebruikmaakt van lineaire interpolatie tussen vooraf getrainde en fine-tuned gewichten, om de afweging tussen taakspecialisatie en het behoud van zero-shot generalisatie te analyseren.

3. Belangrijkste Resultaten

In-Distribution Prestaties (BigEarthNet-S2)

Alle adaptatiestrategieën presteren significant beter dan de Zero-shot CLIP baseline en de ResNet-50 die vanaf nul is getraind.

• LoRA en FFT bereiken de hoogste prestaties, waarbij LoRA de micro-mAP met meer dan 52% verbetert ten opzichte van Zero-shot CLIP.
• Encoder-specifieke strategieën laten matige winst zien, terwijl CoOp de kleinste verbetering biedt, wat suggereert dat het beperken van updates tot prompts de capaciteit van het model beperkt om aan te sluiten bij de substantiële domeinverschuiving van RS-data.

Out-of-Distribution Prestaties & Catastrofale Vergetelheid

Een kritieke afweging wordt waargenomen tussen taakspecialisatie en cross-domein generalisatie:

• Ernstige Vergetelheid: FFT vertoont de meest catastrofale vergetelheid, met een daling van 75,6% top-1 nauwkeurigheid (Zero-shot) naar 7,8% op ImageNet. Dit geeft aan dat onbeperkte adaptatie aan RS-data de vooraf getrainde representaties vernietigt.
• Behoud: LoRA behoudt de meeste vooraf getrainde kennis, waarbij een top-1 nauwkeurigheid van 75,1% op ImageNet wordt behouden (een daling van <1%), terwijl het nog steeds sterke prestaties levert op RS-datasets.
• Encoder Specifics: Tekstencoder fine-tuning bewaart visuele kenmerken beter dan beeldencoder fine-tuning, wat resulteert in betere out-of-distribution prestaties op datasets zoals EuroSAT en RESISC45 vergeleken met beeld-alleen tuning.
• PAINT Analyse: Het interpoleren van gewichten (PAINT) laat zien dat het maximaliseren van prestaties op de RS-taak inherent de ImageNet-prestaties verslechtert. Echter, tussenliggende checkpoints en specifieke interpolatiecoëfficiënten kunnen een gebalanceerd compromis bieden.

Complexiteit en Communicatie

• Communicatiekosten: CoOp is het meest efficiënt en verzendt slechts ~46,85K parameters. LoRA volgt met ~1,08M parameters, wat twee ordes van grootte lager is dan FFT (427,62M).
• Computationele Complexiteit:
  • Zonder Caching: FFT en encoder-specifieke tuning hebben vergelijkbare hoge FLOPs. CoOp is iets efficiënter vanwege minder operaties in de constructie van tekstkenmerken.
  • Met Caching: Encoder-specifieke tuning profiteert aanzienlijk van caching van bevroren kenmerken (bijv. tekstkenmerken bij beeld-encoder tuning), wat de FLOPs met ~387B vermindert vergeleken met FFT. LoRA profiteert niet zo effectief van caching omdat geïnjecteerde modules de feature flow veranderen, wat resulteert in een iets hogere complexiteit dan FFT.

4. Betekenis en Richtlijnen

Het artikel stelt vast dat hoewel VLM's krachtig zijn voor FL in RS, de keuze van de adaptatiestrategie de haalbaarheid en prestaties van het systeem bepaalt. De auteurs formuleren de volgende richtlijnen op basis van operationele beperkingen:

1. Tekstencoder Fine-Tuning: Aanbevolen wanneer het primaire doel het overdragen van kennis naar gerelateerde RS-datasets is. Het biedt de beste cross-dataset generalisatie onder de fine-tuned modellen met gematigde communicatiekosten.
2. Prompt Learning (CoOp): Alleen aanbevolen wanneer de communicatiebandbreedte de dominante beperking is. Het minimaliseert de overhead maar offert taaknauwkeurigheid en generalisatie op.
3. LoRA: Aanbevolen als de optimale afweging voor scenario's die zowel hoge prestaties als communicatie-efficiëntie vereisen. Het bereikt concurrerende in-distribution resultaten terwijl het de communicatieoverhead met twee ordes van grootte vermindert vergeleken met FFT en catastrofale vergetelheid mitigeert.
4. FFT + PAINT: Aanbevolen wanneer een zero-shot model wordt uitgebreid naar een nieuwe taak terwijl de prestaties op eerder geleerde taken strikt behouden blijven, ondanks de hoge communicatiekosten.

5. Conclusie

De studie concludeert dat parameterefficiënte adaptatiestrategieën, in het bijzonder LoRA, goed geschikt zijn voor federated VLM-training in remote sensing. Ze mitigeren effectief de communicatiekosten en catastrofale vergetelheid, terwijl ze competitieve prestaties behouden. Daarentegen leidt onbeperkte Full Fine-Tuning, hoewel effectief voor in-distribution taken, tot een aanzienlijk verlies aan generalisatievermogen, wat de toepasbaarheid beperkt in omgevingen waar cross-domein robuustheid vereist is. Toekomstig werk beoogt deze analyse uit te breiden naar domeinspecifieke foundation models en multispectrale sensormodaliteiten.