Sintesi Tecnica: Efficacia delle Strategie di Adattamento per il Federated Learning basato su VLM nel Remote Sensing

1. Definizione del Problema

Il telerilevamento (Remote Sensing, RS) genera enormi quantità di dati d'immagine distribuiti in archivi decentralizzati. Tuttavia, le normative legali, le preoccupazioni per la privacy e i vincoli di banda spesso impediscono la centralizzazione di questi dati, rendendo impraticabili gli approcci convenzionali di deep learning. Il Federated Learning (FL) offre un'alternativa decentralizzata in cui i client addestrano modelli localmente e condividono solo i parametri. Una sfida critica nell'FL per il RS è l'eterogeneità dei dati (non-IID): variazioni geografiche, stagionali e dipendenti dai sensori causano significativi spostamenti di distribuzione e squilibri nelle etichette tra i client. Ciò spesso porta a ottimi specifici per ogni client, rallentando la convergenza e degradando la generalizzazione del modello globale aggregato.

Sebbene i modelli Vision-Language (VLM), come CLIP, dimostrino robustezza agli spostamenti di distribuzione grazie alle loro rappresentazioni trasferibili apprese da dati immagine-testo su larga scala, la loro applicazione nell'FL è ostacolata dalle loro dimensioni massicce di parametri. L'adattamento completo di questi modelli comporta un overhead di comunicazione proibitivo e una complessità computazionale locale elevata. Di conseguenza, manca una guida su quale strategia di adattamento VLM equilibri meglio la capacità di generalizzazione, l'efficienza della comunicazione e il costo computazionale nel contesto specifico della classificazione di immagini RS.

2. Metodologia

Il documento presenta il primo studio comparativo completo delle strategie di adattamento VLM all'interno di un framework FL per il RS. Lo studio valuta quattro diverse strategie sul dataset BigEarthNet-S2 (addestramento federato) e valuta la generalizzazione su EuroSAT, RESISC45 e ImageNet.

Strategie di Adattamento Investigate

1. Full Fine-Tuning (FFT): Aggiorna tutti i parametri degli encoder immagine e testo ($\theta_{train} = \theta$). Offre la massima flessibilità rappresentativa ma comporta i costi di comunicazione e computazionali più elevati.
2. Fine-Tuning Specifico dell'Encoder: Restringe gli aggiornamenti a un encoder specifico, ovvero l'encoder di immagine ($\theta_{train} = \{\theta_v\}$) o l'encoder di testo ($\theta_{train} = \{\theta_t\}$), congelando l'altro. Questo riduce i costi di comunicazione rispetto a FFT ma limita l'adattamento cross-modale.
3. Prompt Learning (CoOp): Ottimizza solo un piccolo insieme di vettori di contesto apprendibili (soft prompt) preposti ai nomi delle classi, mantenendo congelati gli encoder. Minimizza l'overhead di comunicazione e il carico computazionale, ma restringe la capacità di adattamento al livello del prompt.
4. Low-Rank Adaptation (LoRA): Congela i pesi pre-addestrati e inserisce matrici a basso rango addestrabili nei livelli di proiezione dei transformer. Ciò consente l'adattamento a uno spazio sottospazio a basso rango, preservando le rappresentazioni pre-addestrate pur riducendo significativamente il numero di parametri addestrabili rispetto a FFT.

Design Sperimentale

• Configurazione Federata: I client sono partizionati per paese (es. Austria, Belgio, Finlandia) per simulare distribuzioni di dati non-IID.
• Baseline: Include una ResNet-50 addestrata da zero e una baseline Zero-shot CLIP.
• Metriche: Le prestazioni sono misurate tramite micro/macro-mAP (in-distribution) e top-1/top-5 accuracy/recall (out-of-distribution). La complessità è quantificata tramite FLOPs/MACs e il numero di parametri trasmessi.
• Mitigazione del Catastrophic Forgetting: Lo studio indaga PAINT, un metodo che utilizza l'interpolazione lineare tra i pesi pre-addestrati e quelli fine-tuned, per analizzare il compromesso tra specializzazione del task e preservazione della generalizzazione zero-shot.

3. Risultati Chiave

Prestazioni In-Distribution (BigEarthNet-S2)

Tutte le strategie di adattamento superano significativamente la baseline Zero-shot CLIP e la ResNet-50 addestrata da zero.

• LoRA e FFT raggiungono le prestazioni più elevate, con LoRA che migliora la micro-mAP di oltre il 52% rispetto a Zero-shot CLIP.
• Le strategie specifiche dell'encoder mostrano guadagni moderati, mentre CoOp fornisce il miglioramento minore, suggerendo che limitare gli aggiornamenti ai soli prompt vincola la capacità del modello di allinearsi al sostanziale shift di dominio dei dati RS.

Prestazioni Out-of-Distribution e Catastrophic Forgetting

Si osserva un compromesso critico tra specializzazione del task e generalizzazione cross-dominio:

• Dimenticanza Severa: FFT mostra la dimenticanza più catastrofica, scendendo dal 75,6% di top-1 accuracy (Zero-shot) al 7,8% su ImageNet. Ciò indica che l'adattamento non limitato ai dati RS distrugge le rappresentazioni pre-addestrate.
• Preservazione: LoRA preserva la maggior parte della conoscenza pre-addestrata, mantenendo il 75,1% di top-1 accuracy su ImageNet (un calo <1%), pur ottenendo prestazioni elevate sui dataset RS.
• Specifiche dell'Encoder: Il fine-tuning dell'encoder di testo preserva meglio le caratteristiche visive rispetto al fine-tuning dell'encoder di immagine, risultando in migliori prestazioni out-of-distribution su dataset come EuroSAT e RESISC45 rispetto al tuning dell'immagine.
• Analisi PAINT: L'interpolazione dei pesi (PAINT) rivela che massimizzare le prestazioni sul task RS degrada intrinsecamente le prestazioni su ImageNet. Tuttavia, checkpoint intermedi e coefficienti di interpolazione specifici possono offrire un compromesso bilanciato.

Complessità e Comunicazione

• Costo di Comunicazione: CoOp è il più efficiente, trasmettendo solo ~46,85K parametri. LoRA segue con ~1,08M di parametri, che è di due ordini di grandezza inferiore rispetto a FFT (427,62M).
• Complessità Computazionale:
  • Senza Caching: FFT e il tuning specifico dell'encoder hanno FLOPs elevati simili. CoOp è leggermente più efficiente a causa di un minor numero di operazioni nella costruzione delle feature del testo.
  • Con Caching: Il tuning specifico dell'encoder beneficia significativamente del caching delle feature congelate (es. feature del testo nel tuning dell'encoder di immagine), riducendo i FLOPs di circa ~387B rispetto a FFT. LoRA non beneficia del caching in modo altrettanto efficace perché i moduli iniettati alterano il flusso delle feature, risultando in una complessità leggermente superiore rispetto a FFT.

4. Significato e Linee Guida

Il documento stabilisce che, sebbene i VLM siano potenti per l'FL nel RS, la scelta della strategia di adattamento determina la fattibilità e le prestazioni del sistema. Gli autori derivano le seguenti linee guida basate sui vincoli operativi:

1. Fine-Tuning dell'Encoder di Testo: Raccomandato quando l'obiettivo primario è il trasferimento della conoscenza a dataset RS correlati. Offre la migliore generalizzazione cross-dataset tra i modelli fine-tuned con costi di comunicazione moderati.
2. Prompt Learning (CoOp): Raccomandato solo quando la larghezza di banda della comunicazione è il vincolo dominante. Minimizza l'overhead ma sacrifica l'accuratezza del task e la generalizzazione.
3. LoRA: Raccomandato come il compromesso ottimale per scenari che richiedono sia alte prestazioni che efficienza di comunicazione. Ottiene risultati competitivi in-distribution riducendo l'overhead di comunicazione di due ordini di grandezza rispetto a FFT e mitigando il catastrophic forgetting.
4. FFT + PAINT: Raccomandato quando si estende un modello zero-shot a un nuovo task preservando rigorosamente le prestazioni sui task precedentemente appresi, nonostante l'alto costo di comunicazione.

5. Conclusione

Lo studio conclude che le strategie di adattamento parametrico efficiente, in particolare LoRA, sono ben adatte all'addestramento federato di VLM nel telerilevamento. Esse mitigano efficacemente i costi di comunicazione e il catastrophic forgetting mantenendo prestazioni competitive. Al contrario, l'unrestricted Full Fine-Tuning, pur essendo efficace per i task in-distribution, porta a una significativa perdita di capacità di generalizzazione, limitandone l'applicabilità in contesti in cui è richiesta la robustezza cross-dominio. Il lavoro futuro mira ad estendere questa analisi ai modelli foundation specifici per il dominio e alle modalità dei sensori multispettrali.