Riepilogo Tecnico: Addestramento Disaccoppiato con Sintonizzazione Fine Locale per Rinforzo nell'Apprendimento Federato (FedDTL)

Enunciato del Problema

L'Apprendimento Federato (FL) combinato con Modelli Vision-Language (VLM) pre-addestrati, come CLIP, offre un paradigma promettente per l'adattamento a compiti downstream preservando la privacy dei dati. Tuttavia, gli approcci esistenti che si basano su un'ottimizzazione completamente locale con una semplice aggregazione dei parametri affrontano due sfide critiche, in particolare sotto distribuzioni di dati eterogenee e in regimi di dati completi:

1. Incoerenza nell'Ottimizzazione tra Client: In impostazioni Non-IID (ad esempio, skew delle etichette e spostamento delle caratteristiche), i client ottimizzano obiettivi locali non allineati. Ciò porta a gradienti locali disallineati e a una "deriva del client" (client drift), dove i client convergono verso diversi sistemi di coordinate delle rappresentazioni. Di conseguenza, una semplice media dei parametri non riesce a produrre un aggiornamento semantico globale coerente, degradando l'adattamento al compito globale.
2. Iper-specializzazione intra-client: In regimi di dati completi con traiettorie di addestramento locale lunghe, i moduli leggeri per la sintonizzazione fine efficiente dei parametri (PEFT) tendono a diventare eccessivamente specializzati sulle frequenze delle etichette distorte e sulle statistiche delle caratteristiche di uno specifico client. Sebbene ciò migliori l'adattamento locale, compromette gravemente la generalizzazione verso classi non viste o domini spostati.

I metodi attuali affrontano spesso questi problemi tramite regolarizzazione o vincoli di allineamento, ma rimangono insufficienti perché si basano su un'ottimizzazione esclusivamente locale. Inoltre, molte valutazioni sono limitate a impostazioni few-shot, sottostimando potenzialmente gli effetti negativi cumulati in scenari realistici di dati completi.

Metodologia: FedDTL

Gli autori propongono FedDTL, un nuovo framework che integra uno schema di addestramento disaccoppiato degli encoder con una strategia di sintonizzazione fine locale in due fasi per bilanciare l'adattamento al compito globale e la generalizzazione.

1. Addestramento Disaccoppiato degli Encoder

Ispirato dal disaccoppiamento delle modalità in CLIP, FedDTL separa l'addestramento degli encoder di immagine e testo attraverso l'architettura client-server:

• Encoder di Immagine Locale: L'encoder di immagine ($V$) elabora immagini private grezze ed è addestrato localmente su ogni client per preservare la privacy dei dati.
• Encoder di Testo Globale: L'encoder di testo ($T$), che opera su descrizioni testuali a livello di categoria (ad esempio, "una foto di una [classe]"), è ottimizzato centralmente sul server.
• Meccanismo: I client allineano le loro rappresentazioni visive locali con gli embedding testuali globalmente coerenti del server. Questo allineamento di modalità server-client agisce come un vincolo semantico, riducendo l'incoerenza nell'ottimizzazione tra client senza richiedere ai client di mantenere encoder di testo locali.
• Efficienza: Entrambi gli encoder utilizzano la sintonizzazione LoRA (Low-Rank Adaptation) su backbones congelati per minimizzare il sovraccarico computazionale e i costi di comunicazione.

2. Sintonizzazione Fine Locale in Due Fasi

Per mitigare l'iper-specializzazione intra-client, FedDTL impiega un processo di addestramento locale sequenziale:

• Fase 1: Adattamento al Compito basato su SFT (Warm-start): I client eseguono la Sintonizzazione Fine Supervisionata (SFT) sui loro encoder di immagine locali utilizzando la perdita di entropia incrociata. Questa fase fornisce un warm-start di ottimizzazione rapido e affidabile, adattando rapidamente il modello alla distribuzione locale del compito.
• Fase 2: Potenziamento della Generalizzazione basato su RL: Dopo la SFT, i client passano a una fase di Apprendimento per Rinforzo (RL) ispirata all'Ottimizzazione della Politica Relativa di Gruppo (GRPO).
  • Iniezione di Stocasticità: Poiché gli encoder di immagine producono embedding deterministici, gli autori iniettano rumore Gaussiano non distorto nello spazio degli embedding latenti per indurre stocasticità nel campionamento delle azioni.
  • Ricompensa e Politica: Il modello della politica viene aggiornato in base a una ricompansa basata sull'accuratezza (classificazione corretta = 1, altrimenti 0). L'obiettivo minimizza una perdita di gradiente della politica con clipping $\epsilon$ e un termine di regolarizzazione della divergenza KL rispetto a un modello di riferimento ibrido (che combina il modello SFT finale e l'ultima politica globale).
  • Obiettivo: Questa fase rifinisce la traiettoria di aggiornamento locale per prevenire l'eccessiva memorizzazione dei dati locali, migliorando così la generalizzazione verso classi e domini non visti.

3. Coordinazione Globale

Dopo la sintonizzazione fine locale, i client caricano sul server i parametri LoRA aggiornati e gli embedding di immagine normalizzati (specificamente i token di classe). Il server aggrega i parametri visivi LoRA tramite media ponderata e aggiorna l'encoder di testo globale utilizzando gli embedding raccolti, completando il round di FL.

Contributi Chiave

1. Schema di Addestramento Disaccoppiato: Un'architettura innovativa in cui l'encoder di immagine è ottimizzato localmente per la privacy, mentre un encoder di testo centralizzato fornisce un ancoraggio semantico globale. Questo design riduce l'incoerenza tra i client e migliora l'adattamento al compito globale attraverso diverse distribuzioni di dati FL.
2. Sintonizzazione Fine Locale in Due Fasi: Una strategia che combina la SFT per un adattamento rapido e una fase RL ispirata alla GRPO per sopprimere l'iper-specializzazione intra-client. Questo approccio stabilizza l'addestramento locale e potenzia la generalizzazione in impostazioni eterogenee e di dati completi.
3. Valutazione Completa: Esperimenti estesi su nove benchmark sia in regimi few-shot che di dati completi, coprendo skew delle etichette e spostamento delle caratteristiche. I risultati dimostrano che FedDTL bilancia efficacemente l'adattamento al compito globale e la generalizzazione, superando i precedenti baseline federati di VLM.

Risultati Sperimentali

Il documento valuta FedDTL su dataset tra cui CIFAR-10/100, EuroSAT, Tiny-ImageNet, Oxford-Pet, Flower102, Caltech101/256, Food101, Office-Caltech10 e DomainNet.

• Skew delle Etichette (Generalizzazione Base-Nuovo): In impostazioni Non-IID di dati completi, FedDTL raggiunge la massima accuratezza sulle classi base (ad esempio, 91,64% contro 80,56% per FedMaPLe su CIFAR-100) mantenendo prestazioni competitive sulle classi nuove. Evita con successo il grave degrado della generalizzazione osservato in baseline come pFedDC e pFedMMA, che soffrono di iper-specializzazione in regimi di dati completi.
• Spostamento delle Caratteristiche: In impostazioni cross-domain (Office-Caltech10, DomainNet), FedDTL raggiunge la massima accuratezza media in quasi tutte le configurazioni, incluse quelle con spostamento combinato delle caratteristiche e skew delle etichette.
• Studi di Ablazione:
  • Rimuovere lo schema di encoder disaccoppiato riduce significativamente l'accuratezza base in impostazioni Non-IID, confermando il suo ruolo nel risolvere l'incoerenza tra i client.
  • Rimuovere la fase RL porta a una minore accuratezza sulle classi nuove, confermandone l'efficacia nel preservare la generalizzazione.
  • La strategia in due fasi (SFT + RL) supera l'uso di SFT o RL da soli, validando la natura complementare dell'adattamento rapido e del potenziamento della generalizzazione.
• Privacy e Comunicazione: Il framework riduce i costi di comunicazione caricando solo gli embedding dei token di classe. L'aggiunta di perturbazione di rumore a questi embedding fornisce una protezione aggiuntiva della privacy con una perdita minima di prestazioni.

Significato e Affermazioni

Il documento afferma che FedDTL colma una lacuna critica nella ricerca sui VLM federati: l'incapacità dei metodi esistenti di gestire simultaneamente l'incoerenza tra i client e l'iper-specializzazione intra-client, in particolare in scenari realistici di dati completi.

• Risoluzione Sistematica: A differenza di lavori precedenti che si basano su una semplice media dei parametri o regolarizzazione esclusivamente locale, FedDTL risolve sistematicamente l'incoerenza attraverso l'allineamento di modalità server-client e l'iper-specializzazione attraverso un affinamento basato su RL.
• Robustezza: Il framework dimostra robustezza attraverso diverse distribuzioni di dati (IID, Dirichlet, Non-IID) e regimi di apprendimento (da few-shot a dati completi).
• Praticità: Sfruttando LoRA e un programma in due fasi, il metodo bilancia le prestazioni del modello con l'efficienza computazionale, rendendolo adatto ai dispositivi edge.

Gli autori concludono che il loro approccio fornisce un percorso più stabile ed efficace per l'adattamento di VLM pre-addestrati in ambienti federati, garantendo che i modelli globali rimangano sia adattabili a compiti specifici sia generalizzabili a scenari non visti.