Riepilogo Tecnico: FedDAF

Problematica

Il Federated Domain Adaptation (FDA) mira a migliorare le prestazioni di un modello per un client target collaborando con i client sorgente, preservando al contempo la privacy dei dati. Tuttavia, gli attuali metodi di FDA affrontano due sfide critiche, spesso trascurate simultaneamente:

1. Domain Shift (Spostamento di Dominio): Le incongruenze nelle distribuzioni dei dati tra i client sorgente e target causano un drift (deriva) del modello locale, portando a un'aggregazione globale subottimale e a una scarsa generalizzazione sul target.
2. Scarsità di Dati: Molti approcci esistenti assumono che il client target possieda una quantità abbondante di dati non etichettati. Nella realtà, i client target soffrono spesso di una grave mancanza di campioni etichettati, rendendo inefficaci l'addestramento standard o il Federated Learning personalizzato (PFL).

Inoltre, i metodi attuali che tentano di affrontare entrambi i problemi spesso non riescono a dare priorità alla condivisione di informazioni rilevanti dai client sorgente in modo specificamente mirato all'obiettivo del client target.

Metodologia: FedDAF

Gli autori propongono FedDAF (Federated Domain Adaptation using Model Functional Distance), un nuovo framework progettato per massimizzare il trasferimento di informazioni sorgente rilevanti al modello target, allineandosi al contempo con l'obiettivo specifico del target, anche in condizioni di dati limitati.

Meccanismo Centrale: Distanza Funzionale del Modello

A differenza dei metodi che si affidano agli aggiornamenti del gradiente o all'allineamento della distribuzione dei dati grezzi, FedDAF aggrega il modello sorgente globale ($w^S$) e il modello target ($w^T$) in base alla loro similarità, quantificata tramite la Distanza Funzionale del Modello. Questa distanza è calcolata come segue:

1. Campi di Gradiente Medi: Il server trasmette il modello sorgente globale al client target. Il client target calcola i campi di gradiente sia per il modello sorgente globale che per il proprio modello locale utilizzando i dati target (anche se limitati).
2. Similarità del Coseno e Angolo: Vengono calcolati i campi di gradiente medi dei due modelli. Viene calcolata la similarità del coseno tra questi gradienti medi e viene derivato l'angolo $\theta$ tra di essi.
3. Normalizzazione tramite Funzione di Gompertz: L'angolo $\theta$ viene normalizzato utilizzando una funzione di Gompertz per produrre un peso di similarità $\alpha \in [0, 1]$. Questo peso rappresenta la "distanza" tra i modelli rispetto all'obiettivo del target.
4. Aggregazione Adattiva: Il modello target adattato ($w_n$) è formato da una combinazione pesata del precedente modello target e del modello sorgente globale:
   $$w_n = \alpha w^S_{n-1} + (1 - \alpha) w^T_{n-1}$$
   Qui, $\alpha$ funge da peso di aggregazione. Se i modelli sono funzionalmente simili rispetto all'obiettivo del target, il modello sorgente contribuisce maggiormente; se divergono, il modello target viene preservato.

Protocollo di Addestramento

• Client Target: Utilizza il modello adattato $w_n$ come inizializzazione per l'addestramento locale sui propri dati limitati del target. L'obiettivo è ottimizzare l'obiettivo del target $F_T$ mantenendo al contempo una distanza controllata dall'obiettivo globale della sorgente $F_S$.
• Client Sorgente: Effettuano l'addestramento locale standard sui rispettivi dataset e aggiornano il modello sorgente globale tramite una semplice media sul server.
• Iterazione: Questo processo si ripete per $N$ round di comunicazione.

Contributi Chiave

L'articolo delinea tre contributi primari:

1. Soluzione a Doppia Sfida: FedDAF è proposto per affrontare simultaneamente lo spostamento di dominio e la scarsità di dati del target nell'FDA, una combinazione spesso trascurata dai lavori precedenti.
2. Nuova Strategia di Aggregazione: L'introduzione di un metodo di aggregazione basato sulla similarità che utilizza la Distanza Funzionale del Modello. Questa metrica è derivata dai campi di gradiente medi valutati sui dati del target, consentendo una misurazione affidabile della similarità anche con campioni scarsi.
3. Ottimizzazione Allineata all'Obiettivo: Il metodo assicura che il modello target adattato sia ottimizzato all'ottimo dell'obiettivo del target, posizionandosi a una distanza ottimizzata dall'obiettivo globale della sorgente. Ciò massimizza il trasferimento di informazioni sorgente rilevanti specificamente allineate con le necessità del target.

Risultati Sperimentali

Gli autori hanno validato FedDAF attraverso estesi esperimenti su dataset reali in scenari di domain shift controllati e reali.

• Dataset:
  • Shift Controllato: CIFAR-10 con vari livelli di rumore Gaussiano (domain shift) e scarsità di etichette (5%, 25%, 50% dei dati di addestramento).
  • Shift Reale: PACS, VLCS e Office Caltech10, che simulano diversi spostamenti di dominio (ad es. foto vs schizzo, diversi tipi di fotocamera).
• Baseline: FedDAF è stato confrontato con lo standard Federated Learning (FedAvg), Fine-tuned FedAvg, metodi di Personalized FL (FedDWA) ed esistenti metodi FDA (FedGP).
• Prestazioni:
  • Su CIFAR-10, FedDAF ha superato costantemente tutte le baseline in tutti i livelli di scarsità di dati e domain shift.
  • Sui dataset reali (PACS, VLCS, Office Caltech10), FedDAF ha ottenuto un'accuratezza di test superiore rispetto ai metodi FL, PFL e FDA esistenti, in particolare in scenari di estrema scarsità di dati (ad es. utilizzando solo il 2% dei campioni di addestramento del target).
  • Analisi dei Parametri: Lo studio ha identificato che il parametro $\mu$ della funzione di Gompertz influenza le prestazioni in base al grado di domain shift, con $\mu=5$ che performa meglio sotto alto domain shift e $\mu=1$ sotto basso shift.

Significato e Rivendicazioni

L'articolo sostiene che FedDAF rappresenti un avanzamento significativo nel Federated Domain Adaptation passando oltre l'assunzione di dati target abbondanti. La sua importanza risiede in:

• Robustezza alla Scarsità: Dimostrare che un adattamento efficace è possibile anche quando il client target ha pochissimi campioni etichettati, uno scenario in cui l'addestramento centralizzato e lo standard PFL falliscono.
• Adattamento Centrato sul Target: A differenza dei precedenti metodi FDA che possono aggregare informazioni senza una specifica considerazione per l'obiettivo unico del target, FedDAz costruisce esplicitamente il peso di aggregazione basandosi sulla distanza funzionale del target. Ciò assicura che la "massima informazione rilevante" venga fusa nel modello target.
• Applicabilità Pratica: Il metodo affronta i vincoli del mondo reale presenti in domini come l'imaging medico (ad es. diagnosi del tumore al seno), dove i dati sono spesso isolati, sensibili alla privacy e scarsamente etichettati.

Gli autori concludono che, ottimizzando il modello target adattato all'ottimo dell'obiettivo del target pur mantenendo una distanza controllata dall'obiettivo globale della sorgente, FedDAF colma efficacementamente il divario tra i domini sorgente e target in ambienti con scarsità di dati e rispettosi della privacy.