Scaling Unsupervised Multi-Source Federated Domain Adaptation through Group-Wise Discrepancy Minimization

Enunciato del Problema

L'Adattamento di Dominio Non Supervisionato Multi-Sorgente (UMDA) mira a imparare un modello che generalizzi su un dominio target non etichettato sfruttando dati etichettati provenienti da più domini sorgente. Sebbene l'apprendimento federato offra una soluzione che preserva la privacy evitando la condivisione di dati grezzi, i metodi federati UMDA esistenti faticano a scalare. Gli approcci attuali sono tipicamente progettati per scenari su piccola scala (2–6 sorgenti) e soffrono di un elevato sovraccarico computazionale o di instabilità nell'addestramento quando aumenta il numero di domini sorgente eterogenei. Nello specifico, i metodi basati sull'allineamento a coppie diventano computazionalmente proibitivi ($O(N^2)$), mentre quelli che utilizzano il campionamento casuale a coppie (ad es. FACT) introducono un'alta varianza e non convergono in contesti ad alta diversità.

Metodologia: Il Framework GALA

Gli autori propongono GALA (Grouping-based Adaptive Learning), un framework federato UMDA progettato per scalare con l'eterogeneità di domini sorgente diversi. GALA opera attraverso due meccanismi principali:

1. Minimizzazione della Discrepanza Inter-Gruppo (IGD)
Per affrontare la complessità quadratica dell'allineamento completo a coppie, GALA introduce un obiettivo di discrepanza a livello di gruppo.

• Meccanismo: Ad ogni round di addestramento, i $N$ predittori sorgente sono partizionati casualmente in due gruppi disgiunti, $G_1$ e $G_2$.
• Aggregazione: Vengono formati predittori medi ponderati per ciascun gruppo ($F_{G_1}$ e $F_{G_2}$).
• Obiettivo: Il modello minimizza la discrepanza $\ell_1$ tra questi due predittori di gruppo sui dati target non etichettati:
  $$L_{IGD} = \mathbb{E}_{x \sim D_T} [\|F_{G_1}(G(x)) - F_{G_2}(G(x))\|_1]$$
• Vantaggio Teorico: A differenza del campionamento casuale a coppie (che ha un'alta varianza) o del calcolo completo a coppie (che è costoso), l'IGD media molte differenze a coppie prima di calcolare la norma. Ciò risulta in un'approssimazione a bassa varianza e complessità lineare dell'obiettivo di allineamento globale. Sebbene introduca un piccolo bias, la riduzione della varianza porta a un addestramento più stabile.

2. Ponderazione Basata sui Centroidi con Scala di Temperatura (MDMGB+)
Per prevenire il trasferimento negativo da sorgenti irrilevanti o rumorose, GALA stima dinamicamente la rilevanza di ciascuna sorgente rispetto al target.

• Similarità dei Centroidi: I client calcolano centroidi soft per classe nello spazio delle caratteristiche. Il server calcola la similarità coseno tra i centroidi sorgente e il centroido target.
• Scala di Temperatura: Gli autori introducono una versione modificata dell'algoritmo MDMGB, denominata MDMGB+. Applica una funzione softmax con un parametro di temperatura regolabile $\tau$ ai punteggi di similarità:
  $$w_n = \frac{\exp(\tau \cdot S(r_T^c, r_n^c))}{\sum_j \exp(\tau \cdot S(r_T^c, r_j^c))}$$
• Funzione: La temperatura $\tau$ controlla la selettività. Valori più alti amplificano piccole differenze nella similarità, assegnando un peso maggiore alle sorgenti meglio allineate con il target e sopprimendo quelle irrilevanti. Questi pesi sono utilizzati per formare i predittori di gruppo nel passaggio IGD.

Flusso dell'Algoritmo:
Il processo prevede round iterativi in cui il server trasmette il modello globale, i client calcolano i centroidi e aggiornano i modelli localmente, il server aggrega gli estrattori di caratteristiche utilizzando i pesi di rilevanza e, infine, il dominio target aggiorna l'estrattore di caratteristiche minimizzando la perdita IGD tra i due predittori di gruppo.

Contributi Chiave

1. Analisi della Scalabilità: Gli autori identificano che i metodi UMDA distribuiti esistenti non convergono o diventano computazionalmente non fattibili all'aumentare del numero di sorgenti eterogenee, un vuoto largamente non affrontato nella letteratura corrente.
2. Discrepanza Inter-Gruppo (IGD): Un obiettivo innovativo che approssima la discrepanza completa a coppie a costo lineare con bassa varianza, abilitando un allineamento robusto in contesti su larga scala.
3. Algoritmo GALA: Un framework federato UMDA scalabile che combina l'IGD con uno schema di ponderazione basato sui centroidi con scala di temperatura per dare priorità alle sorgenti rilevanti per il target e mitigare il trasferimento negativo.
4. Benchmark Digit-18: L'introduzione di un nuovo benchmark composto da 18 dataset di cifre diversi (che coprono spostamenti sintetici e del mondo reale) per testare rigorosamente la scalabilità e l'eterogeneità delle sorgenti, affrontando la scarsità di benchmark UMDA su larga scala.

Risultati Sperimentali

Il paper valuta GALA su benchmark standard (Digit-Five, Office-Caltech10) e sul nuovo benchmark Digit-18.

• Benchmark Standard: GALA ottiene prestazioni all'avanguardia (SOTA) o vicine al SOTA su Digit-Five e Office-Caltech10, eguagliando o superando metodi come FACT e KD3A.
• Scalabilità (Digit-18): In contesti ad alta diversità (fino a 18 sorgenti), i metodi esistenti mostrano un significativo degrado:
  • FACT: Diventa instabile con alta varianza e non converge su target difficili all'aumentare del numero di sorgenti.
  • KD3A: Soffre di una crescita esponenziale del tempo di esecuzione a causa di passaggi di consenso sequenziali, diventando computazionalmente non fattibile oltre le 9 sorgenti.
  • GALA: Mantiene accuratezza e convergenza stabili. Nel contesto a 18 sorgenti, GALA ottiene un guadagno medio del 5,3% rispetto a FACT e supera tutti i baseline su ogni dominio target.
• Studi di Ablazione: I risultati confermano che sia l'obiettivo IGD che la ponderazione MDMGB+ sono critici. L'IGD da solo non converge su target difficili senza la ponderazione, mentre la ponderazione da sola è insufficiente senza l'allineamento inter-gruppo.
• Efficienza: Sebbene GALA abbia un costo per round leggermente superiore rispetto a FACT a causa dell'allineamento di gruppo, evita l'esplosione computazionale esponenziale di KD3A, mantenendo una scalabilità lineare.

Significato e Affermazioni

Il paper afferma di essere il primo ad affrontare esplicitamente la scalabilità nell'UMDA distribuito in relazione al numero di domini sorgente eterogenei. Il significato di GALA risiede nella sua capacità di abilitare un addestramento stabile e parallelizzabile su molte sorgenti diverse dove i metodi attuali non convergono o sono computazionalmente non fattibili. Combinando la minimizzazione della discrepanza inter-gruppo con la prioritizzazione dinamica delle sorgenti, GALA stabilisce un nuovo stato dell'arte per l'adattamento di dominio multi-sorgente su larga scala e ad alta diversità, in particolare in contesti federati sensibili alla privacy. Gli autori notano che, sebbene il metodo comporti costi di comunicazione più elevati per round rispetto ai metodi selettivi, fornisce un flusso di lavoro centralizzato senza richiedere che il target riceva tutti i modelli sorgente, e un lavoro futuro potrebbe concentrarsi sulla riduzione della frequenza di partecipazione delle sorgenti.