Closing the Alignment-Maturity Gap in Federated Prototype Learning

Sintesi Tecnica: Colmare il divario tra Allineamento e Maturità nel Federated Prototype Learning

Definizione del Problema
L'Apprendimento Federato (FL) affronta una sfida fondamentale nell'apprendere rappresentazioni visive discriminative da dati distribuiti ed eterogenei. Sebbene i metodi basati su prototipi (es. FedProto, FedNH) affrontino l'eterogeneità statistica condividendo rappresentazioni a livello di classe (prototipi) anziché l'intero modello dei pesi, essi introducono un'instabilità critica nota come divario tra allineamento e maturità (alignment-maturity gap).

Nell'attuale FL basato su prototipi, i prototipi globali vengono aggregati dalle embedding dei client locali e utilizzati come ancore semantiche fin dal primo round di addestramento. Tuttavia, nelle prime fasi di addestramento, gli estrattori di caratteristiche locali non hanno ancora appreso strutture discriminative, risultando in rappresentazioni locali rumorose e non raffinate. Di conseguenza, i prototipi globali aggregati sono inaffidabili. Quando viene applicato immediatamente un peso di allineamento statico, la grande distanza euclidea tra le embedding locali immature e questi prototipi globali rumorosi genera gradienti di allineamento massicci. Questi gradienti dominano il segnale della cross-entropy, sopprimendo l'emergere della struttura discriminativa locale e destabilizzando l'ottimizzazione, in particolare in condizioni di severo non-IID.

Metodologia: FedSAP
Gli autori propongono FedSAP (Federated Scheduled and Adaptive Prototypes), un framework progettato per stabilizzare l'apprendimento delle rappresentazioni federate decuplicando il tempo dell'allineamento globale dalla forza della separazione inter-classe. FedSAP opera senza modificare il protocollo di comunicazione sottostante o introdurre parametri apprendibili aggiuntivi. Si basa su due meccanismi complementari:

1. Curriculum di Allineamento Deterministico:
   Invece di applicare una pressione di allineamento completa sin dall'inizio, FedSAP impiega uno schema di warm-up lineare per il peso di allineamento del prototipo ($\lambda_t$).

   • Meccanismo: Il peso aumenta linearmente da 0 a un valore massimo $M$ su un numero fisso di round ($t_w$).
   • Effetto: Questo ritarda l'introduzione della pressione di allineamento globale, permettendo alle rappresentazioni locali di consolidarsi e formare strutture discriminative prima di essere attratte verso un consenso globale. Lo schema è deterministico e non richiede segnali ausiliari o sovraccarichi di comunicazione per round.

2. Perdita di Separazione Proxy Guidata dalla Geometria:
   Per imporre una struttura inter-classe senza aggiungere parametri, FedSAP riutilizza l'esistente banca di prototipi globali come un "banco di proxy" condiviso.

   • Meccanismo: Le embedding locali e i prototipi globali vengono proiettati su un ipersfera unitaria. Viene applicato un obiettivo di cosine-softmax, che attira le rappresentazioni verso il prototipo della classe target e le respinge dai prototipi delle classi non target.
   • Effetto: Ciò impone cluster di classe compatti e ben separati sull'ipersfera. Utilizzando i prototipi distribuiti dal server come proxy, il metodo evita la complessità e i costi di comunicazione associati al mantenimento di separati parametri apprendibili (come visto in metodi quali ProxyNCA o ProxyAnchor).

Estensione all'Apprendimento Semi-Supervisionato
Il documento dimostra che FedSAP si estende naturalmente agli scenari di apprendimento federato semi-supervisionato (SSFL). Stabilendo uno spazio di embedding stabile durante una fase iniziale supervisionata, il framework consente un affidabile pseudo-labeling dei dati non etichettati in una fase successiva. Ai campioni non etichettati vengono assegnati pseudo-label basati sulla distanza del vicino più prossimo al banco di prototipi globali, con soglie di confidenza calibrate automaticamente dalla fase supervisionata per mitigare il bias di conferma.

Contributi Chiave

• Identificazione del Divario: Gli autori identificano e motivano esplicitamente il "divay tra allineamento e maturità", dove l'allineamento globale prematuro su rappresentazioni immature sopprime l'apprendimento locale.
• Framework FedSAP: La proposta di un framework che risolve questo divario attraverso un curriculum di allineamento progressivo e una perdita di separazione proxy guidata dalla geometria applicata al banco di prototipi esistente.
• Performance e Generalità: La validazione empirica mostra che FedSAP raggiunge embedding ben separati con lo stesso costo di comunicazione di FedProto, con guadagni significativi di performance. Il framework si dimostra estendibile naturalmente agli ambienti semi-supervisionati, sottolineando la generalità dell'allineamento programmato come principio di progettazione.

Risultati Sperimentali
FedSAP è stato valutato su tre benchmark (FEMNIST, CIFAR-10, CIFAR-100) sotto diversi gradi di eterogeneità statistica.

• Performance: Il framework ha ottenuto guadagni fino a 4 punti percentuali rispetto ai baseline basati su prototipi (FedProto, FedMPS) e al baseline di aggregazione dei parametri (FedAvg).
• Eterogeneità: I miglioramenti sono stati più pronunciati in condizioni di severo non-IID, dove l'instabilità dei prototipi nei primi round è più grave.
• Ablazione: I risultati confermano che lo schema di allineamento progressivo e la perdita di separazione proxy sono critici per stabilizzare lo spazio di embedding senza aumentare l'overhead di comunicazione.

Significatività e Rivendicazioni
Il documento sostiene che FedSAP affronta un limite specifico, precedentemente non affrontato, del FL basato su prototipi: il disallineamento temporale tra l'affidabilità degli anchor globali e la maturità delle rappresentazioni locali. Trattando l'apprendimento dei prototipi federati fondamentalmente come un problema di apprendimento delle rappresentazioni, FedSAP produce una traiettoria di apprendimento che è stabile nei primi round e sempre più discriminativa nei round successivi. Gli autori posizionano il principio di "allineamento programmato" non solo come una strategia di tuning per un protocollo specifico, ma come un principio di progettazione generale applicabile sia ad ambienti federati completamente supervisionati che semi-supervisionati.