Riepilogo Tecnico: PEP-FedPT

Enunciato del Problema

L'Apprendimento Federato (FL) affronta sfide significative nell'adattare grandi Vision Transformers (ViT) pre-addestrati a compiti downstream in condizioni di eterogeneità dei dati. Sebbene il Prompt Tuning Visivo (VPT) offra una soluzione efficiente in termini di parametri per il fine-tuning, gli approcci esistenti faticano a bilanciare generalizzazione e personalizzazione:

• Prompt Tuning Globale: Metodi come FedPR utilizzano prompt condivisi tra tutti i client. Sebbene generalizzino bene, non riescono ad adattarsi a distribuzioni di dati client altamente eterogenee (non-iid), portando a "client drift" e prestazioni subottimali.
• Prompt Tuning Personalizzato: Metodi come pFedPG generano prompt specifici per il client. Sebbene si adattino bene ai dati locali, spesso soffrono di overfitting, risultando in una scarsa generalizzazione verso client non visti o non partecipanti. Inoltre, molti approcci personalizzati presuppongono la piena partecipazione di tutti i client in ogni round, il che è poco pratico nei sistemi FL reali.
• Approcci Ibridi Esistenti: Metodi come SGPT tentano di colmare questo divario utilizzando prompt specifici per gruppo, ma introducono complessità di ottimizzazione attraverso meccanismi di selezione non differenziabili e processi di training a due stadi.

La domanda centrale affrontata è: Possiamo ottenere una personalizzazione efficace affidandoci esclusivamente a prompt condivisi globalmente?

Metodologia: PEP-FedPT

Gli autori propongono PEP-FedPT (Prompt Estimation from Prototypes for Federated Prompt Tuning), un framework unificato che raggiunge la personalizzazione senza memorizzare parametri addestrabili dipendenti dal client. L'innovazione centrale è il Prompt Misto Contestualizzato per Classe (CCMP).

1. Architettura del Prompt

Il framework utilizza due insiemi di parametri addestrabili condivisi globalmente tra tutti i client:

• Prompt Condivisi ($P_S$): Inseriti al primo strato del ViT. Questi catturano rappresentazioni di basso livello, agnostiche rispetto alla classe, comuni attraverso la varietà (manifold).
• Prompt Specifici per Classe ($P_C$): Un insieme di prompt corrispondenti a ciascuna classe, condivisi globalmente.

2. Prompt Misto Contestualizzato per Classe (CCMP)

Invece di inserire un singolo prompt statico, PEP-FedPT genera dinamicamente un prompt misto ($m$) per ogni campione di input negli strati intermedi (specificamente gli strati 5, 6 e 7 negli esperimenti). Questo prompt misto è una combinazione morbida dei prompt globali specifici per classe, pesata da punteggi derivati da:

• Prototipi Globali di Classe ($\mu$): Centroidi aggregati delle rappresentazioni del token CLS per ciascuna classe, calcolati mediando i token CLS dei punti dati all'interno di una classe attraverso i client. Questi vengono aggiornati periodicamente tramite media federata con momento.
• Priors di Classe del Client ($\delta$): La distribuzione empirica delle etichette (frequenza delle classi) specifica per i dati locali di ciascun client.

3. Meccanismo di Mixing dei Prompt

Per un dato input $x$ al client $k$, il sistema calcola un vettore di pesi morbidi $s$ per i prompt specifici per classe:

1. Punteggio di Similarità: Viene calcolata la similarità del coseno tra la rappresentazione del token CLS dell'input ($cls_{l-1}$) allo strato $l$ e i prototipi globali di classe ($\mu$).
2. Punteggio Ponderato: Queste similarità sono scalate dai priors locali di classe del client ($\delta$) e da un parametro di temperatura ($\tau$).
3. Normalizzazione: I punteggi sono normalizzati per formare una distribuzione di probabilità.
4. Mixing: Il CCMP finale è calcolato come la somma pesata dei prompt globali specifici per classe: $m = P_C \times s$.

Ciò permette a ciascun client di personalizzare dinamicamente il prompt in base alla propria distribuzione di dati locali e all'input corrente, utilizzando solo informazioni globali (prompt e prototipi) e statistiche locali (priors), senza trasmettere dati grezzi o pesi del modello specifici per il client.

4. Fondamenti Teorici

Il documento fornisce due giustificazioni teoriche per la progettazione del CCMP:

• Minimizzazione del Limite Superiore Quadratico: Gli autori dimostrano che il CCMP minimizza un limite superiore quadratico sulla funzione di perdita globale, assumendo che la perdita sia liscia secondo Lipschitz e che lo spazio dei prompt sia compatto. La strategia di mixing ottimale si allinea con la media ponderata dei prompt di classe basata sui priors di classe.
• Ottimalità MMSE: Il CCMP è dimostrato essere lo stimatore del Minimo Errore Quadratico Medio (MMSE) del vero prompt di classe dato il token CLS osservato.

Contributi Chiave

1. Framework Unificato: Introduzione di PEP-FedPT, che ottimizza congiuntamente prompt condivisi e prompt specifici per classe per affrontare l'eterogeneità dei dati nell'apprendimento federato dei ViT, trovando un equilibrio tra generalizzabilità e personalizzazione.
2. Strategia di Mixing Innovativa: Progettazione del CCMP, che genera prompt per campione come funzione dei prompt globali specifici per classe, modulati dai priors locali di classe e dai prototipi globali. Questo elimina la necessità di archiviazione locale dei prompt o generazione lato server di prompt specifici per il client.
3. Approfondimenti Teorici: Dimostrazione che il CCMP minimizza un limite superiore quadratico sulla perdita ed è ottimale in senso MMSE.
4. Superiorità Empirica: Validazione estesa che mostra come il metodo superi i baseline all'avanguardia in scenari di eterogeneità diversificati.

Risultati Sperimentali

Il metodo è stato valutato su CIFAR-100, TinyImageNet, DomainNet e iNaturalist in vari scenari non-iid (split patologici e distribuzioni Dirichlet).

• Prestazioni: PEP-FedPT ha costantemente superato i baseline (inclusi FedVPT, FedPR, SGPT e pFedPG) sia in Accuratezza Media che in Accuratezza Locale Peggiore.
  • Su CIFAR-100 (Patologico), ha raggiunto un'accuratezza media del 95,46%, superando pFedPG (92,96%) e FedVPT-D (85,15%).
  • Su TinyImageNet, ha migliorato l'accuratezza media del 8,59% rispetto a pFedPG.
• Generalizzazione: Nelle valutazioni su dati tenuti da parte (test su client non partecipanti all'addestramento), PEP-FedPT ha mantenuto un'alta accuratezza (93,71% su CIFAR-100), mentre metodi personalizzati come pFedPG hanno fallito nel generalizzare (segnati come NA o significativamente inferiori).
• Efficienza: Il metodo ha richiesto significativamente meno round di comunicazione (12 round per raggiungere l'83% di accuratezza su CIFAR-100) e un sovraccarico di comunicazione inferiore (4,6M di parametri comunicati) rispetto a SGPT (13M) e FedVPT-D.
• Studi di Ablazione: Gli esperimenti hanno confermato che combinare Prompt Condivisi con CCMP produce guadagni significativi rispetto all'uso esclusivo di Prompt Condivisi. L'inclusione dei Priors di Classe ha ulteriormente migliorato le prestazioni, specialmente in scenari patologici.

Significato e Affermazioni

Il documento afferma che PEP-FedPT stabilisce una solida base per un prompt tuning federato efficiente e generalizzabile dei Vision Transformers. Il suo significato principale risiede nella risoluzione del compromesso tra personalizzazione e generalizzazione nel FL:

• Raggiunge la personalizzazione sfruttando le distribuzioni di dati locali (tramite priors) per mixare dinamicamente i prompt.
• Mantiene la generalizzazione affidandosi esclusivamente a prompt e prototipi condivisi globalmente, evitando i problemi di overfitting dei modelli completamente personalizzati.
• Offre scalabilità non richiedendo l'archiviazione di parametri specifici per il client o la piena partecipazione di tutti i client, rendendolo adatto a dispositivi edge con risorse limitate.

Gli autori notano limitazioni, specificamente che il metodo si basa su stime empiriche dei priors di classe e dei centroidi, che potrebbero essere inaffidabili in contesti semi-supervisionati o non supervisionati, e che il vantaggio diminuisce in distribuzioni di dati strettamente IID, dove il metodo si riduce efficacemente al Fed-VPT standard. Tuttavia, nel contesto dell'apprendimento federato non-IID, l'approccio proposto offre una soluzione robusta, teoricamente fondata e empiricamente superiore.