Sintesi Tecnica: Classificazione Consistente di Modelli Generativi in Ambienti Distribuiti tramite Distanze Kernel

Definizione del Problema

La valutazione e la classificazione dei modelli generativi (ad esempio, GAN, Modelli di Diffusione, VAE) sono fondamentali per identificare le architetture con le migliori prestazioni. In contesti centralizzati standard, ciò viene ottenuto confrontando i dati generati rispetto a una singola distribuzione di riferimento utilizzando metriche come la Distanza di Fréchet (FD) o la Distanza Kernel (KD). Tuttavia, le moderne applicazioni operano sempre più in ambienti distribuiti (ad esempio, l'Apprendimento Federato), dove i dati di riferimento risiedono in più client con distribuzioni di dati eterogenee.

In tali scenari, una valutazione centralizzata (aggregare tutti i dati dei client per calcolare una metrica "score-all" unica) è spesso impraticabile a causa dei vincoli di privacy e dei costi di comunicazione. Inveve, i professionisti possono fare affidamento sull'aggregazione dei singoli punteggi dei client ("score-avg"). Una domanda fondamentale sorge: L'aggregazione dei singoli punteggi dei client produce la stessa classificazione dei modelli di una valutazione centralizzata? Il documento indaga se la classifica dei modelli generativi rimanga consistente tra questi due approcci attraverso diverse metriche di valutazione.

Metodologia

Gli autori analizzano la consistenza della classificazione distribuita per due classi primarie di metriche basate sulla distanza: la Distanza Kernel (KD) e la Distanza di Fréchet (FD).

1. Quadro Teorico

Lo studio definisce due meccanismi di punteggio aggregato per $k$ client con distribuzioni $P_{X_1}, \dots, P_{X_k}$ e pesi $\lambda_i$:

• Score-All ($D_{all}$): La distanza tra il modello generativo $P_G$ e la distribuzione di miscela $\bar{P}_X = \sum \lambda_i P_{X_i}$. Questa rappresenta la valutazione centralizzata ideale.
• Score-Avg ($D_{avg}$): La media ponderata delle distanze individuali dei client: $\sum \lambda_i D(P_{X_i}, P_G)$.

Gli autori derivano le relazioni teoriche tra $D_{all}$ e $D_{avg}$ per KD e FD.

2. Analisi della Distanza Kernel (KD)

La metrica KD è definita come il quadrato della Maximum Mean Discrepancy (MMD) utilizzando una funzione kernel $k$.

• Teorema 1: Gli autori dimostrano che per qualsiasi funzione kernel che soddisfi le standard condizioni dello Spazio di Hilbert con Kernel Riproducente (RKHS), la relazione tra il punteggio KD medio e il punteggio KD centralizzato è:
  $$KD_{avg} = KD_{all} + \sum_{i=1}^k \lambda_i KD(\bar{P}_X, P_{X_i})$$
• Implicazione: Il termine $\sum \lambda_i KD(\bar{P}_X, P_{X_i})$ dipende solo dalle distribuzioni dei dati dei client ed è indipendente dal modello generativo $P_G$. Di conseguenza, $KD_{avg}$ e $KD_{all}$ differiscono per un offset costante per tutti i modelli. Ciò garantisce che classificare i modelli tramite $KD_{avg}$ produca esattamente lo stesso ordine di quanto farebbe la classificazione tramite $KD_{all}$, indipendentemente dall'eterogeneità dei dati.

3. Analisi della Distanza di Fréchet (FD)

La metrica FD è definita come la distanza 2-Wasserstein tra le approssimazioni gaussiane delle distribuzioni dei dati.

• Teorema 2: Gli autori mostrano che la matrice di covarianza ottimale per l'aggregazione centralizzata ($\bar{C}$) differisce dalla matrice di covarianza ottimale per l'aggregazione media ($\tilde{C}$) quando le medie dei client $\mu_i$ sono eterogenee. Nello specifico, $\bar{C}$ include un termine che tiene conto della varianza delle medie dei client, mentre $\tilde{C}$ no.
• Proposizione 1: Gli autori dimostrano che esistono scenari in cui due distinti modelli generativi ricevono punteggi FD individuali identici da tutti i client (e quindi un $FD_{avg}$ identico), ma i loro punteggi FD centralizzati $FD_{all}$ differiscono significativamente. Ciò dimostra che nessuna strategia di aggregazione dei punteggi FD locali può garantire una classificazione consistente con la metrica centralizzata FD-all.

Contributi Chiave

1. Formulazione del Problema: Il documento identifica e studia formalmente il compito di classificare i modelli generativi in contesti distribuiti con dati eterogenei, evidenziando il divario tra le valutazioni locali che preservano la privacy e la verità centrale (ground truth).
2. Consistenza di KD: Fornisce una prova teorica che la metrica della Distanza Kernel (KD) permette una classificazione distribuita consistente. Nello specifico, la media dei punteggi KD dei client ($KD_{avg}$) è matematicamente equivalente al punteggio KD centralizzato ($KD_{all}$) in termini di ordinamento dei modelli per qualsiasi funzione kernel.
3. Inconsistenza di FD: Dimostra che la comunemente utilizzata Distanza di Fréchet (FD) fallisce nel preservare la consistenza della classificazione in contesti distribuiti. Il documento prova che i punteggi FD locali sono insufficienti per recuperare la classificazione globale, poiché modelli diversi possono apparire identici localmente ma differire globalmente.
4. Validazione Empirica: Gli autori validano questi risultati teorici attraverso estesi esperimenti numerici su dataset di immagini standard (ImageNet, CIFAR, FFHQ, AFHQ) e varie architetture generative (BigGAN, StyleGAN, Modelli di Diffusione).

Risultati Sperimentali

• Consistenza di KD: Gli esperimenti su ImageNet e sull'addestramento distribuito di StyleGAN mostrano un gap fisso tra $KD_{avg}$ e $KD_{all}$ attraverso diversi modelli e configurazioni di addestramento. Le classifiche derivate da entrambe le metriche sono identiche.
• Inconsistenza di FD:
  • In un esperimento controllato con sei client simulati, due generatori ($G_1, G_2$) avevano punteggi FD quasi identici a livello di client (differenze < 1.0) e un $FD_{avg}$ identico (195.04 vs 195.37). Tuttavia, i loro punteggi centralizzati $FD_{all}$ differivano drasticamente (100.49 vs 190.93).
  • Esperimenti su dataset federati con varianza limitata (dove la varianza intra-client è bassa ma la varianza inter-client è alta) hanno ulteriormente confermato che $FD_{avg}$ e $FD_{all}$ possono produrre classifiche contraddittorie, favorendo spesso modelli diversi in base ai trade-off tra diversità e fedeltà.
• Altre Metriche: Lo studio nota che, sebbene i punteggi di Recall mantengano la consistenza (Recall-all = Recall-avg), metriche come Precision, Density e Coverage mostrano inconsistenze di classificazione simili alla FD.

Significato e Rivendicazioni

Il documento sostiene che la Distanza Kernel è una metrica unicamente adatta per la valutazione distribuita dei modelli generativi che preserva la privacy. Poiché $KD_{avg}$ preserva la classifica del $KD_{all}$ centralizzato senza richiedere la condivisione dei dati, essa consente:

• Classificazione Privata: I client possono condividere solo punteggi scalari, permettendo a un server di classificare i modelli basandosi sulla distribuzione di riferimento globale senza accedere ai dati grezzi.
• Ottimizzazione Distribuita: La relazione monotona tra $KD_{avg}$ e $KD_{all}$ consente il fine-tuning distribuito (ad esempio, minimizzando la perdita MMD) in cui l'obiettivo locale si allinea con l'obiettivo globale.

Gli autori concludono con modestia che, sebbene la KD offra una soluzione per la classificazione consistente, altre metriche popolari come la FD non condividono questa proprietà, ponendo sfide per la selezione del modello distribuito. Suggeriscono che il lavoro futuro potrebbe esplorare tecniche di privacy differenziale per proteggere ulteriormente il processo di classificazione e investigare la classificazione sotto vincoli di comunicazione.