Résumé Technique : Classement Distribué Cohérent des Modèles Génératifs via les Distances de Noyau

Énoncé du Problème

L'évaluation et le classement des modèles génératifs (par exemple, GAN, modèles de diffusion, VAE) sont essentiels pour identifier les architectures les plus performantes. Dans les contextes centralisés standards, cela est réalisé en comparant les données générées à une distribution de référence unique à l'aide de métriques telles que la Distance de Fréchet (FD) ou la Distance de Noyau (KD). Cependant, les applications modernes opèrent de plus en plus dans des environnements distribués (par exemple, l'apprentissage fédéré), où les données de référence résident sur plusieurs clients avec des distributions de données hétérogènes.

Dans de tels scénarios, une évaluation centralisée (agrégation de toutes les données clients pour calculer une métrique unique « score-all ») est souvent irréalisable en raison de contraintes de confidentialité et de coûts de communication. Au lieu de cela, les praticiens peuvent s'appuyer sur l'agrégation de scores individuels par client (« score-avg »). Une question fondamentale se pose : L'agrégation des scores individuels des clients produit-elle le même classement de modèles qu'une évaluation centralisée ? L'article examine si le classement des modèles génératifs reste cohérent entre ces deux approches selon différentes métriques d'évaluation.

Méthodologie

Les auteurs analysent la cohérence du classement distribué pour deux classes principales de métriques basées sur la distance : la Distance de Noyau (KD) et la Distance de Fréchet (FD).

1. Cadre Théorique

L'étude définit deux mécanismes de notation agrégée pour $k$ clients possédant des distributions $P_{X_1}, \dots, P_{X_k}$ et des poids $\lambda_i$ :

• Score-All ($D_{all}$) : La distance entre le modèle génératif $P_G$ et la distribution de mélange $\bar{P}_X = \sum \lambda_i P_{X_i}$. Cela représente l'évaluation centralisée idéale.
• Score-Avg ($D_{avg}$) : La moyenne pondérée des distances individuelles des clients : $\sum \lambda_i D(P_{X_i}, P_G)$.

Les auteurs dérivent les relations théoriques entre $D_{all}$ et $D_{avg}$ pour la KD et la FD.

2. Analyse de la Distance de Noyau (KD)

La métrique KD est définie comme le carré de la Maximum Mean Discrepancy (MMD) utilisant une fonction de noyau $k$.

• Théorème 1 : Les auteurs prouvent que pour toute fonction de noyau satisfaisant les conditions standards de l'Espace de Hilbert à Noyau Reproduisant (RKHS), la relation entre le score KD moyen et le score KD centralisé est :
  $$KD_{avg} = KD_{all} + \sum_{i=1}^k \lambda_i KD(\bar{P}_X, P_{X_i})$$
• Implication : Le terme $\sum \lambda_i KD(\bar{P}_X, P_{X_i})$ dépend uniquement des distributions de données des clients et est indépendant du modèle génératif $P_G$. Par conséquent, $KD_{avg}$ et $KD_{all}$ diffèrent d'un décalage constant pour tous les modèles. Cela garantit que classer les modèles par $KD_{avg}$ produit exactement le même ordre que le classement par $KD_{all}$, quel que soit l'hétérogénéité des données.

3. Analyse de la Distance de Fréchet (FD)

La métrique FD est définie comme la distance de 2-Wasserstein entre les approximations gaussiennes des distributions de données.

• Théorème 2 : Les auteurs montrent que la matrice de covariance optimale pour l'agrégation centralisée ($\bar{C}$) diffère de la covariance optimale pour l'agrégation moyenne ($\tilde{C}$) lorsque les moyennes des clients $\mu_i$ sont hétérogènes. Plus précisément, $\bar{C}$ inclut un terme tenant compte de la variance des moyennes des clients, tandis que $\tilde{C}$ ne le fait pas.
• Proposition 1 : Les auteurs prouvent qu'il existe des scénarios où deux modèles génératifs distincts reçoivent des scores FD individuels identiques de la part de tous les clients (et donc un $FD_{avg}$ identique), mais que leurs scores FD centralisés $FD_{all}$ diffèrent de manière significative. Cela démontre qu'aucune stratégie d'agrégation des scores FD locaux ne peut garantir un classement cohérent avec la métrique FD-all centralisée.

Contributions Clés

1. Formulation du Problème : L'article identifie et étudie formellement la tâche de classement des modèles génératifs dans des environnements distribués avec des données hétérogènes, mettant en évidence l'écart entre les évaluations locales respectueuses de la vie privée et la vérité terrain centralisée.
2. Cohérence de la KD : Il fournit une preuve théorique que la Distance de Noyau (KD) permet un classement distribué cohérent. Plus précisément, la moyenne des scores KD des clients ($KD_{avg}$) est mathématiquement équivalente au score KD centralisé ($KD_{all}$) en termes d'ordonnancement des modèles pour toute fonction de noyau.
3. Incohérence de la FD : Il démontre que la Distance de Fréchet (FD), largement utilisée, échoue à préserver la cohérence du classement dans les environnements distribués. L'article prouve que les scores FD locaux sont insuffisants pour récupérer le classement global, car des modèles différents peuvent paraître identiques localement mais différer globalement.
4. Validation Empirique : Les auteurs valident ces résultats théoriques par des expériences numériques approfondies sur des jeux de données d'images standards (ImageNet, CIFAR, FFHQ, AFHQ) et diverses architectures génératives (BigGAN, StyleGAN, modèles de diffusion).

Résultats Expérimentaux

• Cohérence de la KD : Les expériences sur ImageNet et l'entraînement distribué de StyleGAN montrent un écart fixe entre $KD_{avg}$ et $KD_{all}$ à travers différents modèles et configurations d'entraînement. Les classements dérivés des deux métriques sont identiques.
• Incohérence de la FD :
  • Dans une expérience contrôlée avec six clients simulés, deux générateurs ($G_1, G_2$) présentaient des scores FD par client presque identiques (différences < 1,0) et un $FD_{avg}$ identique (195,04 vs 195,37). Cependant, leurs scores $FD_{all}$ centralisés différaient radicalement (100,49 vs 190,93).
  • Des expériences sur des jeux de données fédérés à variance limitée (où la variance intra-client est faible mais la variance inter-client est élevée) ont confirmé davantage que $FD_{avg}$ et $FD_{all}$ peuvent produire des classements contradictoires, favorisant souvent des modèles différents selon les compromis diversité vs fidélité.
• Autres Métriques : L'étude note que si les scores de Rappel (Recall) maintiennent également la cohérence (Recall-all = Recall-avg), des métriques comme la Précision, la Densité et la Couverture (Coverage) présentent des incohérences de classement similaires à la FD.

Signification et Revendications

L'article affirme que la Distance de Noyau est une métrique particulièrement adaptée pour l'évaluation distribuée respectueuse de la vie privée des modèles génératifs. Parce que $KD_{avg}$ préserve le classement du $KD_{all}$ centralisé sans nécessiter le partage de données, elle permet :

• Classement Privé : Les clients peuvent ne partager que des scores scalaires, permettant à un serveur de classer les modèles sur la base de la distribution de référence globale sans accéder aux données brutes.
• Optimisation Distribuée : La relation monotone entre $KD_{avg}$ et $KD_{all}$ permet un ajustement fin distribué (par exemple, minimiser la perte MMD) où l'objectif local s'aligne sur l'objectif global.

Les auteurs concluent modestement que si la KD offre une solution pour un classement cohérent, d'autres métriques populaires comme la FD ne partagent pas cette propriété, posant des défis pour la sélection de modèles distribués. Ils suggèrent que des travaux futurs pourraient explorer des techniques de confidentialité différentielle pour sécuriser davantage le processus de classement et étudier le classement sous contraintes de communication.