Résumé technique : Inférence fédérée basée sur l'embedding de consensus (CE-FI)

1. Énoncé du problème

L'article aborde le défi de permettre une inférence coopérative entre plusieurs modèles d'apprentissage automatique déployés indépendamment dans des environnements distribués. Bien que la demande croissante pour exploiter plusieurs modèles afin d'améliorer les performances d'inférence soit réelle, les cadres existants rencontrent des limitations significatives dans des contextes sensibles à la vie privée ou inter-organisationnels :

• L'apprentissage fédéré (FL) nécessite généralement le partage de mises à jour de modèles ou de paramètres, ce qui expose à des attaques par inversion de modèle et viole les contraintes de propriété intellectuelle.
• L'inférence fédérée (FI) standard suppose souvent que tous les clients partagent les mêmes données d'entrée brutes ou utilisent une architecture d'encodeur commune pour générer des représentations intermédiaires compatibles.
• Les approches d'Ensemble de périphérie (Edge Ensemble) reposent sur un encodeur partagé, ce qui est souvent irréalisable lorsque les modèles sont hétérogènes (architectures différentes) ou lorsque même une divulgation partielle du modèle est interdite.

Par conséquent, il n'existe aucun cadre permettant à des modèles préentraînés hétérogènes de coopérer au moment de l'inférence sans partager les entrées brutes, les paramètres du modèle, ni en supposant un encodeur commun, et sans nécessiter de données étiquetées pour la phase coopérative.

2. Méthodologie : Cadre CE-FI

Les auteurs proposent l'Inférence fédérée basée sur l'embedding de consensus (CE-FI), un cadre conçu pour relier des espaces de caractéristiques hétérogènes en utilisant uniquement des représentations intermédiaires et des données non étiquetées.

Modèle système

• Environnement : Un cadre inter-silos avec $K$ appareils, chacun détenant un modèle préentraîné local $M_k$ (composant un réseau de tête $M^H_k$ et un réseau de queue $M^T_k$).
• Contraintes : Les appareils ne peuvent pas partager les entrées brutes $x$, les paramètres du modèle ou les architectures. Ils ne peuvent partager que des caractéristiques intermédiaires.
• Hypothèse de données : Un jeu de données non étiqueté partagé $D_{share}$ est accessible à tous les appareils (par exemple, des données de journal publiques ou des données de capteurs), mais aucune donnée étiquetée n'est disponible pour la phase d'entraînement coopératif.

Composants principaux

CE-FI introduit deux couches apprenables par appareil, entraînées de manière auto-supervisée :

1. Couche d'Embedding de Consensus (CE) ($F_k$) :

   • Fonction : Mappe la caractéristique intermédiaire spécifique à l'appareil $z_k = M^H_k(x)$ vers un espace d'embedding partagé et indépendant de l'appareil $z'_k = F_k(z_k)$.
   • Entraînement : Optimisé par apprentissage contrastif (spécifiquement une approximation de la perte NT-Xent) en utilisant les données non étiquetées partagées. L'objectif est d'aligner les embeddings de différents appareils pour le même échantillon d'entrée vers un centroïde commun, en minimisant la distance entre $z'_i$ et $z'_j$ pour le même $x$.
   • Confidentialité : Seuls les embeddings de consensus sont échangés ; les entrées brutes et les caractéristiques intermédiaires originales restent locales.

2. Couche de Sortie Coopérative (CO) ($G_k$) :

   • Fonction : Mappe l'embedding de consensus $z'_k$ vers les logits de sortie spécifiques à la tâche $m'_k = G_k(z'_k)$.
   • Entraînement : Optimisé par distillation de connaissances en utilisant le modèle préentraîné local comme « enseignant ». La couche CO minimise la divergence de Kullback–Leibler (KL) entre sa sortie et les logits produits par le réseau de queue du modèle local ($M^T_k$) sur les données non étiquetées partagées.
   • Objectif : Permettre à l'appareil de générer des prédictions précises uniquement à partir de l'embedding de consensus partagé.

Inférence et Agrégation

Pendant l'inférence, un appareil traite une entrée $x$ via sa tête et les couches CE pour générer un embedding de consensus, qui est partagé avec les autres appareils. Chaque appareil destinataire traite cet embedding via sa couche CO pour générer des logits.

• Stratégie d'ensemble : L'article évalue diverses méthodes d'agrégation. Il met en évidence que l'Énergie Minimale (sélection de l'appareil ayant le score d'énergie le plus bas dérivé des logits) est efficace pour gérer les échantillons hors distribution (OOD) et les déséquilibres sévères d'étiquettes, surpassant souvent le simple moyennage ou le vote dans des contextes fortement non-IID.

3. Contributions clés

L'article énonce quatre contributions principales :

1. Inférence coopérative sans partage d'entrées ni de modèles : CE-FI réalise une coopération entre des modèles préentraînés hétérogènes sans partager de paramètres, d'entrées brutes, ni en supposant un encodeur commun. Il repose uniquement sur l'échange de caractéristiques intermédiaires et l'apprentissage auto-supervisé.
2. Entraînement auto-supervisé : Le cadre introduit une couche d'embedding basée sur l'apprentissage contrastif et une couche de prédiction basée sur la distillation de connaissances, toutes deux entraînées exclusivement sur des données non étiquetées, réduisant ainsi les coûts d'annotation.
3. Caractérisation théorique : Les auteurs analysent formellement la relation entre CE-FI et la FI standard avec partage d'entrées. Ils démontrent que, dans des conditions d'alignement idéales, CE-FI est théoriquement équivalente à la FI avec partage d'entrées, et ils dérivent des bornes montrant que la dégradation des performances est proportionnelle à l'erreur d'alignement de l'embedding de consensus.
4. Évaluation complète : Des expériences extensives sur des tâches d'images (CIFAR-10/100), de texte (IMDB) et de séries temporelles (UCI-HAR) dans diverses conditions non-IID (y compris des ensembles d'étiquettes disjoints) valident l'efficacité du cadre.

4. Résultats expérimentaux

• Performance par rapport aux bases de référence : CE-FI surpasse systématiquement l'Inférence Solo sur toutes les modalités et conditions non-IID. Dans de nombreux scénarios, elle approche la performance de la FI avec partage d'entrées et de l'Ensemble de périphérie, malgré des contraintes plus strictes.
• Hétérogénéité : Le cadre reste efficace même lorsque les appareils utilisent différentes architectures d'encodeur (par exemple, ViT, ResNet, ConvNeXt) et différents objectifs de préentraînement (Supervisé, CLIP, DINOv3).
• Sensibilité de l'ensemble : Le choix de la stratégie d'ensemble est critique. Si le vote doux fonctionne bien dans des contextes non-IID légers, la sélection par Énergie Minimale améliore considérablement la robustesse dans des conditions non-IID sévères (déséquilibrées/disjointes) en filtrant les prédictions peu fiables provenant d'appareils ne disposant pas de classes spécifiques.
• À partir de zéro vs Préentraîné : CE-FI fonctionne même lorsque les modèles sont entraînés à partir de zéro, bien que les gains de performance soient plus prononcés avec des encodeurs préentraînés. L'étude identifie que la qualité de la structure sémantique sous-jacente dans les espaces de caractéristiques locaux limite les performances dans les configurations à partir de zéro.
• Analyse des goulots d'étranglement : Les études d'ablation révèlent que l'alignement des représentations dans la couche CE est le principal goulot d'étranglement. Forcer un espace d'embedding de consensus unifié améliore considérablement la précision, en particulier dans les configurations à partir de zéro, tandis que l'exclusion des données OOD de l'entraînement a un impact négligeable.
• Confidentialité et Reconstruction : Les attaques par reconstruction (utilisant DCGAN) sur les embeddings de consensus ont produit des reconstructions de faible qualité (RMSE ~0,22, SSIM ~0,16), suggérant que le partage d'embeddings de consensus ne révèle pas trivialement les entrées brutes, bien qu'il ne soit pas immunisé contre tous les risques de confidentialité.
• Coût de communication : Dans les tâches de classification d'images, la transmission d'embeddings de consensus de 256 dimensions (2,1 Ko) était plus efficace que la transmission d'images brutes (4,6–6,2 Ko).

5. Signification et affirmations

L'article affirme que CE-FI représente une étape significative vers une IA distribuée pratique et respectueuse de la vie privée. En éliminant les hypothèses d'entrées partagées et d'encodeurs communs, elle permet la coopération dans des scénarios où l'inférence fédérée traditionnelle est irréalisable (par exemple, diagnostics médicaux avec des modèles propriétaires et des lois strictes sur la confidentialité des données).

Les auteurs maintiennent un ton modeste concernant les résultats :

• Ils reconnaissent que, bien que CE-FI approche la performance de la FI conventionnelle, un écart subsiste, principalement dû à un alignement de représentation imparfait.
• Ils notent que la stratégie d'ensemble optimale dépend fortement de la modalité et du degré de non-IID, suggérant qu'une méthode d'agrégation « universelle » est sous-optimale.
• Ils identifient l'alignement des représentations comme le défi central pour les améliorations futures, plutôt que le filtrage des données ou la sélection de l'ensemble seul.

En fin de compte, ce travail fournit une preuve de concept que l'inférence coopérative est réalisable sous les contraintes les plus strictes de confidentialité des données et des modèles, en exploitant uniquement des données non étiquetées partagées et des représentations intermédiaires.