FedHyperM: Modality-Sensitive Federated Hypergraph Learning for Heterogeneous Multimodal Edge Intelligence

Résumé Technique : FedHyperM

Énoncé du Problème
L'apprentissage fédéré (FL - Federated Learning) permet aux dispositifs de bord (edge devices) d'entraîner des modèles de manière collaborative sans partager de données brutes, répondant ainsi aux préoccupations de confidentialité dans l'intelligence en périphérie (EC - Edge Intelligence). Cependant, les déploiements réels en périphérie font face à une hétérogénéité de modalité significative : les dispositifs possèdent souvent des sous-ensembles différents de capteurs (par exemple, certains possèdent des caméras RGB tandis que d'autres n'ont que des capteurs thermiques ou audio) en raison de différences matérielles, de conditions de détection variables ou de défaillances de capteurs.

Dans ces contextes hétérogènes, les stratégies d'agrégation conventionnelles de l'apprentissage fédéré (comme FedAvg) deviennent peu fiables. Elles supposent que les paramètres du modèle sont appris à partir d'espaces d'entrée comparables. Lorsque les dispositifs entraînent sur différentes combinaisons de modalités, leurs paramètres appris représentent des sources de preuves différentes, ce qui fait qu'une agrégation directe introduit du bruit et dégrade la performance du modèle global. De plus, les méthodes existantes de FL multimodal traitent souvent les modalités manquantes comme des données à reconstruire ou à aligner, plutôt que de concevoir des cadres capables d'opérer nativement sur des ensembles de modalités disponibles variables tout en préservant les corrélations d'ordre supérieur entre elles.

Méthodologie : FedHyperM
Les auteurs proposent FedHyperM, un cadre d'apprentissage multimodal fédéré respectant la vie privée, conçu spécifiquement pour les dispositifs de bord soumis à l'hétérogénéité de modalité. Le cadre fonctionne via trois processus clés :

1. Extraction de Caractéristiques Multimodales Locales et Gel :
   Chaque dispositif de bord initialise un extracteur de caractéristiques multimodales à l'aide de modèles pré-entraînés spécifiques à ses modalités disponibles (par exemple, BERT pour le texte, CLIP pour les images, LSTM pour les signaux, BEATS pour l'audio). Pendant la phase d'apprentissage collaboratif, ces extracteurs sont gelés. Cela garantit que l'espace de représentation des caractéristiques reste cohérent tandis que le modèle se concentre sur l'apprentissage des relations entre les modalités.

2. Prédiction Multimodale Basée sur l'Hypergraphe (Côté Bord) :
   Au lieu de traiter les modalités comme des entrées indépendantes, FedHyperM les modélise sous la forme d'un hypergraphe où les caractéristiques spécifiques aux modalités sont des nœuds.

   • Construction Adaptative : Le cadre construit dynamiquement des hyperarêtes pour capturer les corrélations d'ordre élevé. Il définit des « nœuds ancres » (représentant une modalité spécifique) et les connecte dynamiquement à des « nœuds associés » (autres modalités) en fonction de coefficients de reconstruction appris.
   • Objectif d'Apprentissage : Le système minimise une perte de reconstruction (mesurant la capacité d'un nœud ancre à être reconstruit à partir de ses nœuds associés) régularisée par les normes $L_1$ et $L_2$ pour contrôler la parcimonie et l'impact des valeurs aberrantes.
   • Prédiction : Un mécanisme d'attention multi-tête agrège les plongements d'hyperarêtes pour mettre à jour les plongements de nœuds, qui sont ensuite transmis à un Perceptron Multicouche (MLP) pour la prédiction. Cela permet au modèle d'apprendre des relations complexes et de niveau groupe parmi les modalités spécifiques disponibles sur ce dispositif.

3. Agrégation Sensible aux Modalités (Côté Serveur) :
   Pour relever le défi de l'agrégation de modèles entraînés sur différents ensembles de modalités, FedHyperM introduit un mécanisme d'Agrégation Sensible aux Modalités (MSA - Modality-Sensitive Aggregation).

   • Stratégie de Pondération : Au lieu d'une moyenne uniforme, le serveur calcule les poids d'agrégation basés sur la Distance d'Édition Minimale (MinED - Minimum Edit Distance) entre les ensembles de noms de modalités disponibles des dispositifs voisins.
   • Logique : Une MinED plus petite implique une plus grande similitude dans la disponibilité des modalités, conduisant à un poids d'agrégation plus élevé. Cela garantit que les paramètres des dispositifs ayant des configurations de modalités similaires contribuent davantage à la mise à jour globale, atténuant le bruit causé par l'agrégation de preuves incompatibles.

Contributions Clés

• Cadre Novateur : La proposition de FedHyperM, un cadre collaboratif spécifiquement conçu pour faciliter l'apprentissage multimodal fédéré à travers des dispositifs de bord présentant une disponibilité de modalité hétérogène.
• Module d'Apprentissage par Hypergraphe : La conception d'un module de prédiction basé sur l'hypergraphe qui traite les caractéristiques des modalités comme des nœuds et construit de manière adaptative des hyperarêtes pour capturer les corrélations d'ordre élevé et non-paire entre les caractéristiques multimodales.
• Mécanisme MSA : Le développement d'une stratégie d'agrégation sensible aux modalités utilisant la Distance d'Édition Minimale (MinED) pour pondérer les mises à jour des modèles, garantissant que l'agrégation tient compte de la composition de modalité de chaque dispositif de bord.
• Validation Empirique : Des expériences approfondies démontrant que le cadre gère efficacement l'hétérogénéité des modalités sans nécessiter de partage de données brutes ou d'imputation complexe des modalités manquantes.

Résultats Expérimentaux
Les auteurs ont évalué FedHyperM sur le jeu de données UR-FALL (détection de chute à l'aide de vidéos RGB-profondeur) sous trois Taux d'Existence de Modalité (MER : $\rho = 0,5, 0,7, 0,8$), simulant des degrés variables de manque de modalités. Ils ont comparé le cadre à cinq bases de référence : FedAvg, FedCor, FedProx, AutoFed et FedInMM.

• Gains de Performance : FedHyperM a systématiquement surpassé toutes les bases de référence dans tous les réglages MER.
  • Précision (Accuracy) : Amélioration de la précision moyenne de 3,64 % à 22,33 % par rapport aux bases de référence.
  • F1-Score : Amélioration du F1-score moyen de 2,91 % à 26,82 %.
  • Robustesse : Le cadre a montré une force particulière dans les métriques de "Pire Précision" (W. Acc) et de "Pire F1" (W. F1), indiquant qu'il stabilise les performances même pour les dispositifs ayant les ensembles de modalités les plus limités.
• Études d'Ablation :
  • Le retrait du module d'hypergraphe (sans HyperG) a entraîné une chute de performance d'environ 6,6 % de la précision moyenne, confirmant la nécessité de capturer les corrélations d'ordre élevé.
  • Le remplacement de la MSA par une moyenne simple (sans MSA) a provoqué une baisse plus importante (~9,15 % de la précision moyenne), validant que la pondération sensible aux modalités est critique pour une agrégation hétérogène.
• Sensibilité aux Hyperparamètres : Le modèle a démontré sa stabilité, avec une performance optimale observée à $\alpha = 0,3$ et $\beta = 0,5$ (hyperparamètres pour la régularisation $L_1$ et $L_2$).

Signification
L'article affirme que FedHyperM répond à une lacune fondamentale de l'intelligence en périphérie : la capacité d'apprendre de manière collaborative à partir de données de capteurs distribuées et hétérogènes sans compromettre la confidentialité ou nécessiter l'imputation de données. En traitant l'hétérogénéité des modalités comme une caractéristique structurelle à modéliser via des hypergraphes et à pondérer via la distance d'édition, plutôt que comme un défaut à corriger, le cadre permet des modèles globaux plus robustes et précis dans des scénarios réels de périphérie où la disponibilité des capteurs est irrégulière. Les résultats suggèrent que la modélisation explicite des corrélations de modalités d'ordre élevé et le respect des poids d'agrégation spécifiques aux modalités sont essentiels pour la prochaine génération de systèmes multimodaux fédérés.