Résumé Technique : Vers un Apprentissage de Graphes Multimodaux Fédérés Robuste sous Hétérogénéité de Modalités

1. Formulation du Problème

L'article aborde le défi de l'apprentissage robuste face aux modalités manquantes dans les graphes multimodaux fédérés (FMG). Dans les systèmes distribués réels, les données structurées en graphes (par exemple, réseaux sociaux, systèmes de recommandation) sont souvent isolées entre plusieurs clients en raison de contraintes de confidentialité, de concurrence commerciale ou de propriété de plateforme, rendant l'entraînement centralisé inenvisageable. De plus, ces graphes souffrent fréquemment d'incomplétude de modalité, où les nœuds manquent de certaines attributs (par exemple, texte, images, vidéo) en raison d'une collecte hétérogène, de limites de stockage ou du comportement des utilisateurs.

Les approches existantes échouent à traiter efficacement cette intersection :

• Apprentissage de graphes multimodaux centralisé : Les méthodes gérant les modalités manquantes supposent un accès centralisé aux données et ignorent les défis du partage de connaissances et de la généralisation inter-clients dans les environnements fédérés.
• Apprentissage multimodal fédéré : Bien que matures pour les données non graphiques, ces méthodes ignorent généralement la topologie du graphe et les dépendances structurelles, traitant les échantillons comme indépendants.
• Apprentissage de graphes fédéré : La plupart des méthodes existantes supposent des caractéristiques de nœuds complètes et ne modélisent pas explicitement l'absence de modalité à multi-granularité.

Les auteurs identifient deux goulots d'étranglement critiques dans un pipeline naïf de génération-aggrégation pour ce problème :

1. Complétion locale isolée de la topologie : La génération de modalité côté client repose uniquement sur les sous-graphes locaux, peinant à exploiter les sémantiques globales. Cela conduit à des caractéristiques incohérentes avec les sémantiques structurelles inter-clients, pouvant induire en erreur le passage de messages dans le graphe.
2. Agrégation globale déséquilibrée en fiabilité : Les clients varient en termes de disponibilité de modalité et de fiabilité de récupération. L'agrégation standard basée sur la taille des données (par exemple, FedAvg) peut biaiser le modèle global vers les mises à jour provenant de clients ayant des signaux récupérés peu fiables ou des motifs de modalité dominants mais incomplets.

2. Méthodologie : FEDMPO

Les auteurs proposent FEDMPO, un cadre unifié conçu pour améliorer la fiabilité de la génération locale de modalité et la robustesse globale via un pipeline en quatre étapes :

Étape 1 : Encodage des Caractéristiques et du Contexte Graphique

• Désentrelacement du Masquage : Le cadre distingue entre l'absence naturelle (aucune vérité terrain n'existe) et le masquage pendant l'entraînement (modalités observées artificiellement cachées). Seules les modalités naturellement observées sont artificiellement masquées pour fournir des cibles de reconstruction fiables.
• Ancres Structurelles : Pour pallier le manque de contexte global, le modèle construit des ancres structurelles par modalité pour les caractéristiques manquantes en agrégeant les représentations des nœuds voisins où la modalité est visible. Cela fournit une a priori dérivée de la topologie pour la génération.
• Encodage du Contexte : Les nœuds sont encodés à l'aide d'un encodeur de graphe incorporant soit des plongements bruts, soit des ancres structurelles, garantissant que la représentation est enrichie par le contexte local du graphe.

Étape 2 : Génération Inter-Modalité Consciente de la Topologie

• Banque de Contexte : Au lieu de se fier uniquement aux modalités restantes du nœud lui-même, le générateur interroge une banque de contexte contenant les autres modalités visibles du nœud et les représentations de modalités visibles des voisins.
• Mécanisme d'Attention : Un mécanisme d'attention multi-têtes interroge cette banque pour récupérer des preuves inter-modalités et de voisinage.
• Stratégie de Préchauffage : Un facteur de préchauffage linéaire ($\gamma_t$) est employé. Les premiers tours d'entraînement reposent davantage sur des ancres structurelles stables (priors topologiques à faible variance) pour réduire l'instabilité des gradients, passant progressivement vers une génération inter-modalités apprise à mesure que l'entraînement progresse.
• Objectifs : Le générateur est supervisé via une perte de reconstruction sur les modalités artificiellement masquées et une perte d'alignement inter-modalités pour assurer la cohérence sémantique entre les modalités observées et récupérées.

Étape 3 : Fusion par Mélange d'Experts (MoE) Consciente de l'Absence

• Estimation de l'Incertitude : Le modèle estime un score d'incertitude de récupération pour les caractéristiques générées basé sur la représentation générée, le contexte inter-modalités et les ancres structurelles. Les modalités observées se voient attribuer une incertitude nulle.
• Routage des Experts : Un routeur pondère dynamiquement deux experts : un Expert Observé (sémantiques brutes fiables) et un Expert Récupéré (sémantiques générées). La décision de routage prend en compte la visibilité, l'incertitude et les ratios d'absence aux niveaux du nœud et du client.
• Fusion Consciente de la Fiabilité : Les modalités sont fusionnées selon leurs poids de fiabilité. Crucialement, un expert de repli structurel est introduit. Si un nœud présente un ratio d'absence élevé ou une incertitude moyenne élevée, le modèle bascule adaptativement de la fusion multimodale vers une représentation basée uniquement sur la structure, empêchant les signaux récupérés bruyants de se propager à travers le graphe.

Étape 4 : Prédiction de Tâche et Agrégation Consciente de la Fiabilité

• Objectif Local : Les clients optimisent une perte combinée incluant la performance de la tâche, la reconstruction, l'alignement et la régularisation de routage.
• Agrégation Consciente de la Fiabilité : Contrairement au FedAvg standard, le serveur agrège les mises à jour en utilisant des poids conscients de la fiabilité. Les clients téléchargent des statistiques scalaires légères (incertitude moyenne de récupération, erreur de reconstruction et ratio d'absence au niveau du client) parallèlement aux paramètres du modèle.
• Mécanisme de Pondération : Le serveur calcule un score de fiabilité qui pénalise exponentiellement les clients présentant une incertitude élevée, une erreur de reconstruction élevée ou des ratios d'absence élevés. Cela empêche les mises à jour de clients peu fiables de dominer le modèle global, atténuant le biais d'agrégation sans exclure totalement les clients.

3. Contributions Clés

1. Nouvelle Définition du Problème : L'article formalise le problème de l'apprentissage robuste face aux modalités manquantes pour les graphes multimodaux fédérés, mettant en lumière les défis couplés de la structure du graphe, de l'incomplétude de modalité et de l'hétérogénéité fédérée.
2. Cadre Novel (FEDMPO) : Il introduit un flux de travail unifié intégrant :
   • Génération Inter-Modalité Consciente de la Topologie : Exploitation de la structure de voisinage du graphe pour récupérer les caractéristiques manquantes.
   • Routage d'Experts Conscient de l'Absence : Filtrage des signaux récupérés bruyants via l'estimation d'incertitude et le repli structurel.
   • Agrégation Consciente de la Fiabilité : Réduction du poids des mises à jour de clients peu fiables basée sur les statistiques de qualité de récupération.
3. Performance Empirique : Des expériences extensives sur 6 jeux de données couvrant 3 tâches (Classification de Nœuds, Prédiction de Liens, Récupération de Modalité) démontrent que FEDMPO surpasse des bases de référence solides (incluant des méthodes avancées de FGL et d'apprentissage fédéré multimodal).
   • Atteint un gain de performance allant jusqu'à 4,10 % dans des scénarios à forte absence.
   • Atteint un gain de performance allant jusqu'à 5,65 % dans des scénarios hautement non-IID.
   • Démontre une robustesse face à des taux d'absence variables (30 %–70 %) et à l'hétérogénéité des clients.

4. Importance et Revendications

L'article revendique que FEDMPO est significatif car il va au-delà du traitement de la récupération de modalité, du raisonnement graphique et de l'optimisation fédérée comme des composants séparés. Au lieu de cela, il les couple en une seule boucle fermée où :

• La Qualité de Récupération est explicitement modélisée et utilisée pour guider la fusion.
• Le Contexte Graphique est utilisé pour informer la complétion de modalité, abordant la limitation « isolée de la topologie » des méthodes existantes.
• Les Statistiques de Fiabilité sont utilisées pour stabiliser l'agrégation globale, abordant la limitation « déséquilibrée en fiabilité » de l'apprentissage fédéré standard.

Les auteurs soulignent que bien que FEDMPO introduise une surcharge computationnelle modérée (opérant sur des représentations cachées compactes plutôt que sur des données brutes), il réalise un compromis favorable entre précision, robustesse et coût de communication. Le travail suggère que la modélisation explicite de la fiabilité de récupération est essentielle pour un apprentissage robuste de graphes multimodaux dans des environnements fédérés, particulièrement lorsque les mises à jour locales sont affectées par une disponibilité hétérogène des modalités.

L'article conclut en notant des limites, telles que la nécessité d'une modélisation plus spécialisée pour des motifs d'absence complexes du monde réel (par exemple, absence non aléatoire) et le potentiel de travaux futurs sur l'agrégation préservant la confidentialité des statistiques de fiabilité.