Guiding Federated Graph Recommendation with LLM-encoded knowledge

Résumé Technique : Guider la recommandation de graphes fédérée par l'encodage de connaissances via les LLM

Énoncé du problème
Les systèmes de recommandation basés sur les graphes extraient efficacement les signaux collaboratifs à partir des interactions utilisateur-article, et l'apprentissage fédéré (Federated Learning - FL) permet d'entraîner ces modèles tout en préservant la confidentialité des utilisateurs. Cependant, un défi critique subsiste dans la recommandation de graphes fédérée : l'agrégation des représentations de graphes à travers des clients distribués et non-IID (non-indépendants et identiquement distribués). Dans des environnements fédérés réalistes, les données des clients présentent souvent des domaines de préférences et des densités d'interaction distincts. Par conséquent, les plongements structurels appris localement sont fréquemment mal alignés, et la moyenne naïve des paramètres ne parvient pas à capturer des relations inter-clients significatives. Les méthodes de graphes fédérés existantes reposent généralement exclusivement sur l'agrégation structurelle, négligeant le riche contexte sémantique global disponible dans les grands modèles de langage (LLM). Cela conduit à un scénario où des motifs structurellement similaires peuvent correspondre à des intentions utilisateur sémantiquement différentes, ou des communautés partageant des préférences sémantiques peuvent présenter des structures de graphes locales divergentes, provoquant l'échec de l'agrégation structurelle directe.

Méthodologie : SemFGRec
Les auteurs proposent SemFGRec (Semantic Federated Graph Recommendation), un cadre conçu pour réguler la collaboration structurelle en utilisant des signaux sémantiques dérivés des LLM. La méthodologie repose sur le principe selon lequel l'alignement inter-clients doit d'abord être établi au niveau sémantique pour moduler la fusion structurelle.

1. Apprentissage de la représentation collaborative locale :
   Chaque client entraîne un encodeur de graphe léger (basé sur LightGCN) sur son graphe d'interaction utilisateur-article local pour apprendre les plongements (embeddings) des utilisateurs et des articles. Cela capture des signaux collaboratifs d'ordre supérieur sans partager de données d'interaction brutes.

2. Abstraction communautaire adaptative :
   Au lieu d'agréger les plongements d'utilisateurs individuels, les clients partitionnent les utilisateurs en communautés de préférence en utilisant HDBSCAN (un algorithme de clustering basé sur la densité qui détermine automatiquement le nombre de clusters). Pour chaque communauté $c$, le client génère deux descripteurs :

   • Prototype Structurel ($P_{k,c}$) : La moyenne des plongements d'utilisateurs au sein de la communauté, résumant la géométrie de la préférence collaborative.
   • Plongement Sémantique ($S_{k,c}$) : Généré en agrégeant les métadonnées textuelles (titres, descriptions) des $L$ articles les plus interagis dans la communauté et en encodant ce résumé à l'aide d'un LLM gelé. Cela capture les caractéristiques thématiques indépendamment des schémas d'interaction spécifiques.

3. Fusion structurelle guidée par la sémantique (côté serveur) :
   Le serveur central agrège les plongements d'articles et construit un graphe de communauté sémantique à travers tous les clients.

   • Calcul de similitude : Le serveur calcule la similitude sémantique ($s_{a,b}$) entre les plongements de communauté et la similitude structurelle ($r_{a,b}$) entre les prototypes structurels.
   • Critère de fusion : Un score de similitude combiné $q_{a,b} = s_{a,b}(1 + \lambda r_{a,b})$ est utilisé. Ici, la similitude sémantique agit comme le signal d'alignement primaire, tandis que la similitude structurelle agit comme un modulateur. Les communautés sont fusionnées uniquement si leur similitude sémantique est élevée, garantissant que la fusion structurelle ne se produit qu'entre des groupes sémantiquement cohérents.
   • Génération de prototypes : Les communautés fusionnées forment des prototypes structurels globaux ($\tilde{P}_g$), qui sont redistribués aux clients.

4. Entraînement sensible à l'alignement :
   Les clients optimisent une fonction d'objectif conjointe comprenant la perte BPR (Bayesian Personalized Ranking) locale et une perte d'alignement. La perte d'alignement minimise la distance entre les prototypes structurels locaux du client et les prototypes fusionnés globaux, mais uniquement pour les communautés qui ont été sémantiquement alignées. Cela préserve la personnalisation locale tout en permettant un transfert de connaissances fondé sur des principes.

Principales contributions
Le papier revendique trois contributions primaires :

1. Cadre SemFGRec : L'introduction d'un cadre de recommandation de graphes fédérée guidé par la sémantique qui utilise des signaux sémantiques encodés par LLM pour réguler la manière dont les motifs structurels sont partagés entre les clients.
2. Mécanisme de collaboration sensible à la sémantique : Un mécanisme novateur qui améliore la robustesse sous des distributions non-IID en priorisant la cohérence sémantique avant la fusion structurelle, le tout sans transmettre de données d'interaction brutes.
3. Validation empirique : Des expériences exhaustives démontrant des gains de performance constants et une stabilité améliorée par rapport aux bases de référence centralisées, fédérées et basées sur les graphes dans des environnements hétérogènes.

Résultats expérimentaux
Les auteurs ont évalué SemFGRec sur trois jeux de données de référence : MovieLens-100K, MovieLens-1M et Amazon Video.

• Performance globale : Dans des configurations non-IID ($\alpha=0.3$), SemFGRec a systématiquement surpassé la base de référence la plus forte (UFGraphFR). Par exemple, sur MovieLens-100K, il a atteint un HR@10 de 77,7 % contre 75,7 % pour la base de référence, et un NDCG@10 de 49,0 % contre 47,0 %.
• Robustesse à l'hétérogénéité : Le cadre a démontré une stabilité supérieure à mesure que l'hétérogénéité des données augmentait (diminution de $\alpha$ de 1,0 à 0,1). Alors que les bases de référence comme UFGraphFR montraient une dégradation significative des performances, SemFGRec maintenait une précision élevée, confirmant l'efficacité de la stratégie de fusion "sémantique d'abord".
• Études d'ablation : Le retrait de la guidance sémantique a entraîné la chute de performance la plus importante, validant que l'abstraction sémantique est la composante la plus critique. L'inclusion de la modulation structurelle et de l'optimisation sensible à l'alignement a également contribué à l'efficacité du cadre.
• Sensibilité aux hyperparamètres : La méthode a montré une stabilité sur une large gamme de valeurs de paramètres pour la modulation structurelle et les poids d'alignement.

Signification et affirmations
Le papier pose que la signification de ce travail réside dans le traitement du désalignement des plongements structurels dans les contextes fédérés en introduisant une approche "sémantique d'abord". En soutenant que les communautés partageant une intention de préférence peuvent ne pas présenter des topologies de graphes identiques, les auteurs affirment que l'abstraction sémantique fournit un signal plus stable pour la collaboration inter-clients. Le cadre permet un transfert de connaissances efficace et une amélioration de la précision de la recommandation tout en respectant strictement la localité des données et la confidentialité. Les auteurs concluent que l'intégration de l'abstraction sémantique avec la modélisation de graphes structurels au niveau de la communauté offre une solution robuste pour les environnements fédérés hétérogènes, surpassant les méthodes qui reposent uniquement sur l'agrégation structurelle ou qui traitent les signaux sémantiques et structurels de manière isolée. Les travaux futurs identifiés se concentrent sur les évaluations au niveau du système (coûts de communication, temps d'exécution) et sur l'exploration de stratégies de mise à jour sémantique dynamique.