Guiding Federated Graph Recommendation with LLM-encoded knowledge

Technische Samenvatting: Begeleiding van Federated Graph Recommendation met door LLM-gecodeerde Kennis

Probleemstelling
Grafiekgebaseerde aanbevelingssystemen extraheren effectief collaboratieve signalen uit gebruikers-iteminteracties, en Federated Learning (FL) maakt het mogelijk om deze modellen te trainen terwijl de privacy van de gebruiker behouden blijft. Een kritieke uitdaging blijft echter bij federated grafiek-aanbeveling: het aggregeren van grafiekrepresentaties over gedistribueerde, non-IID (niet-onafhankelijke en niet-identiek verdeelde) clients. In realistische federated omgevingen vertonen clientgegevens vaak verschillende voorkeursdomeinen en interactiedichtheden. Gevolgelijk raken lokaal geleerde structurele embeddings vaak misaligned, en faalt naïeve parametergemiddelde bij het vastleggen van betekenisvolle cross-client relaties. Bestaande federated grafiekmethoden vertrouwen doorga \text{} met de nadruk op structurele aggregatie, waarbij de rijke, globale semantische context die beschikbaar is in Large Language Models (LLMs) wordt genegeerd. Dit leidt tot een scenario waarin structureel vergelijkbare patronen kunnen corresponderen met semantisch verschillende gebruikersintenties, of gemeenschappen met gedeelde semantische voorkeuren een uiteenlopende lokale grafiekstructuur kunnen vertonen, waardoor directe structurele aggregatie faalt.

Methodologie: SemFGRec
De auteurs stellen SemFGRec (Semantic Federated Graph Recommendation) voor, een framework dat ontworpen is om structurele samenwerking te reguleren met behulp van semantische signalen afgeleid van LLMs. De methodologie werkt volgens het principe dat cross-client alignment eerst op semantisch niveau moet worden gevestigd om de structurele fusie te moduleren.

1. Lokale Collaboratieve Representatie-lering:
   Elke client traint een lichtgewicht grafiek-encoder (gebaseerd op LightGCN) op zijn lokale gebruikers-item interactiegrafiek om gebruikers- en itemembeddings te leren. Dit legt hoogwaardige collaboratieve signalen vast zonder ruwe interactiedata te delen.

2. Adaptieve Gemeenschapsabstractie:
   In plaats van individuele gebruikersembeddings te aggregeren, partitioneren clients gebruikers in voorkeursgemeenschappen met behulp van HDBSCAN (een dichtheidgebaseerd clusteringalgoritme dat het aantal clusters automatisch bepaalt). Voor elke gemeenschap $c$ genereert de client twee beschrijvers:

   • Structureel Prototype ($P_{k,c}$): Het gemiddelde van de gebruikersembeddings binnen de gemeenschap, wat de geometrie van de collaboratieve voorkeur samenvat.
   • Semantische Embedding ($S_{k,c}$): Gegenereerd door de tekstuele metadata (titels, beschrijvingen) van de top-$L$ meest geïnteracteerde items in de gemeenschap te aggregeren en deze samenvatting te coderen met behulp van een bevroren LLM. Dit legt thematische kenmerken vast die onafhankelijk zijn van specifieke interactiepatronen.

3. Semantisch Geleide Structurele Fusie (Serverzijde):
   De centrale server aggregeert itemembeddings en construeert een semantisch-georiënteerde gemeenschapsgrafiek over alle clients.

   • Gelijkenisberekening: De server berekent de semantische gelijkenis ($s_{a,b}$) tussen gemeenschapsembeddings en de structurele gelijkenis ($r_{a,b}$) tussen structurele prototypen.
   • Fusiecriterium: Een gecombineerde gelijkenisscore $q_{a,b} = s_{a,b}(1 + \lambda r_{a,b})$ wordt gebruikt. Hierbij fungeert de semantische gelijkenis als het primaire alignment-signaal, terwijl de structurele gelijkenis als een modulator dient. Gemeenschappen worden alleen samengevoegd als hun semantische gelijkenis hoog is, wat ervoor zorgt dat structurele fusie alleen plaatsvindt tussen semantisch coherente groepen.
   • Prototype Generatie: Samengevoegde gemeenschappen vormen globale structurele prototypes ($\tilde{P}_g$), die terug naar de clients worden gestuurd.

4. Alignment-bewuste Training:
   Clients optimaliseren een gezamenlijke objectieffunctie bestaande uit de lokale Bayesian Personalized Ranking (BPR) loss en een alignment loss. De alignment loss minimaliseert de afstand tussen de lokale structurele prototypes van de client en de globale samengevoegde prototypes, maar alleen voor gemeenschappen die semantisch zijn gealigneerd. Dit behoudt lokale personalisatie terwijl het doelgerichte kennisoverdracht mogelijk wordt gemaakt.

Belangrijkste Bijdragen
Het artikel claimt drie primaire bijdragen:

1. SemFGRec Framework: De introductie van een semantisch geleid framework voor federated grafiek-aanbeveling dat LLM-gecodeerde semantische signalen gebruikt om te reguleren hoe structurele patronen tussen clients worden gedeeld.
2. Semantisch Bewust Samenwerkingsmechanisme: Een nieuw mechanisme dat de robuustheid onder non-IID distributies verbetert door prioriteit te geven aan semantische consistentie vóór structurele fusie, alles zonder het verzenden van ruwe interactiedata.
3. Empirische Validatie: Uitgebreide experimenten die consistente prestatiewinsten en verbeterde stabiliteit laten zien ten opzichte van sterke gecentraliseerde, federated en grafiekgebaseerde baselines in heterogene omgevingen.

Experimentele Resultaten
De auteurs evalueerden SemFGRec op drie benchmark-datasets: MovieLens-100K, MovieLens-1M en Amazon Video.

• Algemene Prestaties: Onder non-IID instellingen ($\alpha=0.3$) presteerde SemFGRec consequent beter dan de sterkste baseline (UFGraphFR). Zo behaalde het op MovieLens-100K een HR@10 van 77,7% vergeleken met 75,7% voor de baseline, en een NDCG@10 van 49,0% versus 47,0%.
• Robuustheid tegen Heterogeniteit: Het framework vertoonde superieure stabiliteit naarmate de data-heterogeniteit toenam (afname van $\alpha$ van 1,0 naar 0,1). Terwijl baselines zoals UFGraphFR een significante prestatiedegradatie lieten zien, behield Sem_FGRec een hoge nauwkeurigheid, wat de effectiviteit van de semantisch-eerst fusiestrategie bevestigt.
• Ablatie-studies: Het verwijderen van semantische sturing resulteerde in de meest significante prestatiedaling, wat valideert dat semantische abstractie het meest kritieke onderdeel is. De inclusie van structurele modulatie en alignment-bewuste optimalisatie droeg eveneens bij aan de effectiviteit van het framework.
• Hyperparameter Gevoeligheid: De methode toonde stabiliteit over een breed bereik van hyperparameterwaarden voor structurele modulatie en alignment weights.

Betekenis en Claims
Het artikel stelt dat de betekenis van dit werk ligt in het adresseren van de misalignment van structurele embeddings in federated omgevingen door een "semantisch-eerst" benadering te introduceren. Door te argumenteren dat gemeenschappen die dezelfde voorkeursintentie delen, mogelijk geen identieke grafiektopologieën vertonen, claimen de auteurs dat semantische abstractie een stabieler signaal biedt voor cross-client samenwerking. Het framework maakt effectieve kennisoverdracht en verbeterde aanbevelingsnauwkeurigheid mogelijk, terwijl de datalocaliteit en privacy strikt worden gewaarborgd. De auteurs concluderen dat de integratie van semantische abstractie met structurele grafiekmodellering op gemeenschapsniveau een robuuste oplossing biedt voor heterogene federated omgevingen, waarbij het beter presteert dan methoden die uitsluitend vertrouwen op structurele aggregatie of semantische en structurele signalen in isolatie behandelen. Toekomstig werk richt zich op systeem-niveau evaluaties (communicatiekosten, runtime) en het verkennen van dynamische semantische update-strategieën.