Guiding Federated Graph Recommendation with LLM-encoded knowledge

Technische Zusammenfassung: Leitführung der föderierten Graph-Empfehlung durch LLM-kodiertes Wissen

Problemstellung
Graphbasierte Empfehlungssysteme extrahieren effektiv kollaborative Signale aus Nutzer-Item-Interaktionen, und Federated Learning (FL) ermöglicht das Training dieser Modelle unter Wahrung der Nutzerprivatsphäre. Eine kritische Herausforderung bleibt jedoch in der föderierten Graph-Empfehlung: die Aggregation von Graph-Repräsentationen über verteilte, nicht-IID-Clients (nicht unabhängig und identisch verteilt) hinweg. In realistischen föderierten Umgebungen weisen Client-Daten oft unterschiedliche Präferenzdomänen und Interaktionsdichten auf. Folglich sind lokal gelernte strukturelle Embeddings häufig falsch ausgerichtet, und eine naive Parameter-Mittelung scheitert daran, aussagekräftige clientübergreifende Beziehungen zu erfassen. Bestehende föderierte Graph-Methoden verlassen sich typischerweise ausschließlich auf die strukturelle Aggregation und vernachlässigen dabei den reichen, globalen semantischen Kontext, der in Large Language Models (LLMs) verfügbar ist. Dies führt zu einem Szenario, in dem strukturell ähnliche Muster zu semantisch unterschiedlichen Nutzerintentionen führen können, oder Gemeinschaften mit geteilten semantischen Präferenzen divergente lokale Graphstrukturen aufweisen können, was eine direkte strukturelle Mittelung scheitern lässt.

Methodik: SemFGRec
Die Autoren schlagen SemFGRec (Semantic Federated Graph Recommendation) vor, ein Framework, das darauf ausgelegt ist, die strukturelle Kollaboration unter Verwendung semantischer Signale zu regulieren, die aus LLMs abgeleitet werden. Die Methodik basiert auf dem Prinzip, dass eine clientübergreifende Ausrichtung zuerst auf der semantischen Ebene etabliert werden sollte, um die strukturelle Verschmelzung zu modulieren.

1. Lokales Lernen kollaborativer Repräsentationen:
   Jeder Client trainiert einen leichtgewichtigen Graph-Encoder (basierend auf LightGCN) auf seinem lokalen Nutzer-Item-Interaktionsgraphen, um Nutzer- und Item-Embeddings zu lernen. Dies erfasst hochdimensionale kollaborative Signale, ohne dass Rohdaten der Interaktionen geteilt werden müssen.

2. Adaptive Community-Abstraktion:
   Anstatt einzelne Nutzer-Embeddings zu aggregieren, partitionieren die Clients Nutzer in Präferenz-Communities mittels HDBSCAN (einem dichte-basierten Clustering-Algorithmus, der die Anzahl der Cluster automatisch bestimmt). Für jede Community $c$ generiert der Client zwei Deskriptoren:

   • Struktureller Prototyp ($P_{k,c}$): Der Durchschnitt der Nutzer-Embeddings innerhalb der Community, der die Geometrie der kollaborativen Präferenz zusammenfasst.
   • Semantisches Embedding ($S_{k,c}$): Generiert durch die Aggregation der textuellen Metadaten (Titel, Beschreibungen) der Top-$L$ am häufigsten interagierten Items in der Community und die Kodierung dieser Zusammenfassung mittels eines eingefrorenen LLM. Dies erfasst thematische Charakteristika unabhängig von spezifischen Interaktionsmustern.

3. Semantisch gesteuerte strukturelle Verschmelzung (Serverseitig):
   Der zentrale Server aggregiert Item-Embeddings und konstruiert einen semantik-zentrierten Community-Graphen über alle Clients hinweg.

   • Ähnlichkeitsberechnung: Der Server berechnet die semantische Ähnlichkeit ($s_{a,b}$) zwischen Community-Embeddings und die strukturelle Ähnlichkeit ($r_{a,b}$) zwischen strukturellen Prototypen.
   • Verschmelzungskriterium: Ein kombinierter Ähnlichkeitswert $q_{a,b} = s_{a,b}(1 + \lambda r_{a,b})$ wird verwendet. Hierbei fungiert die semantische Ähnlichkeit als primäres Ausrichtungssignal, während die strukturelle Ähnlichkeit als Modulator dient. Communities werden nur verschmolzen, wenn ihre semantische Ähnlichkeit hoch ist, wodurch sichergestellt wird, dass eine strukturelle Verschmelzung nur zwischen semantisch kohärenten Gruppen erfolgt.
   • Prototypengenerierung: Verschmolzene Communities bilden globale strukturelle Prototypen ($\tilde{P}_g$), die an die Clients zurückgesendet werden.

4. Ausrichtungsorientiertes Training:
   Clients optimieren eine gemeinsame Zielfunktion, die aus dem lokalen Bayesian Personalized Ranking (BPR) Loss und einem Alignment-Loss besteht. Der Alignment-Loss minimiert den Abstand zwischen den lokalen strukturellen Prototypen des Clients und den global verschmolzenen Prototypen, jedoch nur für jene Communities, die semantisch abgeglichen wurden. Dies bewahrt die lokale Personalisierung bei gleichzeitiger Ermöglichung eines prinzipiengetreuen Wissenstransfers.

Wesentliche Beiträge
Das Paper beansprucht drei primäre Beiträge:

1. SemFGRec Framework: Die Einführung eines semantisch gesteuerten Frameworks für die föderierte Graph-Empfehlung, das LLM-kodierte semantische Signale nutzt, um die Art und Weise zu regulieren, wie strukturelle Muster zwischen Clients geteilt werden.
2. Semantisch-bewusster Kollaborationsmechanismus: Ein neuartiger Mechanismus, der die Robustheit unter Nicht-IID-Verteilungen verbessert, indem er die semantische Konsistenz vor der strukturellen Verschmelzung priorisiert, ohne dabei Rohinteraktionsdaten zu übertragen.
3. Empirische Validierung: Umfassende Experimente, die konsistente Leistungssteigerungen und verbesserte Stabilität gegenüber starken zentralisierten, föderierten und graphbasierten Baselines in heterogenen Umgebungen demonstrieren.

Experimentelle Ergebnisse
Die Autoren evaluierten SemFGRec auf drei Benchmark-Datensätzen: MovieLens-100K, MovieLens-1M und Amazon Video.

• Gesamtleistung: Unter Nicht-IID-Einstellungen ($\alpha=0.3$) übertraf SemFGRec konsistent die stärkste Baseline (UFGraphFR). Beispielsweise erreichte es auf MovieLens-100K einen HR@10 von 77,7 % im Vergleich zu 75,7 % der Baseline und ein NDCG@10 von 49,0 % gegenüber 47,0 %.
• Robustheit gegenüber Heterogenität: Das Framework zeigte eine überlegene Stabilität, wenn die Datenheterogenität zunahm (sinkendes $\alpha$ von 1,0 auf 0,1). Während Baselines wie UFGraphFR einen signifikanten Leistungsabfall zeigten, behielt SemFGRec eine hohe Genauigkeit bei, was die Effektivität der semantik-ersten Verschmelzungsstrategie bestätigt.
• Ablationsstudien: Das Entfernen der semantischen Führung führte zum signifikantesten Leistungsabfall, was validiert, dass die semantische Abstraktion die kritischste Komponente ist. Die Einbeziehung der strukturellen Modulation und der ausrichtungsbewussten Optimierung trug zusätzlich zur Effektivität des Frameworks bei.
• Hyperparameter-Sensitivität: Die Methode zeigte Stabilität über einen breiten Bereich von Hyperparameterwerten für die strukturelle Modulation und die Gewichtung des Alignments.

Bedeutung und Ansprüche
Das Paper postuliert, dass die Bedeutung dieser Arbeit darin liegt, die Fehlabstimmung von strukturellen Embeddings in föderierten Settings durch die Einführung eines „Semantik-zuerst“-Ansatzes zu adressieren. Durch die Argumentation, dass Communities, die dieselbe Präferenzintention teilen, möglicherweise nicht identische Graph-Topologien aufweisen, behaupten die Autoren, dass die semantische Abstraktion ein stabileres Signal für die clientübergreifende Kollaboration bietet. Das Framework ermöglicht einen effektiven Wissenstransfer und eine verbesserte Empfehlungsgenauigkeit bei strikter Wahrung der Datenlokalität und Privatsphäre. Die Autoren kommen zu dem Schluss, dass die Integration von semantischer Abstraktion mit struktureller Graphmodellierung auf Community-Ebene eine robuste Lösung für heterogene föderierte Umgebungen bietet, die Methoden übertrifft, die sich rein auf die strukturelle Aggregation verlassen oder semantische und strukturelle Signale isoliert betrachten. Zukünftige Arbeiten werden auf die systemseitige Evaluierung (Kommunikationskosten, Laufzeit) und die Untersuchung dynamischer semantischer Aktualisierungsstrategien fokussiert.