Guiding Federated Graph Recommendation with LLM-encoded knowledge

Sintesi Tecnica: Guidare la Raccomandazione su Grafi Federati con Conoscenza Codificata da LLM

Problematica
I sistemi di raccomandazione basati su grafi estraggono efficacemente segnali collaborativi dalle interazioni utente-item, e l'Apprendimento Federato (FL) consente l'addestramento di questi modelli preservando la privacy dell'utente. Tuttavia, una sfida critica rimane nella raccomandazione su grafi federati: l'aggregazione delle rappresentazioni grafiche attraverso client distribuiti e non-IID (non indipendenti e identicamente distribuiti). In ambienti federati realistici, i dati dei client spesso presentano domini di preferenza e densità di interazione distinti. Di conseguenza, gli embedding strutturali appresi localmente sono spesso disallineati e la semplice media dei parametri fallisce nel catturare relazioni significative tra i client. I metodi grafici federati esistenti si affidano tipicamente esclusivamente all'aggregazione strutturale, trascurando il ricco contesto semantico globale disponibile nei Large Language Models (LLM). Ciò porta a uno scenario in cui pattern strutturalmente simili possono corrispondere a intenti semantici differenti, o comunità con condivise preferenze semantiche possono esibire strutture grafiche locali divergenti, causando il fallimento della diretta media strutturale.

Metodologia: SemFGRec
Gli autori propongono SemFGRec (Semantic Federated Graph Recommendation), un framework progettato per regolare la collaborazione strutturale utilizzando segnali semantici derivati da LLM. La metodologia opera sul principio secondo cui l'allineamento tra i client debba essere stabilito prima a livello semantico per modulare la fusione strutturale.

1. Apprendimento della Rappresentazione Collaborativa Locale:
   Ogni client addestra un encoder di grafo leggero (basato su LightGCN) sul proprio grafo di interazione utente-item locale per apprendere gli embedding di utenti e item. Questo cattura segnali collaborativi di alto ordine senza condividere i dati grezzi delle interazioni.

2. Astrazione di Comunità Adattiva:
   Inveve di aggregare i singoli embedding degli utenti, i client partizionano gli utenti in comunità di preferenza utilizzando HDBSCAN (un algoritmo di clustering basato sulla densità che determina automaticamente il numero di cluster). Per ogni comunità $c$, il client genera due descrittori:

   • Prototipo Strutturale ($P_{k,c}$): La media degli embedding degli utenti all'interno della comunità, che riassume la geometria delle preferenze collaborative.
   • Embedding Semantico ($S_{k,c}$): Generato aggregando i metadati testuali (titoli, descrizioni) degli item con il maggior numero di interazioni nella comunità e codificando questo riassunto utilizzando un LLM congelato. Ciò cattura le caratteristiche tematiche indipendentemente dai pattern di interazione specifici.

3. Fusione Strutturale Guidata dalla Semantica (Lato Server):
   Il server centrale aggrega gli embedding degli item e costruisce un grafo di comunità semantico-centrico attraverso tutti i client.

   • Calcolo della Similarità: Il server calcola la similarità semantica ($s_{a,b}$) tra gli embedding delle comunità e la similarità strutturale ($r_{a,b}$) tra i prototipi strutturali.
   • Criterio di Fusione: Viene utilizzato un punteggio di similarità combinato $q_{a,b} = s_{a,b}(1 + \lambda r_{a,b})$. Qui, la similarità semantica funge da segnale di allineamento primario, mentre la similarità strutturale funge da modulatore. Le comunità vengono fuse solo se la loro similarità semantica è elevata, garantendo che la fusione strutturale avvenga solo tra gruppi semanticamente coerenti.
   • Generazione del Prototipo: Le comunità fuse formano prototipi strutturali globali ($\tilde{P}_g$), che vengono trasmessi nuovamente ai client.

4. Addestramento Consapevole dell'Allineamento:
   I client ottimizzano una funzione obiettivo congiunta che comprende la perdita locale Bayesian Personalized Ranking (BPR) e una perdita di allineamento. La perdita di allineamento minimizza la distanza tra i prototipi strutturali locali del client e i prototipi globali fusi, ma solo per le comunità che sono state semanticamente allineate. Ciò preserva la personalizzazione locale consentendo al contempo un trasferimento di conoscenza fondato.

Contributi Chiave
Il documento rivendica tre contributi primari:

1. Framework SemFGRec: L'introduzione di un framework di raccomandazione su grafi federati guidato dalla semantica che utilizza segnali semantici codificati da LLM per regolare il modo in cui i pattern strutturali vengono condivisi tra i client.
2. Meccanismo di Collaborazione Consapevole della Semantica: Un meccanismo innovativo che migliora la robustezza sotto distribuzioni non-IID, dando priorità alla coerenza semantica prima della fusione strutturale, il tutto senza trasmettere dati di interazione grezzi.
3. Validazione Empirica: Esperimenti completi che dimostrano miglioramenti costanti delle prestazioni e una maggiore stabilità rispetto a forti baseline centralizzate, federate e basate su grafi.

Risultati Sperimentali
Gli autori hanno valutato SemFGRec su tre dataset di riferimento: MovieLens-100K, MovieLens-1M e Amazon Video.

• Prestazioni Complessive: In configurazioni non-IID ($\alpha=0.3$), SemFGRec ha superato costantemente la baseline più forte (UFGraphFR). Ad esempio, su MovieLens-100K, ha raggiunto un HR@10 del 77.7% rispetto al 75.7% della baseline, e un NDCG@10 del 49.0% rispetto al 47.0%.
• Robustezza all'Eterogeneità: Il framework ha dimostrato una stabilità superiore all'aumentare dell'eterogeneità dei dati (diminuendo $\alpha$ da 1.0 a 0.1). Mentre le baseline come UFGraphFR mostravano un significativo degrado delle prestazioni, SemFGRec ha mantenuto un'alta accuratezza, confermando l'efficacia della strategia di fusione "semantic-first".
• Studi di Ablazione: La rimozione della guida semantica ha causato il calo di prestazioni più significativo, validando che l'astrazione semantica è il componente più critico. L'inclusione della modulazione strutturale e dell'ottimizzazione consapevole dell'allineamento ha ulteriormente contribuito all'efficacia del framework.
• Sensibilità agli Iperparametri: Il metodo ha mostrato stabilità attraverso un ampio intervallo di valori di iperparametri per la modulazione strutturale e i pesi di allineamento.

Significato e Rivendicazioni
Il documento sostiene che la rilevanza di questo lavoro risieda nel risolvere il disallineamento degli embedding strutturali in contesti federati introducendo un approccio "semantic-first". Argomentando che le comunità che condividono l'intento di preferenza potrebbero non esibire topologie grafiche identiche, gli autori sostengono che l'astrazione semantica fornisca un segnale più stabile per la collaborazione tra i client. Il framework consente un efficace trasferimento di conoscenza e un miglioramento dell'accuratezza della raccomandazione, preservando rigorosamente la località dei dati e la privacy. Gli autori concludono che l'integrazione dell'astrazione semantica con la modellazione di grafi strutturali a livello di comunità offre una soluzione robusta per ambienti federati eterogenei, superando i metodi che si affidano esclusivamente all'aggregazione strutturale o che trattano i segnali semantici e strutturali in isolamento. Il lavoro futuro è identificato nel concentrarsi sulle valutazioni a livello di sistema (costi di comunicazione, tempi di esecuzione) ed esplorare strategie di aggiornamento semantico dinamico.