Guiding Federated Graph Recommendation with LLM-encoded knowledge

Resumen Técnico: Guía de la Recomendación de Grafos Federados mediante Conocimiento Codificado por LLM

Planteamiento del Problema
Los sistemas de recomendación basados en grafos extraen eficazmente señales colaborativas de las interacciones usuario-artículo, y el Aprendizaje Federado (FL) permite entrenar estos modelos preservando la privacidad del usuario. Sin embargo, un desafío crítico persiste en la recomendación de grafos federados: la agregación de representaciones de grafos a través de clientes distribuidos y no-IID (no independientes e idénticamente distribuidos). En entornos federados realistas, los datos de los clientes suelen exhibir dominios de preferencia y densidades de interacción distintos. En consecuencia, los embeddings estructurales aprendidos localmente se desalinean con frecuencia, y el promedio de parámetros ingenuo no logra capturar relaciones significativas entre clientes. Los métodos de grafos federados existentes dependen típicamente de la agregación estructural exclusiva, descuidando el rico contexto semántico global disponible en los Modelos de Lenguaje de Gran Escala (LLMs). Esto conduce a un escenario donde patrones estructuralmente similares pueden corresponder a intenciones de usuario semánticamente diferentes, o comunidades con preferencias semánticas compartidas pueden exhibir estructuras de grafos locales divergentes, causando que el promedio estructural directo falle.

Metodología: SemFGRec
Los autores proponen SemFGRec (Recomendación de Grafos Federados Semántica), un marco diseñado para regular la colaboración estructural utilizando señales semánticas derivadas de LLMs. La metodología opera bajo el principio de que la alineación entre clientes debe establecerse primero a nivel semántico para modular la fusión estructural.

1. Aprendizaje de Representación Colaborativa Local:
   Cada cliente entrena un codificador de grafo ligero (basado en LightGCN) sobre su grafo local de interacción usuario-artículo para aprender embeddings de usuarios y artículos. Esto captura señales colaborativas de alto orden sin compartir datos de interacción brutos.

2. Abstracción de Comunidad Adaptativa:
   En lugar de agregar embeddings de usuarios individuales, los clientes particionan a los usuarios en comunidades de preferencia utilizando HDBSCAN (un algoritmo de agrupamiento basado en densidad que determina automáticamente el número de clusters). Para cada comunidad $c$, el cliente genera dos descriptores:

   • Prototipo Estructural ($P_{k,c}$): El promedio de los embeddings de usuario dentro de la comunidad, resumiendo la geometría de la preferencia colaborativa.
   • Embedding Semántico ($S_{k,c}$): Generado mediante la agregación de los metadatos textuales (títulos, descripciones) de los $L$ artículos con más interacciones en la comunidad y la codificación de este resumen utilizando un LLM congelado. Esto captura características temáticas independientes de patrones de interacción específicos.

3. Fusión Estructural Guiada por Semántica (Lado del Servidor):
   El servidor central agrega los embeddings de los artículos y construye un grafo de comunidades con prioridad semántica a través de todos los clientes.

   • Cálculo de Similitud: El servidor computa la similitud semántica ($s_{a,b}$) entre los embeddings de las comunidades y la similitud estructural ($r_{a,b}$) entre los prototipos estructurales.
   • Criterio de Fusión: Se utiliza una puntuación de similitud combinada $q_{a,b} = s_{a,b}(1 + \lambda r_{a,b})$. Aquí, la similitud semántica actúa como la señal de alineación primaria, mientras que la similitud estructural actúa como un modulador. Las comunidades se fusionan solo si su similitud semántica es alta, asegurando que la fusión estructural ocurra únicamente entre grupos semánticamente coherentes.
   • Generación de Prototipos: Las comunidades fusionadas forman prototipos estructurales globales ($\tilde{P}_g$), que se transmiten de vuelta a los clientes.

4. Entrenamiento Consciente de la Alineación:
   Los clientes optimizan una función de objetivo conjunta que comprende la pérdida local de Clasificación Personalizada Bayesiana (BPR) y una pérdida de alineación. La pérdida de alineación minimiza la distancia entre los prototipos estructurales locales del cliente y los prototipos fusionados globales, pero solo para aquellas comunidades que han sido semánticamente alineadas. Esto preserva la personalización local al tiempo que permite una transferencia de conocimiento con principios sólidos.

Contribuciones Clave
El artículo reclama tres contribuciones primarias:

1. Marco SemFGRec: La introducción de un marco de recomendación de grafos federados guiado por la semántica que utiliza señales semánticas codificadas por LLM para regular cómo se comparten los patrones estructurales entre los clientes.
2. Mecanismo de Colaboración Consciente de la Semántica: Un mecanismo novedoso que mejora la robustez bajo distribuciones no-IID al priorizar la consistencia semántica antes de la fusión estructural, todo ello sin transmitir datos de interacción brutos.
3. Validación Empírica: Experimentos exhaustivos que demuestran ganancias de rendimiento consistentes y una estabilidad mejorada sobre bases sólidas centralizadas, federadas y basadas en grafos en entornos heterogéneos.

Resultados Experimentales
Los autores evaluaron SemFGRec en tres conjuntos de datos de referencia: MovieLens-100K, MovieLens-1M y Amazon Video.

• Rendimiento General: Bajo configuraciones no-IID ($\alpha=0.3$), SemFGRec superó consistentemente a la base más fuerte (UFGraphFR). Por ejemplo, en MovieLens-100K, alcanzó un HR@10 del 77.7% comparado con el 75.7% de la base, y un NDCG@10 de 49.0% frente a 47.0%.
• Robustez a la Heterogeneidad: El marco demostró una estabilidad superior a medida que aumentaba la heterogeneidad de los datos (disminuyendo $\alpha$ de 1.0 a 0.1). Mientras que las bases como UFGraphFR mostraron una degradación significativa del rendimiento, SemFGRec mantuvo una alta precisión, confirmando la efectividad de la estrategia de fusión de "primero la semántica".
• Estudios de Ablación: Eliminar la guía semántica resultó en la caída de rendimiento más significativa, validando que la abstracción semántica es el componente más crítico. La inclusión de la modulación estructural y la optimización consciente de la alineación contribuyó además a la efectividad del marco.
• Sensibilidad de Hiperparámetros: El método mostró estabilidad a través de un amplio rango de valores de hiperparámetros para la modulación estructural y los pesos de alineación.

Significancia y Reclamaciones
El artículo postula que la significancia de este trabajo radica en abordar la desalineación de los embeddings estructurales en entornos federados mediante la introducción de un enfoque de "primero la semántica". Al argumentar que las comunidades que comparten la intención de preferencia pueden no exhibir topologías de grafo idénticas, los autores afirman que la abstracción semántica proporciona una señal más estable para la colaboración entre clientes. El marco permite una transferencia de conocimiento efectiva y una mejora en la precisión de la recomendación, preservando estrictamente la localidad de los datos y la privacidad. Los autores concluyen que integrar la abstracción semántica con el modelado de grafos estructurales a nivel de comunidad ofrece una solución robusta para entornos federados heterogéneos, superando a los métodos que dependen únicamente de la agregación estructural o que tratan las señales semánticas y estructurales de forma aislada. El trabajo futuro se identifica centrándose en evaluaciones a nivel de sistema (costos de comunicación, tiempo de ejecución) y en la exploración de estrategias de actualización semántica dinámica.