Guiding Federated Graph Recommendation with LLM-encoded knowledge

Resumo Técnico: Guiando a Recomendação de Grafos Federados com Conhecimento Codificado por LLM

Declaração do Problema
Sistemas de recomendação baseados em grafos extraem efetivamente sinais colaborativos de interações usuário-item, e o Aprendizado Federado (FL) permite o treinamento desses modelos preservando a privacidade do usuário. No entanto, um desafio crítico permanece na recomendação de grafos federados: agregar representações de grafos entre clientes distribuídos e não-IID (não independentes e identicamente distribuídos). Em ambientes federados realistas, os dados dos clientes frequentemente exibem domínios de preferência e densidades de interação distintos. Consequentemente, os embeddings estruturais aprendidos localmente frequentemente se desalinham, e a média de parâmetros ingênua falha em capturar relações significativas entre os clientes. Métodos de grafos federados existentes geralmente dependem exclusivamente da agregação estrutural, negligenciando o rico contexto semântico global disponível em Grandes Modelos de Linguagem (LLMs). Isso leva a um cenário onde padrões estruturalmente semelhantes podem corresponder a intenções de usuários semanticamente diferentes, ou comunidades com preferências semânticas compartilhadas podem exibir estruturas de grafos locais divergentes, fazendo com que a média estrutural direta falhe.

Metodologia: SemFGRec
Os autores propõem o SemFGRec (Semantic Federated Graph Recommendation), um framework projetado para regular a colaboração estrutural usando sinais semânticos derivados de LLMs. A metodologia opera sob o princípio de que o alinhamento entre clientes deve ser estabelecido primeiro no nível semântico para modular a fusão estrutural.

1. Aprendizado de Representação Colaborativa Local:
   Cada cliente treina um codificador de grafo leve (baseado em LightGCN) em seu grafo de interação usuário-item local para aprender embeddings de usuários e itens. Isso captura sinais colaborativos de alta ordem sem compartilhar dados de interação brutos.

2. Abstração de Comunidade Adaptativa:
   Em vez de agregar embeddings de usuários individuais, os clientes particionam os usuários em comunidades de preferência usando HDBSCAN (um algoritmo de agrupamento baseado em densidade que determina automaticamente o número de clusters). Para cada comunidade $c$, o cliente gera dois descritores:

   • Protótipo Estrutural ($P_{k,c}$): A média dos embeddings de usuários dentro da comunidade, resumindo a geometria de preferência colaborativa.
   • Embedding Semântico ($S_{k,c}$): Gerado pela agregação dos metadados textuais (títulos, descrições) dos top-$L$ itens mais interagidos na comunidade e codificando este resumo usando um LLM congelado. Isso captura características temáticas independentemente de padrões de interação específicos.

3. Fusão Estrutural Guiada por Semântica (Lado do Servidor):
   O servidor central agrega embeddings de itens e constrói um grafo de comunidade semântica primeiro através de todos os clientes.

   • Cálculo de Similaridade: O servidor computa a similaridade semântica ($s_{a,b}$) entre os embeddings de comunidade e a similaridade estrutural ($r_{a,b}$) entre os protótipos estruturais.
   • Critério de Fusão: Uma pontuação de similaridade combinada $q_{a,b} = s_{a,b}(1 + \lambda r_{a,b})$ é usada. Aqui, a similaridade semântica atua como o sinal de alinhamento primário, enquanto a similaridade estrutural atua como um modulador. As comunidades são fundidas apenas se sua similaridade semântica for alta, garantindo que a fusão estrutural ocorra apenas entre grupos semanticamente coerentes.
   • Geração de Protótipo: As comunidades fundidas formam protótipos estruturais globais ($\tilde{P}_g$), que são transmitidos de volta aos clientes.

4. Treinamento Consciente de Alinhamento:
   Os clientes otimizam uma função de objetivo conjunta que compreende a perda local de Ranking Personalizado Bayesiano (BPR) e uma perda de alinhamento. A perda de alinhamento minimiza a distância entre os protótipos estruturais locais do cliente e os protótipos fundidos globais, mas apenas para comunidades que foram semanticamente alinhadas. Isso preserva a personalização local ao mesmo tempo em que permite a transferência de conhecimento fundamentada.

Principais Contribuições
O artigo reivindica três contribuições primárias:

1. Framework SemFGRec: A introdução de um framework de recomendação de grafos federados guiado por semântica que utiliza sinais semânticos codificados por LLM para regular como os padrões estruturais são compartilhados entre os clientes.
2. Mecanismo de Colaboração Consciente de Semântica: Um mecanismo inovador que melhora a robustez sob distribuições não-IID ao priorizar a consistência semântica antes da fusão estrutural, tudo isso sem transmitir dados de interação brutos.
3. Validação Empírica: Experimentos abrangentes demonstrando ganhos de desempenho consistentes e melhor estabilidade sobre bases de comparação centralizadas, federadas e baseadas em grafos fortes em ambientes heterogêneos.

Resultados Experimentais
Os autores avaliaram o SemFGRec em três conjuntos de dados de referência: MovieLens-100K, MovieLens-1M e Amazon Video.

• Desempenho Geral: Sob configurações não-IID ($\alpha=0.3$), o SemFGRec superou consistentemente a base mais forte (UFGraphFR). Por exemplo, no MovieLens-100K, alcançou um HR@10 de 77,7% comparado aos 75,7% da base, e um NDCG@10 de 49,0% versus 47,0%.
• Robustez à Heterogeneidade: O framework demonstrou estabilidade superior conforme a heterogeneidade dos dados aumentava (diminuindo $\alpha$ de 1,0 para 0,1). Enquanto bases como UFGraphFR mostraram degradação significativa de desempenho, o SemFGRec manteve uma alta precisão, confirmando a eficácia da estratégia de fusão "semântica primeiro".
• Estudos de Ablação: A remoção da orientação semântica resultou na queda de desempenho mais significativa, validando que a abstração semântica é o componente mais crítico. A inclusão da modulação estrutural e da otimização consciente de alinhamento contribuiu adicionalmente para a eficácia do framework.
• Sensibilidade de Hiperparâmetros: O método mostrou estabilidade em uma ampla gama de valores de hiperparâmetros para modulação estrutural e pesos de alinhamento.

Significância e Alegações
O artigo postula que a significância deste trabalho reside em abordar o desalinhamento de embeddings estruturais em configurações federadas ao introduzir uma abordagem de "semântica primeiro". Ao argumentar que comunidades que compartilham a intenção de preferência podem não exibir topologias de grafo idênticas, os autores alegam que a abstração semântica fornece um sinal mais estável para a colaboração entre clientes. O framework permite uma transferência de conhecimento eficaz e melhora a precisão da recomendação, enquanto preserva estritamente a localidade dos dados e a privacidade. Os autores concluem que integrar a abstração semântica com a modelagem de grafos estruturais no nível de comunidade oferece uma solução robusta para ambientes federados heterogêneos, superando métodos que dependem exclusivamente da agregação estrutural ou que tratam os sinais semânticos e estruturais isoladamente. O trabalho futuro é identificado com foco em avaliações de nível de sistema (custos de comunicação, tempo de execução) e exploração de estratégias de atualização semântica dinâmica.