UFGraphFR: Graph Federation Recommendation System based on User Text description features

Este artigo apresenta o UFGraphFR, um sistema de recomendação federado que supera as limitações da fragmentação de dados ao reconstruir grafos de relacionamento de usuários de forma segura no servidor, utilizando vetores semânticos derivados de descrições de texto para capturar similaridades de preferência e melhorar a precisão das recomendações sem comprometer a privacidade.

O essencial

Imagine que você está em uma festa gigante onde milhares de pessoas querem encontrar amigos com gostos parecidos para trocar dicas de filmes, músicas ou restaurantes. O problema é que, por questões de privacidade, ninguém pode mostrar o que está no seu bolso (seus dados de histórico) ou gritar para a sala inteira o que gosta. Cada pessoa fica isolada no seu canto.

É aqui que entra o UFGraphFR, o sistema inteligente criado pelos pesquisadores da Universidade de Tecnologia de Tianjin. Vamos explicar como ele funciona usando uma analogia simples: O "Cartão de Identidade Secreta".

1. O Problema: A Festa Isolada

Na maioria dos sistemas de recomendação atuais (como o Netflix ou Spotify), a empresa centraliza todos os seus dados. É como se todos entregassem seus diários pessoais para um organizador da festa ler. Isso é ótimo para achar conexões, mas ruim para a privacidade.

Na "Federação" (onde os dados ficam no seu celular e não sobem para a nuvem), o organizador da festa não consegue ver os diários. Ele só vê que "João" e "Maria" estão no mesmo lugar, mas não sabe por que eles se parecem. Sem essa conexão, as recomendações ficam ruins e genéricas.

2. A Solução Mágica: O "Cartão de Identidade"

O UFGraphFR tem uma ideia brilhante: em vez de pedir o diário completo (os dados brutos), ele pede que cada pessoa escreva um pequeno resumo de quem ela é usando palavras.

• No seu celular (o Cliente): O sistema pega suas informações básicas (idade, profissão, gênero) e as transforma em uma frase natural, como: "Sou um homem de 30 anos, engenheiro, que mora em São Paulo e adora jazz."
• Em seguida, um "tradutor inteligente" (um modelo de linguagem pré-treinado) transforma essa frase em um código matemático (um vetor).
• O Pulo do Gato: O sistema não envia essa frase nem o código original. Ele envia apenas as "regras de ajuste" (os pesos) que o seu celular aprendeu para adaptar esse código aos seus gostos reais. É como se você enviasse apenas a receita de como você tempera o prato, e não o prato em si.

3. O Organizador da Festa (o Servidor)

Agora, imagine que o organizador da festa (o servidor) recebe apenas essas "receitas de tempero" de todos os convidados.

• Construindo o Mapa de Amizades: O organizador compara as receitas. Se a receita de "João" e a de "Maria" são muito parecidas, ele deduz que eles têm gostos parecidos, mesmo sem saber o que eles ouviram ou assistiram.
• Ele cria um mapa de conexões (um gráfico) ligando pessoas com perfis semelhantes.
• A Troca de Dicas: Com esse mapa, o organizador pode dizer: "João, como você é parecido com Maria, e Maria gostou daquela banda nova, você também deve gostar!".

Isso permite que o sistema aprenda com o grupo todo (o poder da colaboração) sem nunca violar a privacidade de ninguém (ninguém mostrou o que ouviu).

4. Por que é tão rápido e inteligente?

O sistema usa duas ferramentas modernas:

1. O "Detetive de Sequências" (Transformer): Ele não olha apenas para o que você gosta hoje, mas analisa a ordem das coisas que você consumiu no passado, entendendo a evolução do seu gosto (como se fosse um amigo que sabe que você começou ouvindo rock e agora está indo para o jazz).
2. Supercomputadores: A parte difícil de desenhar esse mapa gigante de conexões é feita em computadores superpotentes no servidor, enquanto o seu celular faz apenas o trabalho leve de preparar a "receita". Isso torna o sistema rápido e escalável.

5. O Resultado

Os pesquisadores testaram essa ideia em quatro grandes bancos de dados (filmes e músicas). O resultado? O UFGraphFR foi muito melhor do que os sistemas tradicionais centralizados (que violam a privacidade) e muito melhor do que os sistemas federados comuns (que são isolados e menos precisos).

Resumo da Ópera:
O UFGraphFR é como ter um super-organizador de festas que consegue conectar pessoas com base em quem elas dizem que são (seus textos), sem nunca precisar ler o que elas fizeram (seus dados privados). Ele usa a inteligência coletiva para dar recomendações perfeitas, mantendo seus segredos totalmente seguros no seu próprio celular.

É a união perfeita entre privacidade (seus dados não saem de casa) e inteligência (o sistema sabe quem você é através das suas palavras).

Resumo técnico

Resumo Técnico: UFGraphFR

1. Problema Identificado

O artigo aborda dois desafios fundamentais nos sistemas de recomendação modernos:

• Privacidade vs. Colaboração: O Federated Learning (FL) permite treinar modelos sem compartilhar dados brutos, preservando a privacidade. No entanto, a isolamento dos dados locais impede que o servidor acesse a matriz global de interações usuário-item. Isso limita a capacidade de capturar sinais colaborativos e padrões relacionais complexos entre usuários, resultando em uma precisão de recomendação inferior à dos sistemas centralizados.
• Limitações das Abordagens Atuais: Métodos de recomendação federada tradicionais tratam os usuários como entidades isoladas ou dependem de metadados explícitos (como redes sociais) que podem violar a privacidade. Além disso, a construção de grafos de relacionamento global geralmente requer o alinhamento de dados brutos, o que é incompatível com o paradigma de privacidade do FL.
• Carga Computacional: A construção e agregação de grafos em grande escala para milhões de usuários impõem um ônus computacional que os dispositivos de borda (clientes) não conseguem suportar sozinhos.

2. Metodologia Proposta: UFGraphFR

O UFGraphFR (User text-description Feature Graph Federated Rec) é um sistema de recomendação federada baseado em grafos que utiliza descrições textuais de atributos do usuário como sinal proxy para construir um grafo de relacionamento global de forma segura.

O framework opera em quatro etapas principais por rodada de comunicação:

A. Lado do Cliente (Treinamento Local):

1. Conversão para Texto: Atributos estruturados privados (ex: idade, gênero, ocupação) são convertidos em descrições textuais naturais usando templates de prompts.
2. Codificação Semântica: Um modelo de linguagem pré-treinado (PLM) codifica esses textos em vetores semânticos estáticos ($v_u$).
3. Camada de Joint Embedding (A Inovação Chave): Um camada linear treinável ($W_u$) mapeia o vetor estático $v_u$ para um espaço de baixa dimensão, gerando embeddings dinâmicos e personalizados ($e_u$).
   • Por que $W_u$ e não $v_u$? O vetor $v_u$ é estático e baseado apenas em atributos demográficos. A matriz de pesos $W_u$ é treinada com dados de interação local, capturando tanto a semântica estática quanto as preferências dinâmicas do usuário.
4. Modelagem de Sequência: Um módulo Transformer captura dependências temporais de longo prazo nas sequências de interação do usuário.
5. Refinamento de Features: Um MLP (Multi-Layer Perceptron) refina as representações do usuário.
6. Upload: O cliente envia apenas os pesos da camada de joint embedding ($W_u$) e os embeddings dos itens para o servidor. Os dados brutos de interação permanecem locais.

B. Lado do Servidor (Agregação e Grafos):

1. Construção do Grafo de Relacionamento: O servidor calcula a similaridade semântica (cosseno) entre as matrizes de pesos $W_u$ e $W_v$ de todos os usuários. Isso permite reconstruir um grafo global de relacionamento de usuários sem nunca acessar os dados brutos de interação.
2. Agregação via GCN: Um Graph Neural Network (GNN) leve é aplicado no servidor para propagar informações através do grafo construído, agregando conhecimento global e atualizando os embeddings dos itens.
3. Distribuição: Os embeddings globais dos itens atualizados são enviados de volta aos clientes para a próxima rodada.

C. Proteção de Privacidade:
O sistema incorpora Privacidade Diferencial Local (LDP) adicionando ruído de Laplace aos parâmetros antes do upload, oferecendo uma camada extra de proteção, embora o foco principal seja a arquitetura que evita o envio de dados brutos.

3. Principais Contribuições

1. Paradigma de Sinal Proxy: Propõe o uso inovador de descrições textuais de atributos (codificadas via PLM) e seus pesos adaptativos ($W_u$) como um sinal seguro para construir grafos de relacionamento global, contornando a necessidade de dados de interação brutos.
2. Arquitetura Híbrida Computacional: Desloca a tarefa computacionalmente intensiva (construção de grafos em larga escala e convolução) para o servidor (ou cluster HPC), enquanto os clientes realizam apenas treinamento leve, alinhando-se a modelos de computação híbrida.
3. Integração de Linguagem e Grafos: Combina a capacidade de generalização de Modelos de Linguagem (PLMs) com a eficiência de Grafos de Aprendizado (GNNs) no contexto federado.
4. Validação Empírica: Demonstração de que é possível superar a barreira do isolamento de dados no FL, alcançando precisão superior à de sistemas centralizados e federados de última geração.

4. Resultados Experimentais

Os experimentos foram realizados em quatro conjuntos de dados de referência (MovieLens-100K, MovieLens-1M, Lastfm-2K, HetRec2011).

• Desempenho: O UFGraphFR superou consistentemente os baselines mais avançados, incluindo métodos centralizados (MF, NCF, SGL) e federados (FedMF, FedNCF, GPFedRec, FedPerGNN).
  • No conjunto MovieLens-100K, obteve melhorias de 4,65% em HR@10 e 8,30% em NDCG@10 em relação ao melhor baseline centralizado.
  • Superou o baseline federado mais forte (GPFedRec) em todos os conjuntos de dados.
• Ablação:
  • A remoção do módulo Transformer degradou significativamente o desempenho, confirmando a importância de modelar dependências temporais.
  • A remoção da Camada de Joint Embedding (substituindo por embeddings estáticos) reduziu a eficácia, provando que a adaptação dinâmica dos pesos ($W_u$) é crucial para capturar preferências.
• Robustez: O modelo manteve bom desempenho com diferentes modelos de linguagem pré-treinados (USE, MiniLM, T5, TinyBERT, LaBSE), com o TinyBERT apresentando os melhores resultados.
• Privacidade: A introdução de ruído (LDP) causou uma queda gradual e controlada na precisão, permitindo um equilíbrio prático entre privacidade e utilidade do modelo.

5. Significado e Implicações

O trabalho do UFGraphFR é significativo por várias razões:

• Ponte entre FL e HPC: Oferece um caminho prático para implantar tarefas de recomendação que exigem alta computação em ambientes federados, utilizando a infraestrutura de supercomputação para a agregação global sem comprometer a privacidade dos dados locais.
• Superação do "Cold Start" e Isolamento: Ao utilizar atributos textuais para inferir similaridade, o sistema mitiga o problema de dados esparsos e o isolamento de usuários típico do FL, permitindo recomendações mais precisas mesmo com poucos dados de interação locais.
• Segurança Arquitetural: Estabelece um novo padrão onde a construção de grafos de colaboração não depende do compartilhamento de histórico de interações, mas sim de representações de pesos aprendidos, reforçando os princípios de privacidade por design.

Em resumo, o UFGraphFR demonstra que é possível alcançar a precisão de sistemas centralizados em um ambiente federado, superando as limitações de privacidade e isolamento de dados através de uma engenhosa combinação de processamento de linguagem natural, aprendizado de grafos e computação híbrida.