🤖 machine learning

Differentially Private Relational Learning with Entity-level Privacy Guarantees

Este artigo propõe uma estrutura fundamentada para o aprendizado relacional com privacidade diferencial que aborda os desafios da alta sensibilidade de entidades e da amostragem acoplada ao introduzir o corte de gradiente adaptativo e análises de amplificação de privacidade estendidas, alcançando, assim, garantias formais de privacidade ao nível de entidade com forte utilidade.

Autores originais: Yinan Huang, Haoteng Yin, Eli Chien, Rongzhe Wei, Pan Li

Publicado 2026-02-04

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yinan Huang, Haoteng Yin, Eli Chien, Rongzhe Wei, Pan Li

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um computador a entender como as pessoas estão conectadas — como descobrir quem é amigo de quem ou quais produtos são frequentemente comprados juntos. Isso é chamado de aprendizado relacional. O computador aprende olhando para um mapa gigante de conexões (um grafo) onde pontos são pessoas (entidades) e linhas são seus relacionamentos.

O problema? Esses mapas geralmente contêm segredos sensíveis. Talvez o mapa mostre quem visitou qual médico, ou quem comprou qual medicamento. Se você apenas treinar um computador com esses dados, ele pode acidentalmente "memorizar" esses segredos e vazá-los mais tarde.

Para impedir isso, os cientistas usam um escudo chamado Privacidade Diferencial (DP). Pense na DP como uma "máquina de ruído" que adiciona estática ao processo de aprendizado do computador, tornando impossível dizer se uma única pessoa estava nos dados de treinamento ou não.

No entanto, os autores deste artigo descobriram que a maneira padrão de usar esse escudo de privacidade (chamada DP-SGD) falha quando aplicada a esses mapas de conexões. Aqui está o porquê, e como eles corrigiram isso, usando analogias simples:

Os Dois Grandes Problemas

1. O Proble Problema do "Uma Pessoa, Muitos Papéis" (Alta Sensibilidade)
Em dados normais, uma pessoa é geralmente apenas um ponto de dado. Mas em um mapa de conexões, uma pessoa pode estar envolvida em dezenas de relacionamentos.

A Analogia: Imagine um professor corrigindo uma turma. Em uma classe normal, se um aluno sai, o professor perde apenas um dever de casa. Mas nesta classe relacional, se um aluno sai, ele leva consigo todos os seus projetos de grupo, suas avaliações de pares e seus parceiros de estudo. De repente, a folha de notas do professor muda drasticamente porque uma pessoa está faltando.
O Risco: Como uma pessoa afeta tantas partes da matemática, o "ruído" necessário para escondê-la tem que ser enorme, o que estraga a capacidade do computador de aprender coisas úteis.

2. O Problema da "Dança de Dois Passos" (Amostragem Acoplada)
Para ensinar o computador, não mostramos o mapa inteiro de uma vez. Mostramos pequenos pedaços (mini-lotes ou mini-batches). Para criar um pedaço, primeiro escolhemos algumas conexões reais (amostras positivas) e depois inventamos algumas conexões falsas (amostras negativas) para ensinar ao computador o que não esperar.

A Analogia: Imagine que você está criando uma playlist. Primeiro, você escolhe 5 músicas reais que você gosta. Depois, para tornar a playlist interessante, você escolhe 5 músicas aleatórias que você não gosta para comparar com as 5 primeiras.
O Risco: O segundo passo (escolher as músicas que "não gosta") depende inteiramente do primeiro passo. Se você mudar as 5 primeiras músicas, as outras 5 também mudam. A matemática de privacidade padrão assume que esses passos são independentes, como escolher duas playlists separadas. Como eles estão ligados, a antiga matemática de privacidade não funciona, e não sabemos o quão segura a informação realmente está.

A Solução: Um Escudo de Privacidade Mais Inteligente

Os autores construíram uma nova versão do escudo de privacidade especificamente para esses mapas de conexões. Eles resolveram os dois problemas acima com dois truques engenhosos:

1. O "Limitador de Justiça" (Clivagem de Gradiente Adaptativa)
Em vez de usar uma regra única para limitar o quanto uma pessoa pode influenciar o resultado, eles criaram uma regra dinâmica.

A Correção: Se uma pessoa aparece em muitos relacionamentos no pedaço atual, o sistema automaticamente "abaixa o volume" da contribuição dela mais do que o normal. Se ela aparece raramente, o volume permanece normal.
O Resultado: Isso mantém a matemática estável. Impede que uma pessoa popular domine o processo de aprendizado, o que significa que não precisamos adicionar tanto "ruído" para protegê-la. É como um professor que sabe que, se um aluno está em 10 grupos, ele conta apenas como um aluno para a nota final, não dez.

2. A "Dança Estritamente Ordenada" (Amostragem Dependente de Cardinalidade)
Eles mudaram a forma como escolhem as conexões falsas (negativas) para que os dois passos da dança sejam apenas vagamente ligados.

A Correção:** Em vez de escolher conexões falsas baseadas nas conexões reais específicas que foram escolhidas, eles escolhem um número fixo de pessoas aleatórias primeiro e, depois, as combinam.
O Resultado: Isso torna os dois passos matematicamente previsíveis. Permite que os autores provem exatamente quanta privacidade é preservada, mesmo que os passos estejam ligados. É como dizer: "Escolheremos exatamente 10 pessoas aleatórias para a lista de 'não gosto', não importa quais 5 músicas escolhemos para a lista de 'gosto'".

Os Resultados

A equipe testou este novo método em dados do mundo real, especificamente ajustando modelos de linguagem de grande escala (como os que alimentam chatbots) para entender relacionamentos em redes de artigos científicos e dados de compras online.

Melhor Privacidade: Eles provaram matematicamente que seu método oferece garantias fortes de que os dados de uma única pessoa não podem ser reengenheirados.
Melhor Aprendizado: Como o método deles não precisou adicionar tanto "ruído" quanto os métodos antigos, o computador aprendeu muito melhor. Ele conseguiu prever relacionamentos (como "quem comprará isso a seguir") com muito mais precisão do que os métodos anteriores de preservação de privacidade.

Em Resumo

Este artigo trata de ensinar computadores a aprender a partir de uma teia complexa de relacionamentos sem expor os segredos dos indivíduos nessa teia. Os autores perceberam que as ferramentas de privacidade antigas eram muito rudimentares para esse trabalho, então construíram uma ferramenta personalizada que ajusta as regras de privacidade com base em quão ocupada cada pessoa está e como os dados são amostrados. O resultado é um sistema que mantém os segredos seguros enquanto ainda permite que o computador aprenda de forma eficaz.

Resumo Técnico: Aprendizado Relacional com Privacidade Diferencial com Garantias de Privacidade ao Nível de Entidade

1. Formulação do Problema

O artigo aborda o desafio de treinar modelos de aprendizado de máquina em dados relacionais e estruturados em redes, fornecendo garantias formais de privacidade diferencial (DP) ao nível de entidade (nó). No aprendizado relacional, os modelos (como codificadores de atributos de nós) são treinados para prever relações (arestas) entre entidades (nós) usando funções de perda contrastiva.

O Gradiente Descendente Estocástico com Privacidade Diferencial (DP-SGD) padrão, projetado para dados não estruturados e independentes, enfrenta duas falhas críticas quando aplicado diretamente ao aprendizado relacional:

Alta Sensibilidade: Em dados de grafos, uma única entidade (nó) frequentemente participa de múltiplas relações. Consequentemente, remover ou modificar um único nó pode alterar múltiplos tuplas de arestas dentro de um mini-lote (mini-batch), fazendo com que o gradiente mude significativamente através de muitos termos. Isso leva a uma sensibilidade ilimitada ou excessivamente alta, exigindo quantidades proibitivas de ruído para mascarar a contribuição da entidade.
Amostragem Acoplada: Os mini-lotes de aprendizado relacional são tipicamente construídos via um processo de múltiplos estágios: primeiro amostrando arestas positivas (relações observadas) e depois gerando arestas negativas (relações ausentes) condicionadas às amostras positivas. Essa interdependência viola a suposição padrão do DP-SGD de amostragem independente de etapa única, tornando as análises tradicionais de amplificação de privacidade (que dependem de subamostragem de conjuntos de dados independentes) inaplicáveis.

2. Metodologia

Os autores propõem um framework de DP-SGD adaptado que integra três componentes principais para superar esses desafios:

A. Clipping de Gradiente Adaptativo (FREQ-CLIP)
Para abordar a alta sensibilidade, o artigo introduz um esquema de clipping de gradiente adaptativo. Ao contrário do clipping padrão que utiliza um limiar fixo $C$ para todas as amostras, este método ajusta dinamicamente o limiar de clipping com base na frequência de ocorrência dos nós dentro de um mini-lote.

Mecanismo: Para cada tupla de aresta $T_i$ , o limiar de clipping é escalonado pelo valor máximo da frequência de qualquer nó que aparece naquela tupla (tanto em arestas positivas quanto negativas).
Efeito: Isso garante que a sensibilidade local do gradiente do mini-lote em relação à remoção de um único nó seja limitada por uma constante, mesmo que o nó apareça em múltiplas relações. Especificamente, limita a sensibilidade por $(1 + |B^-(u^*)|) \cdot C$ , onde $|B^-(u^*)|$ é a contagem de tuplas de aresta onde o nó aparece apenas em arestas negativas.

B. Amostragem Acoplada Dependente de Cardinalidade
Para lidar com a análise de privacidade da amostragem de múltiplos estágios, os autores formalizam uma subclasse de amostragem acoplada onde a dependência entre os estágios surge unicamente de restrições de tamanho de amostra (cardinalidade), não do conteúdo específico das amostras.

Implementação: Eles propõem uma estratégia específica de amostragem negativa (Algoritmo 2: Amostragem Negativa Sem Reposição). Neste esquema, as arestas negativas são construídas pareando nós amostrados independentemente do conjunto de nós com os endpoints das arestas positivas amostradas.
Benefício: Este design garante que o passo de amostragem negativa dependa apenas do número de arestas positivas amostradas, não de suas identidades específicas. Esse desacoplamento permite que o complexo processo de dois estágios seja analisado como um mecanismo de amostragem dependente de cardinalidade tratável.

C. Análise de Amplificação de Privacidade
O artigo deriva um limite de amplificação de privacidade rigoroso para este cenário específico de amostragem acoplada dependente de cardinalidade.

Resultado: Eles provam que, para um conjunto de dados composto onde o primeiro estágio é amostragem de Poisson e o segundo é amostragem sem reposição (dependente apenas do tamanho do primeiro), o custo de privacidade pode ser estritamente limitado usando Privacidade Diferencial de Rényi (RDP).
Integração: Ao combinar o clipping adaptativo (que limita a sensibilidade) com a estratégia de amostragem específica (que permite o limite de amplificação), os autores fornecem uma garantia $(\alpha, \epsilon(\alpha))$ -RDP provável para todo o processo de treinamento.

3. Principais Contribuições

Análise de Sensibilidade & Clipping Adaptativo: Uma análise rigorosa da sensibilidade do gradiente no aprendizado relacional, levando a um algoritmo de clipping de gradiente adaptativo baseado em frequência que controla efetivamente a sensibilidade sem assumir graus de nós de pior caso.
Formalização da Amostragem Acoplada: A extensão da teoria de amplificação de privacidade para uma subclasse tratável de amostragem acoplada onde as dependências são limitadas aos tamanhos de amostra, fornecendo os primeiros limites de ampliação para este cenário.
Variante de DP-SGD Sob Medida: Um algoritmo completo (Algoritmo 3) que integra limitação de grau (degree capping), clipping adaptativo e amostragem dependente de cardinalidade para alcançar garantias de privacidade ao nível de entidade.
Validação Empírica: Demonstração da eficácia do método no ajuste fino de codificadores de texto pré-treinados (ex: BERT, Llama2) em redes atribuídas a texto para predição de relação zero-shot.

4. Resultados Experimentais

Os autores avaliaram seu método em conjuntos de dados de redes atribuídas a texto (redes de citações MAG e redes de co-compra da Amazon) com o objetivo de ajustar codificadores para predição de relação.

Limites de Privacidade: A análise numérica dos limites RDP derivados (Eq. 3) mostra que o método proposto alcança limites de privacidade significativamente mais estreitos em comparação com mecanismos gaussianos ingênuos e o DP-SGD padrão com clipping fixo.
Troca Utilidade-Privacidade: Em tarefas de predição de relação (medidas por PREC@1 e MRR), o método proposto supera consistentemente:
- O ajuste fino não privado (como esperado, mas com garantias de privacidade).
- Modelos base não ajustados.
- O DP-SGD padrão com clipping de gradiente fixo sob os mesmos orçamentos de privacidade ( $\epsilon = 4$ e $\epsilon = 10$ ).
Estudos de Ablação: Experimentos indicam que aumentar o número de amostras negativas por aresta positiva e o grau de nó limitado geralmente melhora a utilidade do modelo sob restrições de privacidade fixas.

5. Significância e Alegações

O artigo afirma fornecer o primeiro framework principista para o aprendizado relacional com privacidade diferencial ao nível de entidade que oferece garantias formais. Sua significância reside em:

Preencher a Lacuna: Ele aborda os desafios estruturais específicos de dados de grafos (alta sensibilidade e amostragem acoplada) que impedem a aplicação direta do DP-SGD padrão.
Rigor Teórico: Move-se além de aplicações heurísticas de DP em grafos ao fornecer uma análise de sensibilidade rigorosa e um novo teorema de amplificação de privacidade para processos de amostragem dependentes.
Utilidade Prática: Demonstra que a privacidade estrita ao nível de entidade pode ser mantida sem perda catastrófica no desempenho do modelo, tornando-o viável para domínios sensíveis como saúde e finanças, onde dados relacionais são prevalentes.

Os autores enfatizam que sua abordagem permite o ajuste fino de modelos de fundação em dados relacionais enquanto protege a privacidade de entidades individuais, uma capacidade anteriormente dificultada pela falta de mecanismos de privacidade adequados para amostragem relacional acoplada.