HeteroFedSyn: Differentially Private Tabular Data Synthesis for Heterogeneous Federated Settings

O artigo apresenta o HeteroFedSyn, o primeiro framework de síntese de dados tabulares com privacidade diferencial projetado especificamente para ambientes federados heterogêneos, que utiliza métricas de dependência otimizadas e estratégias de seleção adaptativa para gerar dados sintéticos de alta utilidade sem violar a privacidade dos participantes.

O essencial

Imagine que você tem um grupo de hospitais, escolas ou bancos que querem colaborar para entender melhor a saúde da população, o desempenho dos alunos ou os hábitos de gastos. O problema é que ninguém quer (ou pode, por lei) enviar os dados reais dos pacientes, alunos ou clientes para um servidor central. Isso seria um risco enorme de vazamento de privacidade.

Aqui entra o HeteroFedSyn, uma nova tecnologia descrita no artigo. Vamos explicar como ela funciona usando uma analogia simples.

O Problema: O Jogo do "Telefone Sem Fio" com Dados

Imagine que cada hospital tem um quebra-cabeça diferente, mas todas as peças têm o mesmo formato. Eles querem montar um "super quebra-cabeça" global para ver o quadro completo, sem nunca mostrar as peças originais uns aos outros.

1. O Jeito Antigo (Centralizado): Todos mandam as peças para uma mesa central. Alguém monta o quebra-cabeça e tira uma foto. O problema? Se alguém roubar a mesa, todos os dados vazam.
2. O Jeito "Local" (Privacidade Local): Cada hospital tira uma foto borrada das próprias peças e manda. O problema? Quando você junta todas as fotos borradas, a imagem final fica tão embaçada que não dá para ver nada útil.
3. O Jeito "Federado" (O Desafio): Eles precisam combinar as informações estatísticas (ex: "quantas pessoas têm 30 anos?") sem mostrar os nomes. Mas, como os hospitais têm dados diferentes (um tem muitos idosos, outro muitos jovens), misturar as estatísticas de forma burra gera uma imagem distorcida.

A Solução: HeteroFedSyn (O Mestre do Quebra-Cabeça)

O HeteroFedSyn é como um "Mestre do Quebra-Cabeça" inteligente que trabalha com os hospitais para criar um quebra-cabeça sintético. Esse novo quebra-cabeça não tem nenhuma peça real (nenhum paciente real), mas se parece tanto com o original que serve para fazer pesquisas, treinar inteligência artificial e tomar decisões.

Aqui estão os três "superpoderes" que o HeteroFedSyn usa para fazer isso funcionar:

1. O "Filtro de Ruído" (Medição de Dependência)

Para montar o quebra-cabeça, o sistema precisa saber quais peças se encaixam. Por exemplo, "Idade" e "Renda" geralmente estão conectadas.

• O Desafio: Como saber essa conexão quando cada hospital tem uma visão parcial e "barulhenta" (com ruído de privacidade)?
• A Solução: O sistema usa uma técnica chamada Projeção Aleatória. Imagine que cada hospital pega suas peças e as joga em um funil mágico que as comprime em um pacote pequeno, mas que ainda mantém a "forma" da conexão entre as peças. Isso economiza espaço e reduz o barulho.

2. O "Detetive Matemático" (Estimador Sem Viés)

Quando você mistura dados de vários lugares com ruído, o resultado pode ficar "torto" (viésado).

• O Desafio: Se o Hospital A diz "muitos jovens" e o Hospital B diz "poucos jovens", a média pode ficar errada se não for calculada corretamente.
• A Solução: O HeteroFedSyn usa uma fórmula matemática inteligente (um estimador não tendencioso) que "corrige" o barulho. É como se o sistema soubesse exatamente quanto o ruído distorceu a imagem e ajustasse a lente para ver a verdade novamente, sem precisar ver os dados originais.

3. O "Curador Inteligente" (Seleção Adaptativa)

Este é o grande diferencial. Existem milhares de combinações possíveis de peças (ex: Idade + Gênero, Idade + Cidade, Gênero + Cidade...). Tentar enviar todas seria impossível e geraria muito ruído.

• O Jeito Antigo: Escolher as peças mais importantes de uma vez só e parar.
• O Jeito HeteroFedSyn (Adaptativo): É como jogar xadrez. O sistema escolhe uma peça importante, monta um pouco do quebra-cabeça, e olha para o resultado. Se ele percebe que duas peças que ele escolheu já explicam a terceira, ele para de gastar energia com a terceira e vai procurar uma peça nova que ninguém viu ainda.
  • Analogia: Se você já sabe que "Chuva" e "Guarda-chuva" estão conectados, não precisa gastar tempo perguntando sobre "Chuva" e "Guarda-chuva" de novo. O sistema economiza a "moeda de privacidade" (o orçamento) para descobrir coisas novas.

Por que isso é importante?

O artigo mostra que, mesmo com todos os hospitais espalhados e cada um protegendo seus dados com "escudos de ruído", o HeteroFedSyn consegue criar um conjunto de dados sintéticos que é quase tão bom quanto se todos os dados estivessem em uma única mesa segura.

• Para Pesquisadores: Eles podem fazer perguntas (ex: "Qual a doença mais comum em homens de 40 anos?") e obter respostas precisas.
• Para Inteligência Artificial: Eles podem treinar modelos de aprendizado de máquina que funcionam bem no mundo real.
• Para a Privacidade: Ninguém precisa confiar em ninguém. Os dados originais nunca saem dos computadores locais.

Resumo em uma frase

O HeteroFedSyn é um método inteligente que permite que várias organizações criem juntas um "espelho" dos seus dados (um conjunto de dados falso, mas estatisticamente idêntico), permitindo que todos colaborem e aprendam sem nunca precisarem revelar quem são seus clientes ou pacientes.

Resumo técnico

Resumo Técnico: HeteroFedSyn

1. Problema e Motivação

O artigo aborda o desafio de sintetizar dados tabulares com Privacidade Diferencial (DP) em cenários de Aprendizado Federado Horizontal (HFL).

• Contexto: Tradicionalmente, a DP é aplicada a tarefas específicas (ex: adicionar ruído a uma consulta), limitando a reutilização dos dados. A síntese de dados tabulares com DP gera conjuntos de dados sintéticos que podem ser usados em qualquer tarefa downstream.
• Limitação Atual: A maioria dos métodos de síntese assume um ambiente centralizado (todos os dados em um servidor) ou local (cada usuário perturba seus próprios dados).
• O Cenário Federado: Em cenários reais (ex: hospitais colaborando), múltiplas organizações possuem subconjuntos de dados com os mesmos atributos, mas distribuídos e com distribuições heterogêneas (viés de dados entre participantes).
• Desafios Específicos:
  1. Síntese Local Independente: Se cada participante sintetizar seus dados localmente e os mesclar, o resultado será uma mistura enviesada e inconsistente devido à heterogeneidade das distribuições locais.
  2. Perturbação Local (LDP): Adicionar ruído a registros individuais antes de compartilhar inviabiliza a síntese posterior e introduz um ruído que escala quadraticamente com o tamanho do conjunto de dados, degradando severamente a utilidade.
  3. Seleção de Marginais: Métodos existentes (como o PrivSyn) selecionam marginais de 2 vias (correlações entre pares de atributos) para guiar a síntese. No entanto, em um ambiente federado, calcular essas dependências sem acesso aos dados brutos e com orçamentos de privacidade limitados gera ruído excessivo, tornando a seleção de marginais ineficiente.

2. Metodologia: HeteroFedSyn

O HeteroFedSyn é o primeiro framework de síntese de dados tabulares com DP projetado especificamente para cenários federados horizontais com dados heterogêneos. Ele segue o paradigma do PrivSyn (baseado em marginais de 2 vias), mas introduz três inovações principais para lidar com a distribuição e o ruído:

A. Métrica de Dependência e Compressão (Marginal Sharing)

• Compartilhamento de Estatísticas: Os participantes calculam marginais de 1 via (distribuição de atributos individuais) e 2 vias (correlações entre pares) localmente.
• Projeção Aleatória (Random Projection): Para reduzir a sobrecarga de comunicação e o ruído, os marginais de 2 vias (que podem ser de alta dimensão $d_a \times d_b$) são comprimidos para uma dimensão $k$ ($k \ll d_a, d_b$) usando uma matriz de projeção aleatória compartilhada pelo servidor.
• Métrica $l_2$: Ao invés da métrica $l_1$ usada no PrivSyn, o HeteroFedSyn utiliza uma métrica baseada em distância $l_2$ (InDif2) para medir a dependência entre atributos, o que é mais compatível com as propriedades de preservação de distância da projeção aleatória.

B. Estimativa Não Viciada (Unbiased Estimation)

• Desafio do Ruído Multiplicativo: Calcular a dependência (InDif2) envolve operações multiplicativas sobre marginais que já contêm ruído. Isso cria termos de viés complexos.
• Solução Matemática: O framework desenvolve um estimador matematicamente rigoroso que corrige o viés introduzido pelo ruído gaussiano e pela projeção aleatória. O servidor consegue obter uma estimativa não viciada do quadrado da distância $l_2$ entre a distribuição real e a distribuição independente, mesmo trabalhando apenas com dados perturbados e comprimidos.

C. Seleção Adaptativa de Marginais (AdaFedPrivSyn)

• Problema da Redundância: Selecionar marginais apenas com base na dependência inicial pode ser subótimo. Por exemplo, se os pares $(A, B)$ e $(B, C)$ forem selecionados, a correlação entre $(A, C)$ pode já estar implicitamente coberta. Selecionar $(A, C)$ novamente desperdiçaria o orçamento de privacidade.
• Mecanismo Adaptativo: O algoritmo AdaFedPrivSyn atualiza dinamicamente as pontuações de dependência durante o processo de seleção. Após selecionar um novo marginal e gerar dados sintéticos intermediários, o sistema recalcula as dependências restantes. Se um marginal já for bem representado pelos selecionados, sua pontuação de "necessidade" é reduzida, evitando redundância e maximizando a cobertura de atributos com o orçamento fixo.

D. Alocação de Orçamento de Privacidade

• O orçamento total é dividido estrategicamente: uma pequena fração ($q$) é usada para compartilhar marginais iniciais (para medir dependências) e a maior parte ($1-2q$) é reservada para perturbar e compartilhar os marginais de 2 vias selecionados, garantindo alta utilidade nos dados finais.

3. Contribuições Principais

1. Primeiro Framework Federado: Propõe o HeteroFedSyn, a primeira estrutura de síntese de dados tabulares com DP para cenários federados horizontais com dados heterogêneos.
2. Algoritmos Inovadores:
   • FedPrivSyn: Implementa a seleção de marginais baseada em métricas de dependência comprimidas e estimativas não viciadas.
   • AdaFedPrivSyn: Introduz um mecanismo adaptativo que atualiza as pontuações de dependência em tempo real para evitar redundância e otimizar o uso do orçamento de privacidade.
3. Validação Rigorosa: Demonstra que, apesar do ruído adicional inerente à execução distribuída, o framework alcança utilidade comparável à síntese centralizada.

4. Resultados Experimentais

Os autores avaliaram o framework em cinco conjuntos de dados reais (Adult, Abalone, Obesity, Insurance, Shoppers) e compararam com:

• PrivSyn (cenário centralizado - baseline ideal).
• FedPrivSyn-allMarg (sem seleção, perturba todos os marginais).
• FedPrivSyn-RandMarg (seleção aleatória).

Principais Achados:

• Utilidade em Consultas (Range Queries): O HeteroFedSyn (especialmente a versão adaptativa) alcança erros de consulta comparáveis ao PrivSyn centralizado, mantendo a mesma ordem de magnitude de erro, mesmo com a distribuição de dados.
• Fidelidade (Wasserstein Distance): Os dados sintéticos preservam bem a estrutura estatística global, com distâncias de Wasserstein baixas em relação aos dados originais.
• Tarefas de Machine Learning: Modelos treinados nos dados sintéticos (Random Forest, MLP, XGBoost) atingem desempenho (F1-score ou RMSE) muito próximo ao obtido com dados reais, superando significativamente as abordagens ingênuas (como perturbar todos os marginais).
• Robustez à Heterogeneidade: O framework demonstrou ser robusto a diferentes estratégias de distribuição de dados entre os participantes (uniforme, aleatória e enviesada), mantendo a performance estável.
• Impacto de Parâmetros: A versão adaptativa (AdaFedPrivSyn) superou consistentemente a versão estática em conjuntos de dados com muitos atributos, onde a redundância de marginais é um problema maior.

5. Significado e Conclusão

O trabalho preenche uma lacuna crítica na literatura de Privacidade Diferencial e Aprendizado Federado. Ele demonstra que é possível realizar síntese de dados de alta qualidade em ambientes descentralizados e heterogêneos, onde os dados não podem sair das instituições locais.

• Impacto Prático: Permite que organizações (hospitais, bancos, escolas) colaborem para criar conjuntos de dados sintéticos públicos ou compartilháveis para pesquisa e desenvolvimento de IA, sem violar a privacidade dos indivíduos e sem centralizar dados sensíveis.
• Limitações e Futuro: O artigo reconhece que o ruído acumulado em passos distribuídos ainda é um desafio para dados de altíssima dimensionalidade. Futuras pesquisas podem explorar o uso de conhecimento público para reduzir custos de privacidade e refinamentos algorítmicos para lidar com dimensões ainda maiores.

Em suma, o HeteroFedSyn oferece uma solução viável e eficiente para o dilema entre privacidade, colaboração federada e utilidade de dados sintéticos.