🤖 machine learning

Optimal Client Sampling in Federated Learning with Client-Level Heterogeneous Differential Privacy

Este artigo propõe o **GDPFed**, um novo framework de aprendizado federado que melhora a utilidade do modelo ao agrupar clientes com diferentes requisitos de privacidade e otimizar as taxas de amostragem e a esparsidade do modelo, superando as limitações de métodos tradicionais que aplicam níveis de privacidade uniformes e excessivamente rigorosos.

Autores originais: Jiahao Xu, Rui Hu, Olivera Kotevska

Publicado 2026-02-10

📖 3 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Jiahao Xu, Rui Hu, Olivera Kotevska

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você e seus amigos querem treinar um "robô chef" para aprender receitas de família sem que ninguém precise revelar seus ingredientes secretos. Esse é o conceito básico de Aprendizado Federado (Federated Learning): o robô aprende com os dados de todos, mas os dados nunca saem da cozinha de cada um.

Porém, temos um problema de "níveis de segredo".

O Problema: O Dilema do Segurança Exigente

Imagine que esse grupo de amigos tem diferentes níveis de paranoia:

João é super tranquilo: "Pode falar quase tudo, só não conte meu ingrediente principal."
Maria é moderada: "Só conte metade das coisas."
José é paranoico: "Não conte absolutamente nada!"

Atualmente, os sistemas de segurança (chamados de Privacidade Diferencial) funcionam como um segurança de festa muito rígido. Para garantir que o José (o mais paranoico) fique seguro, o segurança decide que ninguém pode falar quase nada. Ele coloca um "capuz de ruído" tão grosso sobre todas as conversas que o robô chef acaba ficando confuso e não aprende receita nenhuma. O robô fica "burro" porque o excesso de silêncio impede o aprendizado.

A Solução do Artigo: O Sistema de "Grupos de Confiança" (GDPFed)

Os pesquisadores criaram o GDPFed. Em vez de um segurança único aplicando a regra mais rígida para todos, eles dividiram o grupo em "clubes":

O Clube do Silêncio (José): Aqui, o ruído é alto para proteger o segredo absoluto.
O Clube do Meio-Termo (Maria): O ruído é moderado.
O Clube da Transparência (João): O ruído é baixinho, permitindo que o robô aprenda muito bem com ele.

Assim, o robô chef consegue ouvir as dicas detalhadas do João para aprender a técnica de cozimento, enquanto respeita o silêncio do José. O resultado? O robô aprende muito mais rápido e melhor, sem violar a privacidade de ninguém.

O Upgrade: O "Filtro de Essenciais" (GDPFed+)

Para deixar tudo ainda mais eficiente, eles criaram o GDPFed+. Imagine que, além de dividir em grupos, agora eles usam dois truques extras:

O Truque da "Sopa de Letrinhas" (Sparsification): Em vez de o robô tentar ouvir cada detalhe irrelevante (como "o fogo estava a 180 graus e a panela era azul"), os clientes enviam apenas o que é vital ("use sal e açúcar"). Ao enviar menos informações inúteis, o "ruído" de segurança não atrapalha tanto o que realmente importa.
O Truque do "Ritmo de Participação" (Optimal Sampling): Eles descobriram que não é preciso todo mundo falar em todas as rodadas. Eles calculam matematicamente quem deve falar mais vezes e quem deve falar menos, para que o robô aprenda o máximo possível sem que o "barulho" da segurança estrague o aprendizado.

Resumo da Ópera

O artigo apresenta uma forma inteligente de treinar inteligências artificiais de maneira privada. Em vez de tratar todo mundo com o mesmo nível de desconfiança (o que estraga o aprendizado), o sistema personaliza a proteção.

Resultado final: Um robô que aprende receitas incríveis, respeitando tanto o amigo relaxado quanto o amigo paranoico, gastando menos energia e sendo muito mais preciso.

Resumo Técnico: Optimal Client Sampling in Federated Learning with Client-level Heterogeneous Differential Privacy

1. O Problema

O aprendizado federado (Federated Learning - FL) permite o treinamento de modelos em dispositivos descentralizados sem a necessidade de compartilhar dados brutos. No entanto, ataques de inferência podem expor informações privadas. Para mitigar isso, utiliza-se a Privacidade Diferencial (DP) ao nível do cliente, que protege a participação de um cliente inteiro (seu conjunto de dados completo) no treinamento.

O desafio central abordado neste trabalho é a Heterogeneidade de Privacidade (HDP). Na prática, diferentes clientes possuem diferentes níveis de tolerância à privacidade (orçamentos $\epsilon$ distintos). As abordagens tradicionais (como o DP-FedAvg) falham nesse cenário porque impõem o orçamento de privacidade mais rigoroso (o menor $\epsilon$ ) a todos os clientes, o que gera um ruído excessivo e degrada severamente a utilidade (precisão) do modelo global. Além disso, métodos existentes para lidar com isso costumam ser heurísticos e assumem um servidor confiável, o que é irrealista em modelos de ataque onde o servidor é "curioso" (honest-but-curious).

2. Metodologia Proposta

Os autores propõem o GDPFed e sua versão otimizada, o GDPFed+, operando sob um modelo de ataque onde tanto clientes quanto o servidor podem ser adversários.

GDPFed (Group-based Differentially Private FL): Em vez de aplicar um ruído uniforme, o algoritmo particiona os clientes em grupos baseados em seus orçamentos de privacidade. A DP é aplicada ao nível do grupo, utilizando o orçamento mínimo de cada grupo específico. Isso evita o desperdício de privacidade e reduz o ruído injetado nos grupos com maior tolerância. O uso de agregação segura (secure aggregation) garante que o servidor veja apenas a soma dos modelos, protegendo as contribuições individuais.
GDPFed+ (Otimização de Amostragem e Esparsidade): Para maximizar a utilidade, os autores introduzem duas melhorias fundamentais baseadas em análise teórica de convergência:
1. Esparsificação de Modelo (Model Sparsification): Como o ruído da DP escala com a dimensionalidade do modelo ( $d$ ), o GDPFed+ aplica uma técnica de Top-k sparsification nos gradientes de cada grupo. Isso remove parâmetros menos significativos, reduzindo a quantidade de ruído injetado sem alterar a arquitetura original do modelo.
2. Amostragem de Clientes Ótima (Optimal Client Sampling): Através de uma análise de convergência, os autores derivam um problema de otimização para determinar a proporção ideal de amostragem ( $q_m$ ) para cada grupo. O objetivo é equilibrar o ruído da DP com a necessidade de participação para garantir a convergência, permitindo que grupos com maior orçamento de privacidade participem mais frequentemente para estabilizar o modelo.

3. Principais Contribuições

Novo Framework de HDPFL: Proposta do GDPFed para privacidade heterogênea ao nível do cliente sob um modelo de ataque forte (servidor e clientes curiosos).
Fundamentação Teórica: Demonstração rigorosa das garantias de privacidade (via composição paralela) e análise de convergência que identifica a relação entre dimensionalidade, taxa de amostragem e erro de convergência.
Otimização de Amostragem: É o primeiro trabalho a otimizar as taxas de amostragem de clientes para melhorar o trade-off entre privacidade e utilidade em cenários de DP heterogênea.
Algoritmo GDPFed+: Integração de esparsificação e amostragem otimizada para minimizar o erro de convergência.

4. Resultados Experimentais

Os autores testaram o método em quatro conjuntos de dados (Fashion MNIST, SVHN, CIFAR-10 e Shakespeare) comparando-o com baselines como DP-FedAvg, PFA e IDP-FedAvg.

Superioridade de Utilidade: O GDPFed+ superou consistentemente todos os métodos de estado da arte. Em média, obteve uma precisão de 56,93%, superando o GDPFed (51,18%) e os métodos de comparação.
Redução de Ruído: A análise mostrou que o GDPFed reduz o ruído total em quase metade em comparação ao DP-FedAvg, pois não sobrecarrega grupos menos sensíveis com ruído excessivo.
Robustez: O método demonstrou ser robusto a diferentes distribuições de preferência de privacidade, diferentes graus de heterogeneidade de dados (Non-IID) e variações no limiar de clipping.
Eficiência Computacional: O custo computacional adicional para resolver o problema de amostragem e realizar a esparsificação é desprezível, tornando o método viável para dispositivos IoT.

5. Significância

Este trabalho é significativo por fornecer uma solução teórica e prática para um dos problemas mais realistas do Aprendizado Federado: a coexistência de usuários com diferentes necessidades de privacidade. Ao transformar um problema de "tamanho único" (onde o mais rigoroso dita a regra para todos) em um problema de otimização de grupos, os autores permitem que sistemas de FL sejam implantados em larga escala com maior eficiência de modelo e garantias de privacidade robustas e personalizadas.