🤖 machine learning

ERIS: Enhancing Privacy and Scalability in Federated Learning via Federated Shard Aggregation

ERIS é um novo framework de aprendizado federado que aprimora a privacidade e a escalabilidade para modelos com bilhões de parâmetros ao introduzir a Agregação de Fragmentos Federados para distribuir as atualizações do lado do cliente entre múltiplos agregadores, eliminando assim gargalos centrais e limitando o vazamento de informações, ao mesmo tempo em que mantém a convergência e a utilidade do modelo sem depender de criptografia pesada.

Autores originais: Dario Fenoglio, Pasquale Polverino, Jacopo Quizi, Martin Gjoreski, Akash Dhasade, Marc Langheinrich

Publicado 2026-05-12

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Dario Fenoglio, Pasquale Polverino, Jacopo Quizi, Martin Gjoreski, Akash Dhasade, Marc Langheinrich

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você e um grupo de amigos querem construir juntos um cérebro robótico gigante e superinteligente. O problema é que todos têm seu próprio diário secreto de experiências pessoais (dados) que não podem compartilhar devido a leis de privacidade ou confiança pessoal.

Aprendizado Federado é a ideia de que você pode treinar esse cérebro robótico sem que ninguém jamais entregue seus diários. Em vez disso, todos treinam uma pequena parte do cérebro em seu próprio computador e enviam apenas as "lições aprendidas" (atualizações matemáticas) para um professor central. O professor combina essas lições para melhorar o robô.

No entanto, o artigo aponta dois grandes problemas com esse método atual:

O Gargalo: Se você tiver milhões de amigos, o professor central fica sobrecarregado tentando coletar e organizar todas as lições. É como uma pessoa tentando classificar um milhão de cartas em um correio; leva uma eternidade.
O Vazamento de Privacidade: Mesmo que você não esteja enviando seu diário, as "lições aprendidas" às vezes podem ser revertidas por um hacker astuto para adivinhar o que havia em seu diário.

Os autores apresentam o ERIS, um novo sistema projetado para resolver ambos os problemas simultaneamente, sem tornar o cérebro robótico menos inteligente. Veja como funciona, usando analogias simples:

1. A Estratégia do "Quebra-Cabeça" (Agregação de Fragmentos Federados)

No sistema antigo, todos enviam sua lição inteira para um único professor central. No ERIS, o sistema usa uma técnica chamada Agregação de Fragmentos Federados (FSA).

Imagine que cada lição é um quebra-cabeça gigante e complexo.

O Jeito Antigo: Todos enviam seu quebra-cabeça inteiro para uma pessoa. Essa pessoa vê tudo.
O Jeito ERIS: Antes de enviar, todos cortam seu quebra-cabeça em 50 peças separadas e não sobrepostas (fragmentos).
- A Pessoa A envia a Peça 1 para o Professor 1, a Peça 2 para o Professor 2, a Peça 3 para o Professor 3, e assim por diante.
- O Professor 1 vê apenas a Peça 1 de todos. O Professor 2 vê apenas a Peça 2.
- A Magia: Como as peças são cortadas de maneira específica e coordenada, os professores ainda podem juntar suas peças para formar a imagem final exatamente igual à do sistema antigo. O cérebro robótico aprende tão bem quanto antes.
- A Vitória da Privacidade: Nenhum professor único vê um quebra-cabeça inteiro. Se um hacker invadir o Professor 1, ele obtém apenas um fragmento minúsculo e inútil da informação, não todo o segredo.

2. O "Cartão Postal Comprimido" (Compressão Deslocada Distribuída)

Mesmo com as peças do quebra-cabeça, enviar 50 peças para 50 professores diferentes ainda pode ser muita correspondência. Para tornar isso mais rápido, o ERIS adiciona uma segunda camada chamada Compressão Deslocada Distribuída (DSC).

Pense nisso como escrever sua lição em um cartão postal em vez de um livro inteiro.

Antes de cortar o quebra-cabeça, o sistema resume as partes mais importantes e descarta o supérfluo (compressão).
Também usa um truque de "deslocamento" (como um código secreto) para garantir que, mesmo que informações sejam descartadas, a matemática ainda some perfeitamente quando os professores a remontarem.
Isso torna a "correspondência" (transmissão de dados) minúscula, acelerando significativamente todo o processo.

3. O Resultado: Um Sistema Mais Rápido, Seguro e Inteligente

O artigo afirma que, ao combinar essas duas ideias, o ERIS alcança três coisas que geralmente lutam entre si:

Privacidade: Como nenhum observador único vê a imagem completa, é muito mais difícil para hackers roubar dados privados. O artigo prova matematicamente que quanto mais "professores" (agregadores) você tiver, mais seguro fica.
Escalabilidade: Como o trabalho é dividido entre muitos professores em vez de um, o sistema não fica congestionado. Ele pode lidar com modelos enormes (como os usados em grandes modelos de linguagem) sem desacelerar.
Utilidade (Inteligência): Esta é a parte mais importante. Geralmente, quando você tenta tornar as coisas mais privadas ou mais rápidas, o cérebro robótico fica "menos inteligente" (menos preciso). O ERIS afirma ser o primeiro sistema que mantém o cérebro tão inteligente quanto a versão original, não modificada, enquanto ainda é privado e rápido.

A Conclusão

Os autores testaram o ERIS em várias tarefas, desde reconhecer imagens de gatos e cachorros até entender a linguagem humana. Eles descobriram que:

Foi tão preciso quanto o método padrão.
Foi muito mais difícil para hackers roubar dados ou adivinhar em que as pessoas estavam treinando.
Foi muito mais rápido de executar, especialmente ao lidar com modelos massivos.

Em resumo, o ERIS é como uma nova maneira de organizar um trabalho em grupo onde todos dividem seu trabalho em fragmentos minúsculos e secretos, enviam-nos para diferentes líderes de equipe e os remontam perfeitamente no final — garantindo que nenhuma pessoa veja a imagem completa, mas o resultado final seja perfeito.

Resumo Técnico: ERIS – Aprimorando Privacidade e Escalabilidade em Aprendizado Federado via Agregação Federada de Fragmentos

Declaração do Problema

Escalar o Aprendizado Federado (FL) para modelos com bilhões de parâmetros (por exemplo, Modelos de Linguagem de Grande Escala) cria um compromisso crítico entre privacidade, escalabilidade e utilidade do modelo. Soluções existentes geralmente abordam esses desafios de forma isolada, frequentemente sacrificando um em detrimento dos outros:

Privacidade vs. Utilidade: Métodos baseados em perturbação, como Privacidade Diferencial (DP) ou poda de gradientes, reduzem o vazamento de informações, mas frequentemente degradam a precisão do modelo, particularmente em modelos grandes ou regimes de poucos dados. Protocolos criptográficos (por exemplo, Agregação Segura) ocultam atualizações, mas introduzem sobrecarga computacional significativa e requisitos de hardware, dificultando a escalabilidade.
Escalabilidade vs. Utilidade: O FL centralizado tradicional sofre com um gargalo de servidor único, levando a congestionamento de rede e ineficiências de comunicação à medida que o número de clientes cresce. Arquiteturas totalmente descentralizadas distribuem a comunicação, mas frequentemente dependem de agregação apenas entre vizinhos, o que pode alterar a trajetória de otimização, retardar a convergência ou reduzir a utilidade final do modelo em comparação com o FedAvg centralizado.
O Conflito Central: Métodos atuais frequentemente introduzem aproximações, perturbações ou desvios da agregação centralizada que alteram a trajetória de aprendizado. Há uma necessidade persistente de um framework que preserve simultaneamente a utilidade da colaboração centralizada, garanta privacidade teoricamente informacional e escale eficientemente sem depender de criptografia pesada ou ruído degradante da utilidade.

Metodologia: O Framework ERIS

Os autores propõem o ERIS, um novo framework de FL centrado na Agregação Federada de Fragmentos (FSA), opcionalmente aprimorado com Compressão Deslocada Distribuída (DSC).

1. Agregação Federada de Fragmentos (FSA)

A FSA é o mecanismo central projetado para remover o gargalo de agregação central, preservando a trajetória exata de atualização do FL centralizado.

Fragmentação: Em vez de enviar uma atualização completa do cliente a um servidor central, cada cliente particiona seu vetor de atualização em $A$ fragmentos disjuntos e não sobrepostos usando máscaras binárias.
Agregação Distribuída: Cada fragmento é enviado a um agregador distinto, localizado no lado do cliente. Os agregadores calculam independentemente a média dos fragmentos que recebem de todos os clientes.
Reconstrução: Os agregadores transmitem suas atualizações parciais do modelo de volta aos clientes. Os clientes reconstroem o modelo global completo somando os fragmentos recebidos.
Propriedade Chave: Como os fragmentos são disjuntos e completos (suas máscaras somam ao vetor de todos uns), o modelo global reconstruído é matematicamente idêntico ao produzido pelo FedAvg centralizado. Nenhuma coordenada é descartada e nenhum erro de aproximação é introduzido no passo de agregação.

2. Integração com Compressão Deslocada Distribuída (DSC)

Para aprimorar ainda mais a escalabilidade e a privacidade, o ERIS integra a DSC como uma camada de pré-processamento antes da fragmentação.

Mecanismo: Os clientes aplicam um operador de compressão deslocada aos seus gradientes locais antes da particionamento. Isso reduz o número de parâmetros transmitidos e as coordenadas expostas em cada fragmento.
Compensação de Deslocamento: Para manter a convergência, tanto clientes quanto agregadores mantêm vetores de referência para rastrear e compensar o deslocamento da compressão, garantindo que a atualização agregada permaneça não enviesada.
Modularidade: Este design permite que o ERIS incorpore outras transformações (por exemplo, DP) antes da particionamento, desde que o lado da agregação aplique correções correspondentes.

Contribuições Principais

Agregação Federada de Fragmentos (FSA): Um mecanismo de agregação distribuída que fragmenta as atualizações dos clientes entre múltiplos agregadores. Elimina o gargalo do servidor central, limita a informação visível a qualquer observador único (aumentando a privacidade) e preserva a trajetória exata de atualização do FL centralizado (garantindo utilidade).
Integração Transparente com DSC: O framework suporta naturalmente a DSC, reduzindo as cargas úteis transmitidas e as coordenadas expostas sem comprometer as garantias de utilidade fornecidas pela FSA.
Garantias Teóricas:
- Convergência: Os autores provam que a FSA não incorre em perda de informação em comparação com a agregação centralizada. Com DSC, estabelecem limites de convergência mostrando que a utilidade depende da variância do estimador de gradiente e é independente do número de rodadas $T$ (diferentemente de alguns métodos anteriores de DP-compressão).
- Privacidade: Derivam um limite superior teoricamente informacional para o vazamento de informação mútua. O vazamento é mostrado como escalável com $1/A$ (onde $A$ é o número de agregadores) e a probabilidade de retenção da compressão $p$ . Isso demonstra amplificação de privacidade através da fragmentação e compressão.
Validação Empírica: Experimentos extensivos em tarefas de imagem (MNIST, CIFAR-10, ImageNet, LFW) e texto (IMDB, CNN/DailyMail), variando de modelos pequenos a LLMs de 1,3 bilhão de parâmetros, validam o framework contra seis baselines de última geração.

Resultados Experimentais

O artigo avalia o ERIS em três dimensões:

Utilidade: O ERIS alcança desempenho comparável ao FedAvg não privado em todos os conjuntos de dados e tamanhos de modelo, incluindo modelos de linguagem de grande escala. Em contraste, baselines como FedAvg-LDP, PriPrune e SoteriaFL frequentemente sofrem degradação significativa de precisão, especialmente em modelos grandes ou regimes de poucos dados.
Privacidade:
- Ataques de Inferência de Membro (MIA): O ERIS reduz significativamente a precisão do MIA em comparação com o FedAvg, aproximando-se da baseline "Min. Leakage" (onde nenhum gradiente é compartilhado). Aumentar o número de agregadores ( $A$ ) e a força da compressão ( $\omega$ ) reduz ainda mais o vazamento.
- Ataques de Reconstrução de Dados (DRA): Contra ataques de caixa branca (DLG, iDLG, ROG, GGL), o ERIS torna as reconstruções altamente distorcidas. Mesmo com uma configuração mínima ( $A=2$ ), o sistema efetivamente ofusca os gradientes, enquanto a compressão isolada é frequentemente insuficiente contra ataques adaptativos.
Escalabilidade:
- Eficiência de Comunicação: Ao distribuir a agregação, o ERIS remove o gargalo central. Para um modelo de 1,3 bilhão de parâmetros, o ERIS reduz o tempo de distribuição de ~5200s (FedAvg) para ~468s (sem DSC) e para ~236s (com DSC).
- Redução de Carga Útil: Com DSC, o ERIS pode reduzir o tamanho do upload para ~1% da atualização completa (por exemplo, 46,8 MB para um modelo de 1,3 bilhão) mantendo a utilidade.

Significado e Alegações

O artigo afirma que o ERIS fornece um passo fundamental para sistemas de FL de próxima geração, demonstrando que privacidade e escalabilidade podem ser fortalecidas sem sacrificar a utilidade do modelo.

Quebrando o Compromisso: Diferentemente de métodos anteriores que forçam uma escolha entre privacidade/escalabilidade e precisão, o ERIS mantém a trajetória exata de otimização do FL centralizado enquanto distribui a carga e limita a exposição de informações.
Independência de Criptografia Pesada: O framework alcança fortes garantias de privacidade através de design arquitetônico (fragmentação) e limites teoricamente informacionais, evitando a sobrecarga computacional de computação multipartidária segura ou ambientes de execução confiáveis.
Robustez: O sistema demonstra ser robusto a falhas de agregadores e links (degradando-se graciosamente) e eficaz contra ataques de inferência de membro e reconstrução de dados.
Generalidade: A natureza modular da FSA permite que ela suporte vários algoritmos de FL centralizado (por exemplo, FedAdam, FedYogi) e integre-se com outros mecanismos de privacidade, posicionando-a como uma camada de propósito geral para aprendizado escalável e preservador de privacidade.