🤖 machine learning

FedTopo: Relation-Level Topology Sharing for Model-Heterogeneous Federated Learning

O FedTopo aborda o desafio dos espaços de representação não alinhados em aprendizado federado heterogêneo ao codificar o conhecimento global como uma topologia de classe em nível de relação, em vez de características absolutas, permitindo a transferência de conhecimento confiável e melhorias de desempenho consistentes entre diversas arquiteturas de clientes sem sobrecarga de inferência.

Autores originais: Zhaoyang Ma, Zhihao Wu, Xin Gao, Lipo Wang, Youfang Lin, Jing Wang

Publicado 2026-07-30

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zhaoyang Ma, Zhihao Wu, Xin Gao, Lipo Wang, Youfang Lin, Jing Wang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde todos os smartphones, smartwatches e robôs domésticos pudessem aprender juntos para ficarem mais inteligentes, mas sem nunca compartilhar suas fotos ou mensagens privadas. Este é o sonho do Aprendizado Federado (Federated Learning). Em vez de reunir todos os seus dados em um único banco de dados gigante e vulnerável, o aprendizado acontece diretamente no seu dispositivo. Os dispositivos apenas enviam pequenas "atualizações" sobre o que aprenderam para um servidor central, que as mistura para criar um cérebro global mais inteligente.

No entanto, há um problema: nem todos possuem o mesmo hardware. Alguns dispositivos são supercomputadores poderosos, enquanto outros são chips minúsculos de economia de energia. Nos velhos tempos do aprendizado de máquina, todos tinham que usar exatamente a mesma "arquitetura de cérebro" para aprenderem juntos. Se o seu telefone tivesse um cérebro diferente do seu vizinho, eles não conseguiriam entender as atualizações um do outro. É como tentar traduzir um livro escrito em inglês para uma língua que usa letras e regras gramaticais completamente diferentes; o significado se perde na tradução. Este artigo aborda a realidade desordenada desses dispositivos desemparelhados tentando colaborar.

O Problema: Tentando Tirar a Média de Maçãs e Laranjas

Os autores deste artigo, FedTopo, perceberam que os métodos existentes para ajudar esses dispositivos desemparelhados a aprenderem juntos estavam tentando forçar um objeto quadrado em um buraco redondo. A maioria dos métodos atuais tenta compartilhar "protótipos". Imagine que cada dispositivo tira uma captura do que um "gato" parece em seu próprio espaço de características e envia essa captura para o servidor. O servidor então tenta tirar a média de todas essas capturas para encontrar o "gato perfeito".

Mas aqui está o problema: como cada dispositivo tem uma arquitetura diferente (um "cérebro" diferente), a palavra "gato" pode parecer um borrão nebuloso em um telefone e uma forma geométrica nítida em outro. Quando você tenta tirar a média de um borrão nebuloso com uma forma nítida, você não obtém um gato melhor; você obtém uma confusão confusa que engana a todos. O artigo argumenta que tentar alinhar essas coordenadas absolutas (a posição exata de um "gato" em um espaço matemático) é uma batalha perdida quando os dispositivos são tão diferentes.

A Solução: Compartilhando o Mapa, Não as Coordenadas

Em vez de tentar concordar sobre onde um "gato" se encontra no universo, o FedTopo sugere que apenas compartilhemos como as coisas se relacionam. Pense nisso da seguinte forma:

Imagine que você e um amigo estão ambos tentando navegar por uma cidade, mas vocês têm mapas diferentes. O seu mapa diz que a biblioteca fica ao "Norte do parque", enquanto o mapa do seu amigo diz que ela fica "Subindo a colina". Vocês não podem misturar facilmente esses mapas porque "Norte" e "Subindo" significam coisas diferentes para cada um de vocês.

No entanto, vocês podem concordar com os relacionamentos. Vocês podem ambos concordar que "A biblioteca é mais próxima do parque do que do aeroporto". Isso é um relacionamento, não uma coordenada.

O FedTopo funciona fazendo com que cada dispositivo construa um "mapa de relacionamento" (uma topologia) de suas classes. Ele não diz: "A classe A está na coordenada (5, 10)". Em vez disso, ele diz: "A classe A é muito semelhante à classe B, mas muito diferente da classe C". Ele calcula o quão semelhante um "gato" é a um "cachorro" versus um "caminhão" dentro de seu próprio cérebro local.

Como Funciona: O Mensageiro Confiável

O processo é um pouco como um grupo de detetives resolvendo um mistério com cadernos diferentes:

Trabalho de Detetive Local: Cada dispositivo observa seus próprios dados e descobre como suas classes se relacionam. "Ei, meus 'gatos' e 'cachorros' parecem um pouco semelhantes, mas meus 'gatos' e 'caminhões' são totalmente diferentes". Ele envia este mapa de relacionamento para o servidor.
O Filtro de Confiança: O servidor sabe que alguns dispositivos podem ter pouquíssimas fotos de "caminhões", então a opinião deles sobre como os "caminhões" se relacionam com os "gatos" pode ser instável. O FedTopo usa uma "pontuação de confiabilidade" especial para pesar as mensagens. Se um dispositivo tem muitos dados, seu mapa de relacionamento conta mais. Se ele tem muito poucos dados, o servidor ignora seus palpites incertos.
O Mapa Global: O servidor combina esses mapas de relacionamento ponderados em um único "Mapa de Relacionamento Global" super confiável.
A Lição: Este mapa global é enviado de volta aos dispositivos. Agora, quando um dispositivo está aprendendo, ele não olha apenas para a foto que está segurando; ele olha para o mapa global para ver quais outras classes são "confusamente semelhantes". Ele então pratica mais intensamente nesses pares específicos que são confusos para refinar suas habilidades.

O Que Eles Descobriram

Os autores testaram essa ideia em três conjuntos de dados diferentes (CIFAR-10, CIFAR-100 e Tiny-ImageNet) usando oito tipos completamente diferentes de arquiteturas de redes neurais (variando de CNNs simples a ResNets complexas). Eles simularam um mundo caótico onde os dados eram distribuídos de forma desigual (alguns dispositivos tinham apenas gatos, outros apenas caminhões).

Os resultados foram claros: o FedTopo superou consistentemente todos os outros métodos.

No conjunto de dados CIFAR-10, ele atingiu uma precisão de 87,38% no cenário desigual padrão, superando o próximo melhor método por uma margem sólida.
No cenário "patológico" ainda mais difícil (onde os dispositivos tinham poucas classes), ele atingiu 86,26%, liderando novamente o grupo.
Funcionou tão bem quanto nos conjuntos de dados maiores e mais difíceis, como CIFAR-100 e Tiny-ImageNet.

Crucialmente, o artigo mostra que este método é incrivelmente eficiente. Ele não exige o envio de arquivos de modelos enormes de um lado para o outro. Ele envia apenas tabelas de relacionamento minúsculas (apenas 110 parâmetros para carregar e 200 para baixar para um problema de 10 classes). Além disso, ele adiciona custo zero quando o dispositivo está sendo usado (inferência), porque o mapa de relacionamento é usado apenas durante a fase de treinamento para ajudar o dispositivo a aprender mais rápido.

A Conclusão

O FedTopo prova que, quando os dispositivos são diferentes demais para concordar sobre as "coordenadas" exatas do conhecimento, eles ainda podem aprender juntos ao concordar sobre os "relacionamentos" entre as ideias. Ao focar em como as classes se relacionam umas com as outras, em vez de onde elas se situam em um vazio matemático, e ao filtrar palpites não confiáveis, este método permite que um grupo diversificado de dispositivos construa uma inteligência coletiva mais inteligente e robusta sem a necessidade de centralizar seus dados privados. É uma maneira mais inteligente de aprender juntos, mesmo quando todos estão falando uma linguagem ligeiramente diferente.

Resumo Técnico: FedTopo

Declaração do Problema

O Aprendizado Federado (FL) permite o treinamento colaborativo através de silos de dados descentralizados sem centralizar os dados brutos. No entanto, o FL padrão assume arquiteturas de clientes idênticas, o que é frequentemente impraticável devido aos variados recursos computacionais e restrições de implantação. O FL heterogêneo em modelos aborda isso ao permitir que os clientes utilizem diferentes arquiteturas de backbone.

O desafio central no FL heterogêneo em modelos é transferir o conhecimento global através de espaços de representação não alinhados. Os paradigmas existentes compartilham conhecimento via:

Compartilhamento Parcial de Parâmetros: Requer espaços de parâmetros alinhados e arquiteturas compatíveis.
Destilação de Conhecimento: Requer um espaço de saída compartilhado ou dados auxiliares públicos para alinhar as predições.
Compartilhamento de Protótipos: Troca protótipos de classe (coordenadas de características).

Todos os três paradigmas codificam o conhecimento em um espaço absoluto (pesos, logits ou coordenadas de características) que deve ser alinhado entre os clientes. Sob backbones heterogêneos, a mesma dimensão de característica pode codificar diferentes fatores semânticos entre os clientes. Consequentemente, a média direta de protótipos ou parâmetros leva a um conhecimento global não confiável e induz o treinamento local ao erro.

Metodologia: FedTopo

Os autores propõem o FedTopo (Federated Topology-guided Learning), um framework que muda do compartilhamento de coordenadas absolutas para o compartilhamento de topologia de relação de classe. Em vez de perguntar "onde uma classe reside no espaço de características?", o FedTopo pergunta "como as classes se relacionam entre si dentro do espaço local de um cliente?".

O framework opera em três estágios:

1. Construção de Topologia de Nível de Relação (Lado do Cliente)

Cada cliente $k$ treina seu modelo heterogêneo local em dados privados.

Extração de Protótipos: O cliente computa protótipos de classe $p_{k,c}$ (representações médias de características) para as classes presentes em seu conjunto de dados local.
Construção da Matriz de Relação: Em vez de fazer o upload dos protótipos, o cliente computa uma matriz de relação local $R_k \in [0, 1]^{C \times C}$ . A entrada $R_k(c, c')$ representa a similaridade de cosseno entre os protótipos das classes $c$ e $c'$ , reescalonada para $[0, 1]$ .
Estatísticas: O cliente registra as contagens de amostras por classe $n_k$ para quantificar o suporte estatístico para essas relações.
Upload: Apenas a matriz de relação $R_k$ e as estatísticas $n_k$ são enviadas. Os protótipos brutos e as coordenadas de características permanecem locais.

2. Agregação de Topologia Global Consciente de Confiabilidade (Lado do Servidor)

O servidor agrega as relações locais em uma topologia global $R_g$ e uma matriz de confiabilidade $S_g$ .

Mascaramento: Uma máscara binária $M_k$ exclui pares de classes não observados em um cliente específico.
Ponderação de Confiabilidade: Um peso $w_k(c, c')$ é calculado com base na média harmônica das contagens de amostras para as duas classes. Relações suportadas por poucas amostras são penalizadas.
Agregação: A relação global $\tilde{R}_g$ é uma média ponderada pela confiabilidade das relações locais válidas.
Matriz de Confiabilidade: $S_g$ monitora a quantidade relativa de evidência que suporta cada par de relação global.
Suavização: Uma Média Móvel Exponencial (EMA) é aplicada a $R_g$ para reduzir flutuações de rodada para rodada.
Broadcast: O servidor transmite $(R_g, S_g)$ para os clientes.

3. Treinamento Local Guiado por Topologia (Lado do Cliente)

Os clientes usam a topologia global para refinar as fronteiras de decisão locais sem alinhar os espaços de características.

Seleção de Guia: Para uma amostra de treinamento com classe verdadeira $y$ , o cliente seleciona as top- $q$ classes negativas que são mais topologicamente similares a $y$ (baseado em $R_g$ ) e mais confiavelmente suportadas (baseado em $S_g$ ).
Modulação de Logit: Os logits dessas classes negativas selecionadas são aumentados por um fator $\gamma$ .
Função de Perda: A perda local combina a perda de entropia cruzada padrão com um termo auxiliar que penaliza o modelo se ele falhar em distinguir a classe verdadeira dessas classes negativas "difíceis".
Inferência: A topologia global é usada apenas durante o treinamento. No momento da inferência, os clientes usam seus modelos locais originais, incorrendo em zero overhead de inferência.

Principais Contribuições

Compartilhamento de Conhecimento em Nível de Relação: O FedTopo é o primeiro framework que compartilha o conhecimento global como topologia de relação de classe em vez de parâmetros, logits ou coordenadas de protótipos. Isso relaxa a suposição de alinhamento entre clientes para uma suposição de consistência intra-cliente.
Agregação Consciente de Confiabilidade: O método introduz um mecanismo para reduzir o peso de relações não confiáveis causadas por dados esparsos ou suporte fraco, garantindo que a topologia global seja robusta a distribuições de dados não-IID.
Treinamento Guiado por Topologia: Um objetivo de treinamento inovador que utiliza a topologia global para enfatizar classes negativas confusas, melhorando a discriminação local sem exigir o alinhamento do espaço de características.
Eficiência: O framework alcança o estado da arte em desempenho com baixos custos de comunicação (escalando com $O(C^2)$ em vez de $O(C \times d)$ ) e sem overhead de inferência.

Resultados Experimentais

Os autores avaliaram o FedTopo no CIFAR-10, CIFAR-100 e Tiny-ImageNet sob configurações Dirichlet e patológicas de não-IID, utilizando oito backbones heterogêneos (variando de CNN a ResNet-152).

Desempenho: O FedTopo superou consistentemente os baselines em todos os três paradigmas de compartilhamento de conhecimento (parâmetro, destilação e compartilhamento de protótipo).
- No CIFAR-10 (Dirichlet $\alpha=0.1$ ), o FedTopo alcançou 87,38% de acurácia, superando o melhor baseline (FedSCE com 86,18%) em 1,2 pontos.
- No CIFAR-100 (Patológico), alcançou 59,30%, superando o melhor baseline (FedMRL com 57,45%) em 1,85 pontos.
Robustez: A lacuna de desempenho aumentou conforme a heterogeneidade do modelo e o desvio de dados aumentaram, demonstrando que a topologia de nível de relação é mais transferível do que as coordenadas absolutas.
Estudos de Ablação: A remoção de qualquer componente (ponderação de confiabilidade, seleção Top- $q$ , mascaramento consciente de ausência ou EMA) degradou o desempenho, confirmando a necessidade do design completo.
Custo: O FedTopo exigiu apenas 110 parâmetros para upload e 200 para download por rodada no CIFAR-10, significativamente menor do que os métodos baseados em protótipos (5.120 parâmetros). Adicionou FLOPs de treinamento negligenciáveis e zero FLOPs de inferência.

Significância e Alegações

O artigo afirma que o FedTopo fornece uma solução mais robusta para o FL heterogêneo em modelos ao mudar fundamentalmente a natureza do conhecimento compartilhado. Ao mudar do alinhamento de coordenadas absolutas (que falha sob backbones heterogêneos) para a consistência de relação relativa (que é preservada através de diferentes espaços de características), o método permite a colaboração eficaz sem exigir arquiteturas compartilhadas, dados auxiliares ou alinhamento de características.

Os autores enfatizam que esta abordagem:

Evita o problema de "protótipos globais não confiáveis" inerente ao compartilhamento de protótipos.
Opera efetivamente em cenários sem dados (não requer dados auxiliares públicos).
Entrega transferência positiva mesmo em configurações altamente personalizadas onde os modelos locais já são fortes.
Mantém baixo custo de comunicação e computação, tornando-o prático para dispositivos de borda com recursos limitados.

O trabalho conclui que a topologia de nível de relação é um transportador superior para o conhecimento global no FL heterogêneo, oferecendo um equilíbrio de transferibilidade, robustez e eficiência que os paradigmas existentes carecem. Sugere-se trabalho futuro para estender isso para cenários multimodais e de conjunto aberto (open-set).