🤖 machine learning

Closing the Alignment-Maturity Gap in Federated Prototype Learning

Este artigo apresenta o FedSAP, um framework de aprendizado federado que aborda a lacuna de maturidade de alinhamento em métodos baseados em protótipos ao combinar um currículo de alinhamento determinístico com uma perda de separação de proxy orientada pela geometria para estabilizar o aprendizado de representação e melhorar significativamente o desempenho sob condições de dados heterogêneos sem adicionar sobrecarga de comunicação.

Autores originais: Mario Casado-Diez, Alejandro Dopico-Castro, Verónica Bolón-Canedo, Bertha Guijarro-Berdiñas

Publicado 2026-06-02

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Mario Casado-Diez, Alejandro Dopico-Castro, Verónica Bolón-Canedo, Bertha Guijarro-Berdiñas

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um grupo de estudantes (os "clientes") tentando aprender a reconhecer diferentes animais, mas todos estão em salas de aula separadas e não podem compartilhar seus cadernos ou ver o trabalho uns dos outros. Eles só podem enviar uma nota de resumo minúscula para um professor (o "servidor") de vez em quando. Este é o mundo do Aprendizado Federado (Federated Learning).

O problema é que cada estudante tem um conjunto de imagens muito diferente. Um estudante tem apenas fotos de gatos e cachorros; outro tem apenas pássaros e peixes. Se eles tentarem aprender juntos rápido demais, ficam confusos.

O Problema: A "Pressa para Julgar"

Em métodos anteriores, o professor tentava imediatamente forçar todos os estudantes a concordarem sobre como é um "gato", logo no primeiro dia de aula.

O artigo chama isso de "Lacuna de Alinhamento-Maturidade" (Alignment-Maturity Gap). Aqui está a analogia:

O Estudante Imaturo: No início do ano, a compreensão de um estudante sobre um gato é bagunçada e vaga. Eles podem pensar que um gato é apenas "uma coisa peluda".
O Resumo Ruidoso: Quando este estudante envia sua ideia bagunçada para o professor, o professor a combina com outras ideias bagunçadas de outros estudantes para criar uma "Definição Global de Gato".
A Panela de Pressão: O professor então grita imediatamente: "Você deve mudar seu desenho para corresponder a esta Definição Global de Gato!"
O Resultado: Como o desenho do estudante já era instável, essa correção súbita e forçada não ajuda a aprender. Em vez disso, ela embaralha o cérebro deles, fazendo-os esquecer como desenhar um gato completamente. Eles acabam com um desenho bagunçado e confuso que não se parece com nada.

O artigo argumenta que forçar os estudantes a se alinharem com o grupo antes de terem aprendido o básico é contraproducente. Isso cria uma "pressão de gradiente" que é forte demais cedo demais, destruindo o processo de aprendizado local.

A Solução: FedSAP (O Professor Paciente)

Os autores propõem um novo framework chamado FedSAP. Pense nele como um professor que usa um "Currículo Paciente" e um "Mapa Inteligente" em vez de apenas gritar ordens.

1. O Cronograma de "Aquecimento" (Alinhamento Progressivo)

Em vez de forçar o acordo no Dia 1, o FedSAP age como um treinador paciente:

Rodadas Iniciais: Nas primeiras semanas, o professor diz aos estudantes: "Apenas foquem em aprender seus próprios animais. Não se preocupem em combinar com o grupo ainda." Isso permite que os estudantes construam uma compreensão sólida e clara de gatos, cachorros, etc., por conta própria.
Introdução Gradual: Lentamente, ao longo do tempo, o professor começa a pedir que eles comparem seus desenhos com os do grupo.
Alinhamento Total: No momento em que os estudantes estão confiantes em suas próprias habilidades, o professor diz: "Ok, agora vamos todos concordar com o padrão."
Por que funciona: No momento em que a pressão para o "alinhamento" chega, os desenhos dos estudantes já são bons. O acordo do grupo ajuda a refiná-los, em vez de destruí-los.

2. O "Mapa Inteligente" (Separação de Proximidade Baseada em Geometria)

Normalmente, para evitar que diferentes animais (gatos vs. cachorros) se misturem, você precisa de um conjunto especial de "cartões de referência" (parâmetros aprendíveis) que ocupam espaço extra e exigem comunicação adicional.

O FedSAP é inteligente: ele diz, "Não precisamos de novos cartões!"

O professor já envia aos estudantes a "Definição Global de Gato" (o protótipo).
O FedSAP usa essas definições existentes como os "cartões de referência".
Ele cria uma regra em um "mapa mental" (uma hiperesfera): "Se você está desenhando um gato, mova seu desenho em direção à Definição de Gato. Se você está desenhando um cachorro, empurre seu desenho para longe da Definição de Gato."
O Benefício: Isso mantém os diferentes grupos de animais organizados e separados no mapa sem precisar de qualquer comunicação extra ou ferramentas complexas novas. Ele apenas utiliza as ferramentas que já possui.

O Bônus: Aprendendo Sem Rótulos

O artigo também mostra que este método funciona bem mesmo quando alguns estudantes têm imagens sem nomes (dados não rotulados).

Uma vez que os estudantes aprenderam o básico (durante a fase de "aquecimento"), eles podem olhar para uma nova imagem sem rótulo e adivinhar: "Isso se parece mais com a Definição de Gato".
Como o professor esperou até que os estudantes estivessem prontos antes de introduzir as regras do grupo, esses palpites são muito mais precisos. O sistema pode então usar esses palpites para aprender ainda mais, sem a necessidade de um humano rotular cada única imagem.

A Conclusão

O artigo testou isso em três "salas de aula" diferentes (datasets) com níveis variados de confusão (heterogeneidade).

O Resultado: O FedSAP superou consistentemente os métodos antigos.
O Ganho: Melhorou a precisão em até 4 pontos percentuais.
A Grande Vitória: A melhoria foi maior quando as salas de aula eram mais diferentes entre si (condições não-IID severas).

Em resumo, o FedSAP corrige o problema de "correr para o consenso" ao ensinar os estudantes a se sustentarem por conta própria primeiro, e depois guiá-los gentilmente para caminharem juntos. Ele cria um mapa mental mais limpo e organizado do mundo sem a necessidade de enviar mais dados de ida e volta.

Resumo Técnico: Fechando a Lacuna de Alinhamento-Maturidade no Aprendizado de Protótipos Federados

Definição do Problema
O Aprendizado Federado (FL) enfrenta um desafio fundamental ao aprender representações visuais discriminativas a partir de dados distribuídos e heterogêneos. Embora os métodos baseados em protótipos (ex: FedProto, FedNH) abordem a heterogeneidade estatística através do compartilhamento de representações ao nível de classe (protótipos) em vez de pesos de modelos completos, eles introduzem uma instabilidade crítica conhecida como a lacuna de alinhamento-maturidade.

No aprendizado federado baseado em protótipos existente, os protótipos globais são agregados a partir de embeddings de clientes locais e utilizados como âncoras semânticas desde a primeira rodada de treinamento. No entanto, nos estágios iniciais de treinamento, os extratores de características locais ainda não aprenderam estruturas discriminativas, resultando em representações locais ruidosas e não refinadas. Consequentemente, os protótipos globais agregados são pouco confiáveis. Quando um peso de alinhamento estático é aplicado imediatamente, a grande distância Euclidiana entre os embeddings locais imaturos e esses protótipos globais ruidosos gera gradientes de alinhamento massivos. Esses gradientes dominam o sinal de entropia cruzada, suprimindo a emergência da estrutura discriminativa local e desestabilizando a otimização, particularmente sob condições severas de non-IID.

Metodologia: FedSAP
Os autores propõem o FedSAP (Federated Scheduled and Adaptive Prototypes), um framework projetado para estabilizar o aprendizado de representação federada ao desacoplar o tempo de alinhamento global da força da separação interclasses. O FedSAP opera sem modificar o protocolo de comunicação subjacente ou introduzir parâmetros aprendíveis adicionais. Ele se baseia em dois mecanismos complementares:

Currículo de Alinhamento Determinístico:
Em vez de aplicar pressão total de alinhamento desde o início, o FedSAP emprega um cronograma de aquecimento linear para o peso de alinhamento de protótipo ( $\lambda_t$ ).
- Mecanismo: O peso aumenta linearmente de 0 a um valor máximo $M$ ao longo de um número fixo de rodadas ( $t_w$ ).
- Efeito: Isso retarda a introdução da pressão de alinhamento global, permitindo que as representações locais se consolidem e formem estruturas discriminativas antes de serem atraídas para um consenso global. O cronograma é determinístico, não exigindo sinais auxiliares ou sobrecarga de comunicação por rodada.
Perda de Separação de Proxy Baseada em Geometria:
Para impor uma estrutura interclasse sem adicionar parâmetros, o FedSAP reaproveita o banco de protótipos globais existente como um "banco de proxies" compartilhado.
- Mecanismo: Os embeddings locais e os protótipos globais são projetados em uma hiperesfera unitária. Uma objetiva de cosine-softmax é aplicada, atraindo as representações em direção ao seu protótipo de classe alvo enquanto as repele dos protótipos de classes não-alvo.
- Efeito: Isso impõe clusters de classe compactos e bem separados na hiperesfera. Ao utilizar os protótipos distribuídos pelo servidor como proxies, o método evita a complexidade e os custos de comunicação associados à manutenção de parâmetros de proxy aprendíveis separados (como visto em métodos como ProxyNCA ou ProxyAnchor).

Extensão para Aprendizado Semisupervisionado
O artigo demonstra que o FedSAP se estende naturalmente para configurações federadas semisupervisionadas (SSFL). Ao estabelecer um espaço de embedding estável durante uma fase supervisionada inicial, o framework permite a rotulagem pseudo-automática (pseudo-labeling) de dados não rotulados em uma fase subsequente. Amostras não rotuladas recebem pseudo-rótulos baseados na distância de vizinho mais próximo ao banco de protótipos globais, com limiares de confiança calibrados automaticamente a partir da fase supervisionada para mitigar o viés de confirmação.

Principais Contribuições

Identificação da Lacuna: Os autores identificam e motivam explicitamente a "lacuna de alinhamento-maturidade", onde o alinhamento global prematuro sobre representações imaturas suprime o aprendizado local.
Framework FedSAP: A proposta de um framework que resolve essa lacuna através de um currículo de alinhamento progressivo e uma perda de separação de proxy baseada em geometria aplicada ao banco de protótipos existente.
Desempenho e Generalidade: Validação empírica mostrando que o FedSAP alcança embeddings bem separados com o mesmo custo de comunicação do FedProto, apresentando ganhos significativos de desempenho. O framework mostra-se extensível naturalmente para configurações semisupervisionadas, ressaltando a generalidade do alinhamento agendado como um princípio de design.

Resultados Experimentais
O FedSAP foi avaliado em três benchmarks (FEMNIST, CIFAR-10, CIFAR-100) sob variados graus de heterogeneidade estatística.

Desempenho: O framework alcançou ganhos de até 4 pontos percentuais sobre as linhas de base baseadas em protótipos (FedProto, FedMPS) e a linha de base de agregação de parâmetros (FedAvg).
Heterogeneidade: As melhorias foram mais pronunciadas sob condições severas de non-IID, onde a instabilidade dos protótipos nas rodadas iniciais é mais grave.
Ablação: Os resultados confirmam que o cronograma de alinhamento progressivo e a perda de separação de proxy são críticos para estabilizar o espaço de embedding sem aumentar a sobrecarga de comunicação.

Significância e Alegações
O artigo afirma que o FedSAP aborda uma limitação específica e anteriormente não abordada no aprendizado de protótipos em FL: o descompasso temporal entre a confiabilidade dos âncoras globais e a maturidade das representações locais. Ao tratar o aprendizado de protótipos federados fundamentalmente como um problema de aprendizado de representação, o FedSAP produz uma trajetória de aprendizado que é estável nas rodadas iniciais e cada vez mais discriminativa nas rodadas posteriores. Os autores posicionam o princípio do "alinhamento agendado" não apenas como uma estratégia de ajuste para um protocolo específico, mas como um princípio de design geral aplicável tanto a ambientes federados totalmente supervisionados quanto semisupervisionados.