🤖 machine learning

HERO: A Heterogeneity-Aware Benchmark Library for Federated Continual Learning

O artigo introduz o HERO, uma biblioteca de benchmarks sensível à heterogeneidade para Aprendizado Contínuo Federado que desacopla divisões de tarefas, distribuições de dados de clientes e sequências de tarefas para permitir avaliações reproduzíveis que revelam como o desempenho dos métodos varia através de diferentes configurações de heterogeneidade e pode ser mascarado por métricas médias.

Autores originais: Thinh T. H. Nguyen, Le-Tuan Nguyen, Minh-Duong Nguyen, Nhi Trinh, Anh Tran Nam Nguyet, Dung D. Le, Kok-Seng Wong

Publicado 2026-07-13

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Thinh T. H. Nguyen, Le-Tuan Nguyen, Minh-Duong Nguyen, Nhi Trinh, Anh Tran Nam Nguyet, Dung D. Le, Kok-Seng Wong

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar uma classe enorme de alunos que estão todos em salas diferentes, usando livros didáticos diferentes e aprendendo em velocidades diferentes. Este é o mundo do Aprendizado Federado Contínuo (FCL - Federated Continual Learning). O objetivo é treinar um modelo "superprofessor" inteligente que aprenda com todos esses alunos sem nunca ver seus cadernos particulares. Mas há um detalhe: as lições dos alunos continuam mudando ao longo do tempo. Um dia eles aprendem sobre gatos, no outro sobre cachorros e, no seguinte, sobre foguetes. O professor deve se lembrar dos gatos enquanto aprende sobre os foguetes, tudo isso enquanto os alunos estão espalhados pelo globo.

Por muito tempo, cientistas que tentavam testar esses "superprofessores" estavam jogando um jogo de "comparar maçãs com laranjas". Um pesquisador poderia testar em um conjunto de dados de 100 imagens, outro em 1.000; um poderia ter todos os alunos aprendendo na mesma ordem, enquanto outro poderia tê-los aprendendo no caos. Era impossível dizer se um método era realmente inteligente ou apenas sortudo porque o teste era mais fácil.

Apresentamos o HERO (Biblioteca de Benchmarking para FCL Consciente de Heterogeneidade). Pense no HERO como um circuito de obstáculos gigante e perfeitamente calibrado pelo qual todo superprofessor deve correr. Em vez de deixar os pesquisadores construírem suas próprias pistas bagunçadas, o HERO constrói a pista para eles, garantindo que todos enfrentem exatamente os mesmos obstáculos.

Os Três Botões Mágicos

A principal descoberta do artigo é que os testes anteriores estavam misturando três tipos diferentes de problemas em uma grande confusão. O HERO separa esses problemas em três "botões" distintos que você pode girar para ver exatamente o que faz um modelo falhar:

O Botão "Quem Recebe o Quê" (Desvio de Dados do Cliente): Imagine uma festa de pizza. Se todos receberem uma fatia igual de cada cobertura, é fácil. Mas e se um aluno receber apenas pepperoni, outro apenas cogumelos e um terceiro uma mistura estranha? Isso é o desvio de dados do cliente (client data skew). O artigo usa um número chamado $\alpha$ para controlar isso. Um $\alpha$ alto (como 100,00) significa que todos recebem uma parte justa. Um $\alpha$ baixo (como 0,10) significa que as fatias são extremamente desiguais.
O Botão "Quem Vai Quando" (Desajuste de Ordem de Tarefas): Imagine uma corrida de revezamento. Em uma corrida sincronizada, todos correm a etapa 1, depois a etapa 2, depois a etapa 3 juntos. Mas em uma corrida caótica, o Aluno A corre a etapa 1, depois a etapa 3, depois a etapa 2, enquanto o Aluno B corre a etapa 2, depois a etapa 1, depois a etapa 3. Isso é o desajuste de ordem de tarefas (task-order mismatch). O artigo usa um número chamado $\rho$ para controlar isso. Se $\rho$ for 0,00, todos correm em perfeito sincronismo. Se $\rho$ for 1,00, todos estão correndo em seu próprio ritmo caótico.
O Botão "O Que Está no Cardápio" (Divisão de Tarefas): Isso decide quais tópicos (como "gatos" ou "cachorros") compõem cada lição.

Ao separar isso, o HERO permite que os pesquisadores perguntem: "Este modelo falha porque os dados são desiguais ou porque os alunos estão confusos sobre a ordem das lições?"

A Grande Surpresa: Médias Mentem

O artigo realizou um experimento massivo usando o CIFAR-100 (um conjunto de dados de 100 categorias de imagens) e o TinyImageNet (um conjunto menor de 100 categorias de imagens). Eles testaram muitos métodos diferentes de "superprofessor".

Aqui está a grande revelação: médias podem esconder um desastre.

No cenário "Fácil" (onde os dados são justos e todos aprendem em ordem), um método chamado FedCBDR foi a estrela. Ele teve a maior precisão média. Mas assim que os pesquisadores aumentaram o caos (tornando os dados desiguais e as ordens misturadas), o FedCBDR começou a desmoronar.

Enquanto isso, outros métodos como TagFed e LGA não pareciam ser os melhores no cenário fácil, mas foram os sobreviventes mais resistentes no cenário difícil. Eles impediram que os "10% inferiores" dos alunos (aqueles com os dados mais difíceis e cronogramas mais estranhos) falhassem completamente.

O artigo mediu isso usando três pontuações específicas:

Precisão Média Final (AFA - Final Average Accuracy): A média da classe.
Esquecimento Médio (AF - Average Forgetting): O quanto o professor esqueceu das lições antigas.
Precisão dos Clientes nos 10% Inferiores (B10 - Bottom-10% Client Accuracy): O quão bem os alunos piores posicionados se saíram.

Os resultados mostraram que um método pode ter um AFA alto, mas um B10 terrível. É como uma escola onde os melhores alunos tiram notas excelentes, mas os 10% piores estão reprovando na disciplina. Se você olhar apenas para a média, pensaria que a escola é ótima. O HERO força você a olhar para os 10% inferiores para ver a verdade.

O Experimento de Grafos: Não Apenas Imagens

Para provar que o HERO não serve apenas para imagens, os autores o testaram no OGB-MolPCBA, um conjunto de dados sobre moléculas (estruturas químicas). Em vez de aprender novos tipos de moléculas, o modelo teve que aprender a partir de diferentes gruos de moléculas que pareciam diferentes (como diferentes estruturas/scaffolds).

Eles testaram isso agrupando as moléculas em 5, 15 ou 25 domínios diferentes. À medida que tornavam os grupos menores e mais específicos (aumentando o número de domínios), os modelos pioravam. A "Precisão Média" (AP) caía e o "esquecimento" aumentava. Isso provou que a interface do HERO funciona para grafos e produtos químicos, não apenas imagens.

O Que o Artigo Descarta

O artigo argumenta explicitamente contra a ideia de que você pode julgar esses modelos com uma única pontuação de "Ranking (Leaderboard)". Eles mostram que um método que vence em um teste simples e sincronizado pode perder feio quando o mundo real se torna caótico. Eles também descartam a ideia de que o "desempenho médio" é suficiente; você deve verificar o desempenho dos clientes mais fracos para saber se um método é verdadeiramente robusto.

O Quão Certos Estamos?

Os autores estão muito seguros de suas descobertas porque não apenas suporam; eles mediram. Eles executaram seus experimentos cinco vezes com diferentes sementes aleatórias para garantir que os resultados não fossem apenas sorte. Eles relataram números como 53,91 ± 1,53 para a precisão no CIFAR-100 no cenário fácil, mostrando exatamente o quanto os resultados variaram.

Eles descobriram que, no cenário "Joint-Hard" (onde $\alpha = 0,10$ e $\rho = 1,00$ ), o melhor método (TagFed) alcançou um AFA de 42,83 no CIFAR-100, enquanto o vencedor do cenário fácil (FedCBDR) caiu para 39,74. Estes são fatos medidos, não apenas sugestões.

A Conclusão

O HERO é como um novo tipo de academia para modelos de IA. Em vez de deixá-los correr em uma pista plana e vazia onde todos parecem rápidos, o HERO os coloca em uma pista com colinas, vento e terreno irregular. Ele nos mostra que o modelo que parece o mais rápido em uma pista plana pode ser aquele que tropeça na lama. Ao separar o "quem recebe o quê" do "quem vai quando", o HERO nos ajuda a construir uma IA que está verdadeiramente pronta para o mundo real, caótico e imprevisível.

Resumo Técnico: HERO – Uma Biblioteca de Benchmarks Consciente de Heterogeneidade para Aprendizado Federado Contínuo

1. Declaração do Problema

O Aprendizado Contínuo Federado (FCL) aborda o desafio de clientes distribuídos aprendendo de fluxos de dados não estacionários enquanto retêm o conhecimento adquirido anteriormente. No entanto, a área sofre de um significativo "gap de benchmark". As avaliações existentes são difíceis de comparar porque os pesquisadores alteram simultaneamente múltiplas variáveis: conjuntos de dados, divisões de tarefas, distribuições de dados dos clientes, sequências de tarefas, backbones de modelos, restrições de memória e regras de relatório. Consequentemente, um método pode parecer superior não devido à robustez, mas porque foi avaliado sob um protocolo mais favorável ou menos heterogêneo. As avaliações atuais frequentemente falham em distinguir se um método é robusto à disparidade de dados dos clientes, ao descompasso da sequência de tarefas ou a mudanças de domínio, ou se ele apenas performa bem sob configurações sincronizadas e fáceis.

2. Metodologia: O Framework HERO

Os autores introduzem o HERO, uma biblioteca de benchmark consciente de heterogeneidade projetada para unificar a construção de fluxos, a execução de métodos e o relatório de resultados. A filosofia central de design é a separação de três escolhas acopladas que são tipicamente confundidas em trabalhos anteriores:

Divisão de Tarefas (Task Split): Decidir quais classes ou domínios formam cada tarefa.
Divisão de Dados do Cliente (Client Data Split): Decidir a distribuição de dados que cada cliente recebe para cada tarefa.
Sequência de Tarefas do Cliente (Client Task Sequence): Decidir a ordem na qual cada cliente encontra as tarefas.

Construção de Fluxo (Stream Construction):
O HERO gera fluxos de benchmark $B(\xi, \alpha, \rho)$ onde:

$\xi$ é uma semente que garante a reprodutibilidade.
$\alpha$ controla a disparidade de dados do cliente via uma distribuição de Dirichlet ( $pt,c \sim \text{Dir}_K(\alpha \mathbf{1})$ ). Valores menores de $\alpha$ induzem uma disparidade mais forte (dados não-IID).
$\rho$ controla o descompasso da ordem das tarefas. Ele define o desvio das sequências de tarefas individuais de cada cliente em relação a uma ordem de referência compartilhada $\pi^*$ . Valores mais altos de $\rho$ resultam em sequências de tarefas mais assíncronas e descompassadas.

A biblioteca inclui três níveis:

HERO-Core: O benchmark comparável primário focado em Aprendizado Incremental de Classe Federada (FCIL) baseado em imagens usando CIFAR-100 e TinyImageNet.
HERO-Portability: Testa a extensão da interface para outros cenários, especificamente um estudo de caso de Aprendizado Incremental de Domínio (Domain-IL) em OGB-MolPCBA (dados moleculares baseados em grafos).
HERO-Extended: Armazena construtores de conjuntos de dados adicionais e implementações de métodos para uso futuro.

Métricas:
O HERO reporta três métricas primárias para capturar diferentes aspectos de desempenho:

Acurácia Média Final (AFA - Final Average Accuracy): Mede o desempenho final geral.
Esquecimento Médio (AF - Average Forgetting): Mede a queda de desempenho nas tarefas antigas.
Acurácia do Cliente no Bottom-10% (B10 - Bottom-10% Client Accuracy): Mede o desempenho nos 10% de clientes com pior desempenho, destacando a robustez contra a heterogeneidade.
Para o estudo de portabilidade baseado em grafos, Precisão Média (AP) e o esquecimento de AP são utilizados.

3. Principais Contribuições

O artigo apresenta quatro contribuições específicas:

Biblioteca HERO: Uma biblioteca de benchmark unificada e consciente de heterogeneidade que separa a construção do fluxo da execução do método, liberando fluxos, configurações e scripts de relatório fixos para garantir a reprodutibilidade.
Gerador de Fluxo Desacoplado: Um gerador que isola a divisão de tarefas, a divisão de dados do cliente e a sequência de tarefas do cliente, permitindo que os pesquisadores controlem e inspecionem a disparidade de dados do cliente ( $\alpha$ ) e o descompasso da ordem das tarefas ( $\rho$ ) independentemente.
Benchmark HERO-Core: Um benchmark denso de FCIL baseado em imagens no CIFAR-100 e TinyImageNet, apresentando fluxos compartilhados, configurações de heterogeneidade controladas e um pool representativo de métodos.
Demonstração de Portabilidade: Um estudo de caso no OGB-MolPCBA mostrando que a interface HERO se estende ao Domain-IL baseado em grafos, onde domínios moleculares agrupados por scaffold criam mudanças de distribuição sem alterar a tarefa de predição.

4. Resultados Experimentais

Os autores avaliaram métodos representativos de FCL (ex: FedAvg, GLFC, TagFed, LGA, FedCBDR) através de uma grade $\alpha$ - $\rho$ variando de "Fácil" (sincronizado, equilibrado) a "Conjunto-Difícil" (alta disparidade, alto descompasso).

Variância de Comportamento de Métodos: O desempenho dos métodos é altamente dependente da configuração de heterogeneidade. Métodos que dominam em configurações "Fáceis" (ex: FedCBDR) não são necessariamente os mais estáveis sob alta heterogeneidade. Por exemplo, TagFed e LGA tornam-se mais competitivos conforme a disparidade de dados do cliente e o descompasso da ordem das tarefas aumentam, particularmente em relação ao B10.
Desempenho Médio vs. Desempenho do Cliente Inferior: A acurácia média (AFA) pode mascarar um desempenho fraco em clientes difíceis. Enquanto o FedCBDR frequentemente alcança uma AFA alta, o TagFed e o LGA demonstram uma Acurácia de Cliente no Bottom-10% (B10) superior em configurações heterogêneas, indicando melhor proteção para clientes com baixo desempenho.
Modos de Falha Distintos: O estudo revela que a disparidade de dados do cliente e o descompasso da ordem das tarefas causam padrões de falha diferentes.
- Disparidade de Dados do Cliente ( $\alpha$ ): Degrada primariamente o B10, indicando que clientes difíceis são desproporcionalmente afetados pelo desequilíbrio de dados.
- Descompasso da Ordem das Tarefas ( $\rho$ ): Aumenta primariamente o Esquecimento Médio (AF), sugerindo que sequências descompassadas criam mais interferência temporal.
Portabilidade: No estudo OGB-MolPCBA, aumentar a granularidade de scaffold-domínio (domínios mais finos) reduziu a Precisão Média e aumentou o esquecimento. Métodos baseados em grafos (POWER, MOTION) superaram o FedAvg, confirmando que a interface HERO pode descrever fluxos de mudança de distribuição além do FCIL baseado em visão.

5. Significância e Alegações

O artigo afirma que o HERO aborda a falta de avaliação controlada e comparável em FCL. Ao separar as fontes de heterogeneidade, o HERO permite que os pesquisadores:

Determinem se um método é robusto a tipos específicos de dificuldade (disparidade vs. descompasso) em vez de uma configuração "heterogênea" genérica.
Revelem que um único ranking global é insuficiente; as classificações dos métodos mudam significamente com base na configuração específica de heterogeneidade.
Exponham falhas na "cauda longa" de clientes (via B10) que métricas médias ocultam.
Estendam protocolos de avaliação para domínios não-visuais (como grafos) sem misturar configurações incompatíveis em um único escore.

Os autores enfatizam que o HERO foi projetado para ser uma biblioteca reutilizável para apoiar uma avaliação de FCL cumulativa, reprodutível e consciente de configurações, em vez de um protocolo experimental de uso único. Eles declaram explicitamente que, embora o HERO documente as suposições dos métodos, ele não substitui a análise formal de privacidade ou a validação em nível de implantação.