Resumo Técnico: Orquestração de Rehearsal Projetada para Aprendizado Incremental de Classes Federado Heterogêneo

1. Definição do Problema

O artigo aborda o Aprendizado Incremental de Classes Federado (FCIL - Federated Class-Incremental Learning), um cenário onde um modelo global deve aprender novas classes ao longo do tempo enquanto retém o conhecimento de classes anteriores, tudo sob restrições de privacidade que impedem a centralização de dados brutos. O estudo visa especificamente o FCIL heterogêneo, um cenário realista, porém desafiador, onde os clientes exibem:

• Desequilíbrio de Supervisão: Diferentes clientes observam diferentes subconjuntos de rótulos para a mesma tarefa semântica ou fornecem contagens de amostras desiguais.
• Desalinhamento de Estágio: Os clientes progridem através da sequência de tarefas semânticas em diferentes taxas e tempos (ou seja, $\pi_c[p] \neq \pi_{c'}[p]$).

Os métodos de FCIL existentes frequentemente dependem de rehearsal baseado em geradores ou síntese livre de dados para preservar o conhecimento antigo ao gerar amostras artificiais no espaço de entrada. Os autores argumentam que, sob fluxos heterogêneos, esses métodos tornam-se frágeis por duas razões primárias:

1. Acúmulo de Erros: Se uma tarefa é aprendida fracamente devido a uma supervisão esparsa ou enviesada, os sinais de replay gerados a partir desse estado são pouco confiáveis. O reuso desses sinais ruins em estágios posteriores causa degradação subsequente.
2. Acoplamento de Modalidade: Geradores no espaço de entrada estão fortemente acoplados a tipos específicos de dados (ex: imagens), tornando-os difíceis de transferir entre modalidades (ex: texto ou grafos) sem reengenharia da arquitetura do gerador.

2. Metodologia

Os autores propõem o PRO (Projected Rehearsal Orchestration), um framework livre de geradores que substitui a síntese no espaço de entrada por memórias projetadas compactas armazenadas no espaço de características (feature space).

Arquitetura Central

O modelo é decomposto em:

• $h_\theta$: Um codificador base específico para a modalidade.
• $a_\psi$: Um adaptador leve.
• $W$: Uma cabeça de classificador unificada.
  O sistema opera sob um protocolo de cabeça única (single-head), onde a identidade da tarefa não é fornecida na inferência.

O Framework PRO

1. Warmup Compartilhado: Todos os métodos passam por um warmup auto-supervisionado federado no domínio para inicializar $h_\theta$ sem pré-treinamento externo, garantindo uma comparação justa.
2. Armazenamento de Memória Projetada: O servidor mantém estatísticas de nível de classe compactas para cada classe conhecida $y$: a média ($\mu_y^u$) e o desvio padrão diagonal ($\sigma_y^u$) das características base $u = h_\theta(x)$. Nenhum dado bruto ou amostras sintéticas no espaço de entrada são armazenados.
3. Rehearsal no Lado do Cliente:
   • Plasticidade Controlada: Os clientes primeiro realizam uma fase curta de treinamento nos dados da tarefa atual com um regularizador proximal para evitar um desvio excessivo do modelo global.
   • Treinamento Pseudo Multi-Tarefa Balanceado: Os clientes amostram "pseudo-características" antigas das memórias projetadas do servidor ($\tilde{u}_{y,j} = \mu_y^u + \gamma \sigma_y^u \odot \epsilon_j$) e as combinam com características reais da tarefa atual.
   • Ponto de Integração: Crucialmente, essas características projetadas antigas são alimentadas antes do adaptador ($a_\psi$). Isso garante que os gradientes das classes antigas atualizem tanto o adaptador quanto o classificador, evitando que o adaptador derive exclusivamente para a tarefa atual.
4. Agregação do Servidor: O servidor agrega as atualizações do modelo (FedAvg) e atualiza as estatísticas de memória usando o modelo global agregado para garantir consistência no espaço de características.

PRO-MAX: Extensão de Alinhamento de Memória

Para lidar com um desvio de representação mais forte em cenários heterogêneos, o PRO-MAX introduz um mecanismo de alinhamento de memória:

• Estimativa de Transporte Local: Os clientes fazem o cache de um pequeno subconjunto de calibração antes e depois das atualizações locais para estimar o desvio de característica ($\delta = u^+ - u^-$).
• Alinhamento Ponderado por Vizinhança: Os clientes computam um vetor de transporte ponderado para as memórias antigas com base nos vizinhos mais próximos no conjunto de calibração.
• Agregação Ponderada por Confiança: O servidor agrega esses vetores de transporte usando pontuações de confiança (baseadas na proximidade dos dados atuais do cliente com a classe antiga). Isso desloca as memórias projetadas antigas para se alinharem com o espaço de representação em evolução sem exigir gradiente descendente no lado do servidor.

3. Principais Contribuições

1. Identificação da Fragilidade do Gerador: O artigo identifica que o replay baseado em geradores falha sob FCIL heterogêneo não apenas devido a limites de recursos, mas porque o aprendizado fraco da tarefa produz sinais sintéticos pobres que acumulam erros a jusante.
2. Interface de Memória Agnóstica à Modalidade: O PRO introduz um framework livre de geradores usando estatísticas projetadas compactas por classe, permitindo a transferência contín-fluida entre imagens, textos e grafos sem geradores específicos de modalidade.
3. Robustez à Heterogeneidade: Ao realizar o aprendizado pseudo multi-tarefa balanceado nos clientes e manter estatísticas de memória leves no servidor, o PRO e o PRO-MAX alcançam superior retenção e utilidade sob desequilíbrio de supervisão e desalinhamento de estágio.
4. Alinhamento de Memória: O PRO-MAX demonstra que alinhar explicitamente as memórias antigas com o desvio de representação via transporte ponderado por confiança reduz significativamente o esquecimento em fluxos heterogêneos.

4. Resultados Experimentais

Os métodos foram avaliados em CIFAR-100 (imagem), THUCNews-10 (texto) e Cora (grafo) sob protocolos homogêneos e heterogêneos.

• Desempenho Heterogêneo: Sob heterogeneidade severa, os baselines baseados em geradores (TARGET, MFCL, HR) degradaram significativamente mesmo quando recebiam orçamentos de replay expandidos. O PRO e o PRO-MAX mantiveram alta Acurácia Média Final (FAA) e baixo Esquecimento Médio (AF). Por exemplo, no CIFAR-100, o PRO-MAX alcançou 46,12% de FAA comparado aos 27,86% do TARGET.
• Transferência de Modalidade: A abordagem transferiu-se com sucesso para benchmarks de texto e grafos, superando baselines específicos de modalidade (ex: FedSeIT para texto, POWER/MOTION para grafos) enquanto mantinha custos de comunicação menores.
• Eficiência de Recursos: O PRO e o PRO-MAX operam com um orçamento de memória projetada fixo (comparável a uma única classe de características), enquanto métodos baseados em geradores frequentemente exigem custos de comunicação significativamente maiores para transmitir amostras sintéticas ou buffers de replay maiores.
• Diagnóstico de Falha do Gerador: Experimentos mostraram uma forte correlação positiva entre o desajuste replay-real (medido por MMD) e a degradação a jusante. Métodos com maior desajuste (geradores) sofreram mais com intervenções de tarefas fracas, enquanto o PRO/PRO-MAX manteve menor desajuste e menor queda subsequente.

5. Significância e Alegações

O artigo afirma que a quantidade de replay sozinha não resolve falhas de qualidade de replay. Em configurações federadas heterogêneas, a qualidade do sinal de replay é contingente à qualidade do aprendizado da tarefa subjacente. Quando a supervisão é fraca ou desalinhada, os geradores no espaço de entrada amplificam esses erros.

A significância do trabalho reside na mudança da abstração de memória do sintetismo no espaço de entrada para a projeção no espaço de características. Esta abordagem:

• Desacopla os mecanismos de memória de modalidades de dados específicas.
• Evita os custos computacionais e de comunicação de gerar e transmitir entradas sintéticas.
• Fornece uma solução leve para o servidor, onde o servidor realiza apenas agregação e contabilidade de memória, evitando otimização baseada em gradiente ou treinamento de gerador no lado do servidor.

Os autores reconhecem modestamente as limitações: as memórias projetadas dependem da qualidade da representação aprendida e podem ser ruidosas para classes extremamente raras com suporte esparso. Eles também observam que, embora o método reduza os riscos de privacidade associados ao armazenamento de dados brutos, não oferece garantias formais de privacidade contra inversão de representação sem mecanismos adicionais como privacidade diferencial.