Resumo Técnico: Aprendizado Federado Contínuo Preciso e Eficiente em Recursos (FedRAN)

1. Definição do Problema

O Aprendizado Federado Contínuo (FCL - Federated Continual Learning) visa treinar um modelo global através de clientes distribuídos que recebem fluxos sequenciais de dados não estacionários (ex: novas classes ou domínios) enquanto mantém os dados brutos locais. Os métodos de FCL existentes enfrentam um gargalo crítico: eles dependem de otimização local iterativa, mecanismos de replay ou supervisão total, o que acarreta altos custos em comunicação, computação, memória e disponibilidade de rótulos.

Quando os dados são não-IID (distribuídos de forma desigual entre os clientes) e os recursos são limitados, as abordagens padrão baseadas em otimização sofrem com:

• Alta Sobrecarga de Comunicação: Transmissão repetida de atualizações de modelo ao longo de múltiplas rodadas.
• Deriva de Características (Feature Drift): A atualização de extratores de características compartilhados em dados não-IID causa o deslocamento da representação de dados vistos anteriormente, degradando o desempenho em tarefas antigas.
• Escassez de Rótulos: Muitas implementações práticas carecem de dados rotulados suficientes para cada amostra recebida.
• Compromisso entre Precisão e Recursos: Métodos analíticos (que evitam o treinamento iterativo) frequentemente exigem a transmissão de estatísticas de segunda ordem completas (matrizes de Gram), o que gera custos de comunicação quadráticos em relação à dimensão das características.

2. Metodologia: FedRAN

Os autores propõem o FedRAN, uma estrutura de FCL analítica e consciente de recursos que substitui as atualizações iterativas baseadas em gradiente por estatísticas de características aleatórias compactas e soluções de classificador de forma fechada.

Arquitetura Central

• Backbone Congelado: Os clientes utilizam um extrator de características pré-treinado e fixo (ex: ResNet-18 ou ViT). Nenhuma retropropagação ocorre no lado do cliente, eliminando a deriva de características e reduzindo a computação.
• Mapeamento de Características Aleatórias: Os clientes mapeiam as características extraídas para um espaço de características aleatórias de alta dimensão usando uma matriz de projeção aleatória compartilhada $P$, seguida por uma não-linearidade ReLU. Isso aumenta a separabilidade das características.
• Estatísticas Compactas: Em vez de enviar pesos completos do modelo ou matrizes de Gram completas ($M \times M$), os clientes computam e transmitem:
  1. Estatística Exata de Rótulo-Característica ($B_{k,t}$): A soma das características aleatórias ponderadas pelos rótulos ($H^T Y$).
  2. Resumo Espectral de Baixo Rank: Uma Decomposição de Valores Singulares (SVD) truncada da matriz de Gram de características aleatórias local ($H^T H$). Os clientes transmitem apenas os vetores singulares dominantes ($V$) e os valores singulares ($\sigma$) até um rank $r$.

Agregação no Lado do Servidor

O servidor realiza uma fusão de subespaço QR-SVD em dois níveis:

1. Fusão Espacial: Agrega resumos de baixo rank de todos os clientes para a tarefa atual.
2. Fusão Temporal: Agrega o resumo da tarefa atual com o histórico global de tarefas.
   Este processo utiliza uma atualização QR-SVD para manter um subespaço espectral global limitado sem materializar a matriz completa $M \times M$. A complexidade por fusão é $O(Mr^2 + r^3)$.

Classificador de Forma Fechada

O classificador global é resolvido analiticamente dentro do subespaço espectral retido usando uma formulação de regressão de ridge:
$$\tilde{W} = (\text{diag}(\sigma^2) + \lambda I)^{-1} V^T B$$
O classificador final é $W = V\tilde{W}$. Isso evita a inversão de matriz de tamanho $M \times M$, reduzindo-a para uma inversão diagonal de tamanho $r \times r$.

Lidando com a Escassez de Rótulos (FedRAN-SSL)

Para abordar a escassez de rótulos, a estrutura introduz a rotulagem pseudo-anotada baseada em protótipos:

• Os clientes computam protótipos de classe a partir de dados rotulados no espaço de características congelado.
• Amostras não rotuladas recebem pseudo-rótulos se sua similaridade de cosseno com um protótipo exceder um limiar de confiança $\tau$.
• Essas amostras com pseudo-rótulos confiáveis são incluídas na estatística de rótulo-característica $B$, permitindo que dados não rotulados contribuam para a atualização analítica sem loops de treinamento iterativos.

3. Principais Contribuições

1. Estrutura FedRAN: Um sistema de FCL analítico inovador que substitui o treinamento de cliente iterativo por estatísticas de características aleatórias de propagação direta (forward-only) e atualizações de forma fechada.
2. Fusão QR-SVD de Dois Níveis: Um mecanismo para agregar resumos de SVD truncado de baixo rank espacialmente (entre clientes) e temporalmente (entre tarefas), permitindo a retenção da geometria de segunda ordem dominante sem custos de comunicação quadráticos.
   im
3. Limites Teóricos: Os autores fornecem limites determinísticos relacionando o erro de aproximação da matriz de Gram e do classificador ao rank do subespaço espectral retido, provando que o erro é uma quantidade controlável em vez de uma variância de estimativa.
4. Extensão Eficiente em Rótulos: Uma variante de pseudo-rotulagem baseada em protótipos (FedRAN-SSL) que utiliza efetivamente dados não rotulados sob supervisão esparsa.
5. Validação Empírica: Avaliação abrangente demonstrando precisão superior, redução significativa de comunicação e tempos de treinamento mais rápidos em comparação com as principais linhas de base (baselines).

4. Resultados Experimentais

Avaliado em CIFAR-100, ImageNet-R e VTAB sob configurações não-IID (distribuição de Dirichlet $\beta \in [0.1, 1.0]$):

• Precisão: O FedRAN melhora a precisão média em até 4,8 pontos percentuais sobre a linha de base analítica mais forte (STSA) e supera significativamente as linhas de base baseadas em otimização (ex: Finetune, FedLwF).
• Eficiência de Comunicação: O FedRAN reduz a comunicação por cliente de 30,6× a 121,8× em comparação com métodos baseados em otimização (que transmitem atualizações de modelo completas) e é mais eficiente que métodos analíticos de primeira ordem (STSA) ao transmitir resumos espectrais de baixo rank em vez de estatísticas de classe estimadas.
• Velocidade de Computação: O FedRAN é, em média, 190,3× mais rápido que as linhas de base baseadas em gradiente porque evita a retropropagação iterativa e múltiplas rodadas de comunicação.
• Escassez de Rótulos: Com apenas 20% de dados rotulados, a variante de pseudo-rotulagem melhora a precisão média em até 6,61 pontos em comparação com o uso apenas de dados rotulados.
• Robustez: O método permanece estável através de diferentes graus de desvio de dados não-IID ($\beta$), enquanto métodos baseados em otimização mostem degradação significativa de desempenho conforme o desvio aumenta.

5. Significância e Alegações

O artigo afirma que o FedRAN ocupa um ponto distinto e ideal no espaço de design de FCL ao:

• Desacoplar Precisão de Custo de Recursos: Alcança alta precisão preservando estatísticas de características de segunda ordem (via SVD de baixo rank) sem incorrer no custo de comunicação quadrático de matrizes de Gram completas.
• Estabilizar Representações: Ao congelar o backbone, elimina a deriva de características induzida pelo cliente, um modo comum de falha no aprendizado contínuo federado.
• Viabilizar o Desdobramento em Ambientes de Recursos Limitados: Torna o FCL viável para cenários com largura de banda, computação e recursos de rotulagem limitados, como imagens clínicas ou sensoriamento remoto, onde o treinamento iterativo é impraticável.

Os autores concluem que o FedRAN permite um "FCL preciso e eficiente em recursos sob restrições de comunicação, computação e rótulos", oferecendo uma alternativa prática à otimização iterativa para tarefas de aprendizado distribuído e sequencial.