Resumo Técnico: CRAFT (Agregação Resolvida por Conflito para Treinamento Federado)

1. Declaração do Problema

O Aprendizado Federado (FL) permite o treinamento colaborativo de modelos em clientes descentralizados sem compartilhar dados brutos. No entanto, um gargalo fundamental surge da heterogeneidade de dados (distribuições não-IID), que causa atualizações locais divergentes. Métodos de agregação convencionais, como o FedAvg, calculam médias ponderadas dessas atualizações. O artigo argumenta que a média ingênua pode produzir uma direção de atualização global que melhora o objetivo global enquanto conflita com clientes específicos (ou seja, o produto interno entre a atualização global e a atualização local de um cliente é negativo). Esse conflito leva à degradação do desempenho para esses clientes específicos, resultando em altas disparidades na precisão por cliente e baixa equidade, mesmo que a precisão global média seja alta.

Abordagens existentes tentam mitigar isso por meio de regularização (FedProx), normalização (FedNova), objetivos conscientes de equidade (AFL, q-FedAvg) ou modelos personalizados. Métodos conscientes de conflito (FedFV, FedLF, ConFIG) surgiram para manipular diretamente a geometria da atualização, mas frequentemente dependem de regras heurísticas ou carecem da integração de informações temporais para guiar a resolução.

2. Metodologia: O Framework CRAFT

O CRAFT reformula o problema de agregação não como uma média ponderada, mas como um problema de correção geométrica. O objetivo central é encontrar um vetor de atualização global $g$ que seja o mais próximo possível de uma direção de referência estável, enquanto satisfaz restrições estritas de alinhamento livre de conflitos.

2.1 Formulação Central

Em vez de reconstruir uma atualização do zero (como em métodos sem prior) ou simplesmente suavizar (como em métodos de momento), o CRAFT resolve um problema de mínimos quadrados restritos ancorado em referência:

$$\min_{g \in \mathbb{R}^d} \frac{1}{2} \|g - \hat{g}_t\|^2 \quad \text{s.t.} \quad U_t g = \rho_t$$

Onde:

• $\hat{g}_t$ é a direção de referência, definida como a atualização global normalizada da rodada anterior ($\hat{g}_t = U(g_{t-1})$). Para a primeira rodada, $\hat{g}_0 = 0$.
• $U_t$ é a matriz de atualizações locais normalizadas dos clientes ativos ($u_i = g_i / (\|g_i\| + \epsilon)$).
• $\rho_t$ é o vetor de alvos de alinhamento positivos, tipicamente derivados das proporções de dados dos clientes ($\rho_i = |D_i| / \sum |D_j|$).
• A restrição $U_t g = \rho_t$ garante que a atualização global $g$ tenha um produto interno positivo com a atualização normalizada de cada cliente participante, garantindo assim uma direção livre de conflitos.

2.2 Solução de Forma Fechada

O problema é subdeterminado (dimensão do modelo $d \gg$ número de clientes $m$). O CRAFT deriva uma solução de forma fechada usando a pseudoinversa de Moore-Penrose, evitando a sobrecarga computacional de solvers iterativos ou programação quadrática. A atualização é computada como uma correção $\Delta_t$ à referência:

$$g_t = \hat{g}_t + \Delta_t, \quad \text{onde} \quad \Delta_t = U_t^\dagger (\rho_t - U_t \hat{g}_t)$$

Essa formulação garante que, se a direção de referência já satisfizer as restrições, nenhuma correção seja aplicada. Caso contrário, a menor correção euclidiana é adicionada para impor o alinhamento.

2.3 Adaptação por Camada

Reconhecendo que redes neurais profundas exibem dinâmicas de otimização específicas por camada (por exemplo, camadas rasas podem sofrer com deslocamentos na distribuição de entrada, enquanto camadas mais profundas sofrem com viés de rótulo), o CRAFT implementa uma adaptação por camada. O problema de otimização é decomposto em $Q$ subproblemas independentes para cada camada $q$, resolvendo a correção separadamente:
$$g^q_t = \hat{g}^q_t + (U^q_t)^\dagger (\rho_t - U^q_t \hat{g}^q_t)$$
Isso previne que conflitos severos em uma camada suprimam componentes úteis em outras.

2.4 Propriedades Teóricas

O artigo fornece uma análise teórica mostrando que o CRAFT promove uma estrutura de descida comum. Ao impor alinhamento não negativo com todas as atualizações dos clientes, o método mitiga conflitos. Os autores estabelecem garantias de convergência em tempo finito para objetivos não convexos sob suposições padrão de suavidade e gradiente limitado, demonstrando uma taxa de convergência de $O(1/\sqrt{T})$ comparável à otimização não convexa padrão, desde que a taxa de aprendizado local decaia adequadamente.

3. Contribuições Principais

1. Reformulação do Problema: Os autores propõem reformular a agregação federada como um problema de mínimos quadrados restritos ancorado em referência, em vez de uma regra de média ponderada. Isso impõe diretamente o alinhamento positivo entre a atualização global e cada cliente.
2. Solução Eficiente de Forma Fechada: Diferentemente de métodos iterativos de resolução de conflitos, o CRAFT deriva uma solução explícita usando a correção de Moore-Penrose, mantendo o cálculo no lado do servidor leve ($O(dm^2 + Qm^3)$).
3. Referência Semelhante a Momento: O uso da atualização global da rodada anterior como direção de referência permite que o CRAFT preserve a consistência temporal e estabilize as atualizações contra ruído de amostragem, distinguindo-o de métodos que projetam em direção a um vetor zero.
4. Granularidade por Camada: O framework aborda conflitos na granularidade das camadas do modelo, tornando-o adequado para redes neurais profundas onde restrições de vetores globais podem ser muito grosseiras.
5. Extensibilidade Plug-in: O CRAFT é projetado como um operador de agregação genérico que pode substituir a média ponderada em pipelines de FL personalizados existentes (por exemplo, Ditto) sem modificar mecanismos de adaptação local.

4. Resultados Experimentais

Extensos experimentos foram conduzidos em benchmarks heterogêneos (FEMNIST, CIFAR-10, CIFAR-100) usando vários modelos (MLP, CNN, ResNet-20/56/110) e populações de clientes (até 1000 clientes).

• Desempenho Global: O CRAFT superou consistentemente as linhas de base mais avançadas em precisão média. No CIFAR-10 com ResNet-20, alcançou uma melhoria relativa de 53,5% sobre o ConFIG e uma melhoria de 7,8% sobre o FedAvgM no FEMNIST.
• Equidade e Disparidade: O CRAFT reduziu significativamente o desvio padrão da precisão por cliente. Melhorou o desempenho de clientes "cauda" (pior 10%) sem sacrificar clientes "cabeça". Por exemplo, no CIFAR-10, melhorou a precisão do pior 10% em 221,5% sobre o FedLF.
• Convergência: O CRAFT demonstrou convergência mais rápida e precisão final mais alta, particularmente em redes mais profundas onde outros métodos frequentemente saturaram cedo ou sofreram com deriva de clientes.
• Integração com FL Personalizado: Quando integrado ao framework Ditto, o CRAFT melhorou a precisão de teste média em 19,7% no CIFAR-10 e 98,8% no CIFAR-100 em comparação com o Ditto padrão, demonstrando sua capacidade de aprimorar pipelines personalizados.

5. Significado e Afirmações

O artigo afirma que o CRAFT fornece uma nova perspectiva sobre o design de agregação, deslocando-se da resolução heurística de conflitos para uma abordagem baseada em princípios geométricos e restrições. Seu significado reside em:

• Mitigação da Heterogeneidade: Aborda diretamente a causa raiz de problemas de equidade no FL (atualizações conflitantes) em vez de apenas ajustar objetivos ou regularizar o treinamento local.
• Equilíbrio entre Precisão e Equidade: Alcança alta precisão média enquanto reduz simultaneamente a disparidade de desempenho, um objetivo duplo frequentemente difícil de satisfazer com métodos existentes.
• Praticidade: O método é computacionalmente eficiente, não requer comunicação adicional e é facilmente extensível a frameworks existentes de FL personalizado.

Os autores reconhecem limitações, observando que a direção de referência atual é um prior simples semelhante a momento e que os alvos de alinhamento são baseados em proporções de dados. Eles sugerem que trabalhos futuros poderiam explorar referências ou alvos adaptativos baseados no progresso do treinamento e requisitos de equidade. No entanto, o trabalho atual estabelece o CRAFT como um mecanismo de agregação robusto e livre de conflitos para treinamento federado heterogêneo.