Resumo Técnico: Aprendizado Federado com Restrição de Subespaço e Adaptação de Baixo Posto

1. Definição do Problema

O Aprendizado Federado (FL) permite o treinamento colaborativo em clientes descentralizados sem compartilhar dados brutos, mas enfrenta desafios significativos quando as distribuições de dados dos clientes são heterogêneas. No FedAvg padrão, a heterogeneidade estatística leva ao "desvio do cliente" (client drift), onde as atualizações locais do modelo divergem, causando instabilidade e convergência lenta.

Com a ascensão dos grandes modelos de fundação, a Adaptação de Baixo Posto (LoRA) tornou-se uma técnica popular de ajuste fino eficiente em parâmetros para FL. O LoRA restringe as atualizações de peso ($\Delta W$) a uma decomposição de baixo posto ($BA$), reduzindo os custos de comunicação e computação. No entanto, este artigo hipotetiza que, sob distribuições de dados heterogêneas, diferentes clientes aprendem atualizações de baixo posto que abrangem subespaços distintos. Quando essas atualizações geometricamente desalinhadas são agregadas ingenuamente no servidor, elas podem se cancelar parcialmente — um fenômeno denominado "cancelamento silencioso". Este cancelamento estrutural reduz a magnitude efetiva da atualização global, dificultando a convergência mesmo quando os clientes individuais realizam progressos locais substanciais.

2. Metodologia

Os autores propõem o LoRA Regularizado por Subespaço (Subspace-Reg), um framework projetado para alinhar as atualizações locais dos clientes com um subespaço de referência global compartilhado.

2.1 Função Objetivo

Cada cliente $k$ otimiza uma objetivo regularizada por subespaço que inclui uma penalidade de alinhamento proximal. A função é:
$$L_k^{SR}(w_k) = \min_{A_k, B_k} \left\{ L_k(w_k) + \frac{\mu}{2} \|B_k A_k - \Delta W_g^{(t)}\|_F^2 + \frac{\lambda}{2} (\|A_k\|_F^2 + \|B_k\|_F^2) \right\}$$
Onde:

• $L_k(w_k)$ é a perda local.
• $\Delta W_g^{(t)}$ é a atualização de baixo posto global atual (referência do servidor).
• $\mu$ controla a força do alinhamento de subespaço.
• $\lambda$ regulariza os fatores de baixo posto.
• O termo da norma de Frobenius restringe as atualizações locais para que permaneçam próximas à atualização de referência do servidor, incentivando a agregação construtiva.

2.2 Algoritmo

O treinamento segue uma estrutura padrão de FL com modificações:

1. Inicialização: O servidor inicializa uma base de baixo posto global $B_g$ com colunas ortonormais.
2. Passo do Servidor: O servidor amostra clientes, calcula uma atualização de referência global via SVD da soma ponderada das atualizações anteriores dos clientes e transmite o modelo e a base de referência.
3. Passo do Cliente: Cada cliente inicializa seus fatores locais com a referência global e realiza $E$ épocas locais. O gradiente descendente local minimiza a perda regularizada por subespaço, que inclui:
   • A perda da tarefa primária.
   • Um termo que penaliza o desvio do produto $B_k A_k$ em relação à referência global $B_g A_g$.
   • Um termo opcional que penaliza o desvio da base $B_k$ em relação a $B_g$.
4. Agregação: Os clientes enviam suas atualizações ($\Delta W_k = B_k A_k$) para o servidor, que as agrega e atualiza o modelo global.

3. Análise Teórica

O artigo fornece uma análise teórica para entender como o alinhamento de subespaço influencia a convergência sob heterogeneidade.

• Limite de Cancelamento Geométrico: Os autores derivam que a norma ao quadrado da atualização agregada depende dos termos cruzados entre as atualizações dos clientes. Sob heterogeneidade, se as atualizações estiverem desalinhadas, esses termos cruzados tornam-se negativos, reduzindo a magnitude efetiva da atualização (cancelamento silencioso).
• Garantias de Convergência: Sob suposições padrão (suavidade, heterogeneidade limitada, variância limitada e atualizações de baixo posto limitadas), o artigo prova um limite de convergência para a norma média do gradiente ao quadrado.
  • O limite inclui um termo $C_1 \sigma^2 / \mu^2$ que representa a penalidade de desalinhamento.
  • Ao contrário do LoRA-FedAvg padrão, que sofre com um termo de cancelamento fixo, o Subspace-Reg permite que essa penalidade seja tornada arbitrariamente pequena ao aumentar o parâmetro de alinhamento $\mu$.
  • Os autores derivam condições para $\mu$ e o número de rodadas de comunicação $T$ para atingir uma precisão de gradiente alvo $\epsilon$.

4. Resultados Experimentais

O método foi avaliado em dois modelos pré-treinados (RoBERTa-large e SmolLM-360M) usando o conjunto de dados HellaSwag em um cenário non-IID (10 clientes, Dirichlet $\beta=0.5$). Os experimentos foram realizados em 3 sementes aleatórias (42, 43, 44), totalizando 24 execuções.

4.1 Desempenho no RoBERTa-large

O Subspace-Reg superou significativamente todos os baselines (FedAvg, redistribuição SVD e FedSVD):

• Acurácia: Alcançou a maior acurácia média máxima (0.454 ± 0.023) e a acurácia média final (0.429 ± 0.011), superando o melhor baseline (FedSVD) por uma margem de ~0.118 na acurácia máxima.
• Perda: Alcançou a menor perda final (1.363).
• Alinhamento: Alcançou uma Sobreposição de Base (Basis Overlap) quase perfeita (≈0.9999), comparado a 0.958–0.991 para os baselines.

4.2 Desempenho no SmolLM-360M

Os resultados no SmolLM-360M revelaram que os ganhos de acurácia são dependentes do modelo:

• Acurácia: O FedAvg alcançou a maior acurácia (0.581), enquanto o Subspace-Reg ficou em segundo lugar (0.564).
• Alinhamento: Apesar da falta de melhoria na acurácia, o Subspace-Reg manteve uma Sobreposição de Base quase perfeita (0.99989), consistente com os resultados do RoBERTa.
• Conclusão: O alinhamento geomético foi bem-sucedido, mas não se traduziu em ganhos de acurácia para a tarefa específica deste modelo.

4.3 Descobertas Diagnósticas Principais

• Sobreposição de Base vs. Similaridade de Cosseno: Embora os métodos baseados em SVD tenham alcançado métricas de cosseno mais altas (Cosseno Cliente-Global, Cosseno Par a Par), eles não alcançaram as mesmas melhorias de acurácia que o Subspace-Reg no RoBERTa. Os autores identificam a Sobreposição de Base (alinhamento direto de subespaço) como o diagnóstico crítico, em vez da similaridade de cosseno.
• Robustez: A sobreposição de base quase perfeita foi consistente em todas as sementes e em ambos os modelos, validando a hipótese de alinhamento geométrico mesmo quando o desempenho da tarefa variou.

5. Significância e Alegações

O artigo alega as seguintes contribuições e significâncias:

1. Identificação do Cancelamento Silencioso: Destaca que o desalinhamento de subespaço no LoRA-FL leva à agregação destrutiva, um fenômeno anteriormente pouco explorado.
2. Objetivo Regularizado por Subespaço: Propõe uma penalidade de alinhamento proximal que incentiva explicitamente as atualizações locais a permanecerem próximas a um subespaço de referência global, estendendo o conceito de FedProx da magnitude de parâmetros para a estrutura geométrica.
3. Melhoria Teórica: Fornece um limite de convergência mostrando que a penalidade de desalinhamento é ajustável, ofereando uma garantia estritamente melhor do que o LoRA-FedAvg padrão sob heterogeneidade.
4. Validação Empírica: Demonstra que o método proposto alcança uma sobreposição de base quase perfeita (≈0.9999) de forma consistente. No RoBERTa-large, isso se traduz em ganhos substanciais de acurácia. No SmolLM-360M, confirma que o alinhamento geométrico pode ser alcançado independentemente da acurácia da tarefa, sugerindo que os benefícios do alinhamento dependem do modelo.
5. Insight Diagnóstico: O trabalho estabelece que a sobreposição de base é um indicador mais relevante da qualidade da agregação do que a similaridade de cosseno em configurações de LoRA federado.

Os autores concluem que, embora o alinhamento de subespaço seja um mecanismo geométrico robusto, seu impacto no desempenho final da tarefa depende da arquitetura e capacidade do modelo específico, justificando investigações adicionais sobre por que esses benefícios variam entre os modelos.