Resumo Técnico: GLoRA – Representações Servidoras de Baixo Rango Conscientes de Gauge para Federated LoRA

1. Declaração do Problema

A Aprendizagem Federada (FL) combinada com Adaptação de Baixo Rango (LoRA) oferece um paradigma promissor para o ajuste fino de Modelos de Linguagem de Grande Escala (LLMs) sob restrições de dados e recursos descentralizados. No entanto, os métodos existentes de LoRA federado sofrem de um desencontro semântico fundamental em suas regras de agregação.

A questão central é a ambiguidade de gauge. Uma atualização LoRA é representada como um produto de baixo rango $\Delta W = BA$. Esta fatoração não é única; para qualquer matriz invertível $Q$, o par $(BQ, Q^{-1}A)$ produz a mesma matriz de atualização $\Delta W$. No treinamento centralizado, essa ambiguidade é benigna, pois os fatores permanecem internos a um único otimizador. Em configurações federadas, no entanto, os clientes transmitem fatores brutos $(B, A)$ ao servidor. Se o servidor agregar esses fatores brutos diretamente (por exemplo, fazendo a média de $B$ e $A$ separadamente), a atualização resultante do servidor depende das escolhas arbitrárias de coordenadas (gauges) feitas pelos clientes individuais. Consequentemente, atualizações intrínsecas idênticas dos clientes podem produzir modelos de servidor diferentes dependendo das reparametrizações internas dos clientes, tornando a regra de agregação mal definida.

Embora trabalhos recentes tenham abordado a "agregação inexata" (o erro algébrico onde $\sum B_i A_i \neq (\sum B_i)(\sum A_i)$), eles não resolveram essa dependência de gauge mais fundamental. Um ajuste ingênuo — agregar as matrizes completas de atualização densa $\Delta W_i$ e depois refatorar — restaura a correção semântica, mas destrói os ganhos de eficiência do LoRA ao exigir que o servidor materialize e decomponha grandes matrizes $d_{out} \times d_{in}$, o que é inviável na escala dos LLMs modernos.

2. Metodologia: GLoRA

Os autores propõem o GLoRA (Agregação de Baixo Rango Consciente de Gauge), uma representação do servidor que mantém a correção semântica sem colapsar de volta para atualizações densas. O GLoRA opera separando a geometria da atualização das coordenadas dos fatores.

2.1 Extração de Subespaço Invariante a Gauge

Em vez de agregar fatores brutos, o GLoRA primeiro extrai a geometria intrínseca da atualização de cada cliente. Para uma atualização do cliente $\Delta W_i = B_i A_i$, o servidor realiza uma decomposição QR reduzida em $B_i$:
$$B_i = U_i T_i$$
onde $U_i$ é uma base ortonormal que abrange o espaço coluna da atualização, e $T_i$ contém as coordenadas. A atualização é reescrita como $\Delta W_i = U_i \tilde{A}_i$ (onde $\tilde{A}_i = T_i A_i$).
Crucialmente, o subespaço coluna abrangido por $U_i$ é invariante a gauge; ele permanece inalterado independentemente da transformação invertível $Q$ aplicada aos fatores originais. O servidor representa essa geometria usando o projetor ortogonal $P_i = U_i U_i^\top$.

2.2 Construção do Subespaço de Consenso

O servidor agrega esses projetores para estimar um subespaço de consenso compartilhado $U_{ref}$:
$$K = \sum_{i} p_i P_i = \sum_{i} p_i U_i U_i^\top$$
O servidor calcula os $R$ autovetores principais de $K$ para formar a base de referência $U_{ref}$. Esta etapa é computacionalmente eficiente, pois opera na matriz fina das bases dos clientes em vez da matriz completa de atualização densa. $U_{ref}$ define um quadro de coordenadas comum para o atual ciclo de atualizações.

2.3 Agregação em Coordenadas Compartilhadas

Uma vez estabelecido $U_{ref}$, a atualização de cada cliente é projetada neste quadro compartilhado:
$$Z_i = U_{ref}^\top \Delta W_i = U_{ref}^\top U_i \tilde{A}_i$$
O servidor então agrega diretamente essas coordenadas projetadas:
$$Z_{global} = \sum_{i} p_i Z_i$$
O estado final do servidor é o par de baixo rango $(U_{ref}, Z_{global})$, representando a atualização $\Delta W_{global} = U_{ref} Z_{global}$. Isso garante que a atualização do servidor seja definida pelas matrizes intrínsecas $\{\Delta W_i\}$ e não por coordenadas arbitrárias de fatores, permanecendo inteiramente de baixo rango.

2.4 Leitura Compatível com Rango para Heterogeneidade

Para suportar clientes com orçamentos de rango diferentes ($r_i$), o GLoRA emprega um mecanismo de leitura núcleo-cauda. O servidor decompõe $Z_{global}$ via SVD para ordenar componentes por energia.

• Núcleo: Um conjunto compartilhado de componentes principais é atribuído a todos os clientes para manter a consistência global.
• Cauda: O orçamento de rango restante é alocado com base na geometria histórica específica do cliente (pontuações de alinhamento) ou ordem espectral global se o histórico não estiver disponível.
  Isso permite que clientes heterogêneos instanciem adaptadores de rangos variados a partir do mesmo estado do servidor, sem exigir objetos de agregação separados ou refatoração densa.

3. Contribuições Principais

1. Identificação da Dependência de Gauge: O artigo identifica a dependência de gauge como um modo de falha semântica na agregação federada LoRA em nível de fatores, distinguindo-a do problema algébrico de "agregação inexata". Argumenta-se que fatores brutos não são objetos de agregação válidos sob ambiguidade de gauge.
2. Estrutura GLoRA: Os autores propõem um método de agregação consciente de gauge que mantém um estado do servidor compacto de baixo rango. Ele agrega atualizações através de um subespaço de consenso e coordenadas de referência compartilhadas, evitando tanto a agregação de fatores brutos quanto a materialização de atualizações densas.
3. Suporte à Heterogeneidade: O GLoRA introduz uma leitura compatível com rango que instancia adaptadores de diferentes rangos a partir de um único estado do servidor, apoiando naturalmente capacidades heterogêneas de clientes e participação esparsa.
4. Validação Empírica: Experimentos extensivos demonstram que o GLoRA supera consistentemente as linhas de base (FedIT, FedEx-LoRA, FedSA-LoRA, HetLoRA, FlexLoRA) em heterogeneidade de dados, heterogeneidade de recursos e heterogeneidade de tarefas.

4. Resultados Experimentais

Os autores avaliaram o GLoRA no GLUE (usando RoBERTa-Base) e no SuperNI (usando LLaMA-1B, Qwen2-7B e Gemma-2-9B) sob várias condições:

• Heterogeneidade de Dados: Sob forte assimetria de rótulos (Dir(0.1)), o GLoRA alcançou a maior precisão média nas tarefas GLUE, superando significativamente o FedSA-LoRA (que falhou em convergir na maioria das tarefas) e outras linhas de base.
• Heterogeneidade de Recursos: Em configurações com rangos de clientes heterogêneos (distribuições Normal, Uniforme e de cauda pesada), o GLoRA ficou em primeiro lugar em 14 de 15 pares de distribuição de tarefas, demonstrando robustez a capacidades variáveis de adaptadores.
• FL Cruzada Esparsa entre Tarefas: No SuperNI com 10% de participação de clientes e avaliação em tarefas não vistas, o GLoRA alcançou as melhores pontuações ROUGE-L tanto em clientes do domínio quanto em não vistos, indicando generalização superior em comparação com métodos de truncamento específicos de rango.
• Escalabilidade: O GLoRA manteve sua vantagem de desempenho em backbones maiores (7B e 9B parâmetros), sugerindo que a abordagem não se limita a modelos menores.
• Eficiência: O GLoRA alcança uma relação favorável entre eficiência e desempenho. Sua complexidade por camada é $\Theta(r_\Sigma^2(d_{out} + d_{in}) + r_\Sigma^3)$, que é significativamente mais barata do que métodos de agregação de atualização densa (como FlexLoRA), evitando ao mesmo tempo a sensibilidade a gauge da média direta de fatores.

5. Significado e Alegações

O artigo afirma que o LoRA federado eficaz requer não apenas a média de fatores de baixo rango, mas a definição de uma representação semântica significativa no lado do servidor para agregação.

Os autores argumentam que a escolha de design chave no LoRA federado é deslocar o foco de "como média fatores" para "qual objeto do lado do servidor representa o agregado". Ao separar a geometria da atualização das coordenadas dos fatores, o GLoRA resolve o desencontro semântico inerente aos métodos atuais. Os resultados sugerem que a agregação consciente de gauge é essencial para convergência estável e alto desempenho em configurações federadas, particularmente ao lidar com dados, recursos e tarefas heterogêneos. O artigo conclui que, embora a estimativa atual do subespaço de consenso dependa da geometria do espaço coluna, trabalhos futuros poderiam incorporar ponderação baseada em energia de atualização ou consciente de tarefas para refinar ainda mais a construção do subespaço.