FedProxy: Federated Fine-Tuning of LLMs via Proxy SLMs and Heterogeneity-Aware Fusion

1. O Problema: O Trilema do Ajuste Fino Federado de LLMs

O ajuste fino (fine-tuning) de Modelos de Linguagem Grandes (LLMs) em cenários de Aprendizado Federado (FL) enfrenta um "trilema" fundamental de desafios que as soluções existentes não conseguem resolver simultaneamente de forma eficaz:

1. Proteção de Propriedade Intelectual (IP): Manter o modelo base proprietário (LLM) seguro no servidor, sem expor seus parâmetros completos aos clientes.
2. Privacidade dos Dados do Cliente: Garantir que os dados sensíveis dos clientes nunca saiam de seus dispositivos locais.
3. Mitigação de Perda de Desempenho em Dados Heterogêneos: Evitar a degradação de desempenho causada pela distribuição não-IID (não independente e identicamente distribuída) dos dados entre os clientes e por conflitos de parâmetros durante a agregação.

Limitações das Abordagens Atuais (Offsite-Tuning - OT):
Métodos como Offsite-Tuning (OT) tentam resolver o IP e a privacidade enviando apenas adaptadores leves (adapters) e um emulador congelado para os clientes. No entanto, a análise dos autores revela que essas abordagens sofrem de um gargalo de desempenho fundamental. A capacidade de representação limitada dos adaptadores leves impede que eles aprendam tarefas complexas tão bem quanto o treinamento centralizado, deixando uma lacuna significativa de desempenho.

---

2. Metodologia: O Framework FedProxy

O FedProxy propõe uma nova arquitetura de três estágios que substitui os adaptadores fracos por um Modelo de Linguagem Pequeno (SLM) Proxy unificado e poderoso, comprimido a partir do LLM proprietário.

Estágio 1: Representação Eficiente via Compressão Guiada pelo Servidor

• Objetivo: Criar um modelo proxy que seja pequeno o suficiente para rodar em dispositivos clientes, mas que mantenha a estrutura semântica e o conhecimento do LLM original.
• Mecanismo: O servidor utiliza um conjunto de dados público (ex: Alpaca) para comprimir o LLM proprietário ($f_\theta$) em um SLM Proxy ($f_\phi$).
• Técnica: Utiliza poda estruturada baseada na métrica Block Influence (BI). Blocos de transformadores menos importantes são removidos, resultando em uma arquitetura unificada e compacta ($|\phi| \ll |\theta|$) que serve como base para todos os clientes. Isso protege o IP (o modelo completo não é enviado) e respeita as restrições de recursos dos clientes.

Estágio 2: Otimização Federada Robusta com Mitigação de Interferência

Este é o núcleo da inovação para lidar com a heterogeneidade dos dados. O FedProxy introduz uma estratégia de agregação de três etapas:

1. Análise no Servidor:

   • Calcula vetores de tarefa e similaridade entre clientes.
   • Deriva um coeficiente de heterogeneidade ($h_k$) para identificar clientes com atualizações únicas ou conflitantes.
   • Calcula uma pontuação de conflito em nível de parâmetro ($C_d$) para identificar dimensões onde as atualizações dos clientes têm sinais opostos (interferência direcional).

2. Regularização Consciente de Conflito no Cliente (PCR - Parameter-Level Conflict-Aware Regularization):

   • Os clientes recebem as pontuações de conflito do servidor.
   • Durante o treinamento local, uma função de perda de regularização dinâmica é aplicada. Ela penaliza fortemente a divergência em parâmetros onde há consenso (alto conflito entre atualizações), mas permite mais liberdade de personalização em parâmetros onde há menos conflito. Isso alinha os clientes sem forçar uma média cega.

3. Agregação Heterogênea (H-TIES - Heterogeneity-aware TIES-merging):

   • No servidor, as atualizações são fundidas usando uma adaptação do método TIES-Merging.
   • Esparsificação Adaptativa: Clientes com alta heterogeneidade têm suas atualizações tornadas mais esparsas (menos parâmetros enviados).
   • Resolução de Conflitos: Apenas as atualizações que concordam com o sinal dominante (positivo ou negativo) em cada dimensão são mantidas, eliminando a interferência de sinais opostos que degradaria o modelo.

Estágio 3: Fusão de Conhecimento "Plug-in" sem Treinamento

• Objetivo: Integrar o conhecimento aprendido pelo SLM Proxy de volta ao LLM original.
• Mecanismo: Como o SLM Proxy é uma sub-rede direta do LLM original, o FedProxy realiza uma substituição direta de parâmetros. As camadas atualizadas do Proxy são "plugadas" no LLM original, substituindo as camadas correspondentes.
• Vantagem: Isso ocorre sem custo de re-treinamento do LLM gigante e sem latência adicional de inferência, transferindo o conhecimento de forma eficiente.

---

3. Contribuições Principais

1. Framework FedProxy: Uma solução holística que resolve o trilema de IP, privacidade e desempenho, substituindo a abordagem de adaptadores leves por um SLM Proxy robusto.
2. Estratégias H-TIES e PCR: Novos algoritmos de agregação que analisam interferência em nível de parâmetro e heterogeneidade de tarefas. Eles guiam o treinamento local e a fusão no servidor para mitigar conflitos, superando métodos de agregação padrão (como FedAvg).
3. Mecanismo de Fusão sem Treinamento: Uma abordagem de "plug-in" que integra o conhecimento aprendido diretamente nos parâmetros do modelo, evitando a sobrecarga computacional de métodos que exigem inferência dual ou re-treinamento.

---

4. Resultados Experimentais

Os experimentos foram realizados com LLMs base (LLaMA2-7B e Mistral-7B) em cenários de tarefas homogêneas e heterogêneas, comparando o FedProxy com Offsite-Tuning (OT), FedOT, FedBiOT e CentSFT (limite superior centralizado).

• Desempenho Superior: O FedProxy supera consistentemente os métodos baseados em OT.
  • Em tarefas homogêneas, alcançou 90.1% do desempenho do ajuste fino centralizado (CentSFT) em QA e 90.7% em GLUE.
  • Em tarefas heterogêneas (o cenário mais desafiador), alcançou 91.3% (QA) e 89.6% (GLUE) do desempenho centralizado.
  • Houve ganhos absolutos significativos (ex: +12.6 pontos percentuais em QA) sobre o FedOT.
• Análise de Custo vs. Desempenho: Embora o FedProxy exija mais computação no cliente e mais comunicação iterativa (devido ao tamanho maior do SLM Proxy comparado aos adaptadores leves), o ganho de desempenho justifica o investimento. O custo de comunicação inicial (download do modelo) é comparável ao dos métodos OT.
• Validação da Arquitetura: Estudos de ablação mostraram que remover a regularização do cliente (PCR) ou a agregação heterogênea (H-TIES) causa queda drástica no desempenho, provando que ambos são essenciais. Além disso, provaram que a vantagem não é apenas por treinar mais parâmetros, mas pela arquitetura integrada do Proxy SLM.

---

5. Significado e Impacto

O FedProxy estabelece um novo padrão para a adaptação federada de LLMs. Ele demonstra que é possível:

1. Proteger o IP do modelo proprietário sem sacrificar drasticamente a capacidade de aprendizado.
2. Lidar com dados heterogêneos de forma robusta, resolvendo conflitos de parâmetros que antes degradavam os modelos federados.
3. Alcançar desempenho próximo ao centralizado, tornando o aprendizado federado uma opção viável para aplicações industriais que exigem alta precisão e privacidade.

A abordagem sugere que, em vez de tentar "colar" adaptadores pequenos em modelos grandes, é mais eficaz criar e treinar uma versão comprimida e fiel do modelo (Proxy) que possa ser sincronizada e fundida de volta ao original, superando as limitações fundamentais das técnicas de Offsite-Tuning atuais.