Federated Foundation Language Model Post-Training Should Focus on Open-Source Models

Resumo Técnico: O Pós-treinamento de Modelos de Linguagem de Fundação Federados Deve Focar em Modelos Abertos

Declaração do Problema
O artigo aborda a prática emergente de aplicar o Aprendizado Federado (FL - Federated Learning) ao pós-treinamento de modelos de linguagem de fundação (FLMs). Embora o FL ofereça um paradigma descentralizado para adaptar modelos a tarefas de domínio específico sem centralizar dados privados, abordagens recentes dependem cada vez mais de modelos de fundação de caixa-preta (black-box) e caixa-cinza (gray-box) (ex: modelos acessados apenas via API com pesos e arquitetura ocultos). Os autores argumentam que replicar cegamente estratégias de pós-treinamento centralizado usando esses modelos fechados em um contexto de FL contradiz os princípios fundamentais do aprendizado federado, especificamente a privacidade dos dados, a autonomia do cliente e a transparência. O problema central é determinar se a conveniência e o desempenho dos modelos fechados justificam a erosão dos benefícios fundamentais do FL quando aplicados ao pós-treinamento.

Metodologia e Estrutura
O artigo emprega uma estrutura conceitual e analítica em vez de experimentação empírica. A metodologia envolve:

1. Classificação da Abertura do Modelo: Os autores categorizam os FLMs em quatro tipos distintos com base na acessibilidade e licenciamento:
   • Código Aberto (Open-Source): Acesso total a pesos, código-fonte, arquitetura e dados de treinamento sob licenças permissivas.
   • Pesos Abertos (Open-Weight): Acesso total aos pesos e à arquitetura, mas sem código-fonte ou dados de treinamento (frequentemente sob licenças restritivas).
   • Caixa-Cinza (Gray-Box): Acesso parcial via APIs, permitindo ajuste fino limitado (ex: camadas de adaptadores ou soft prompts) enquanto o modelo base permanece congelado e proprietário.
   • Caixa-Preta (Black-Box): Restrito à troca de tokens via API; sem acesso aos parâmetros internos, arquitetura ou interfaces de ajuste fino.
2. Análise Comparativa: Os autores avaliam sistematicamente esses tipos de modelos frente aos três pilares do FL: Privacidade (manter os dados locais), Autonomia (controle do cliente sobre o treinamento e uso) e Heterogeneidade (acomodar diversas distribuições de dados).
3. Auditoria de Segurança e Privacidade: O artigo analisa a superfície de ataque e os mecanismos de defesa disponíveis (ex: Privacidade Diferencial, Agregação Segura, Criptografia Homomórfica) para diferentes métodos de pós-treinamento (Ajuste Fino Total, LoRA, Prompt Tuning, RLHF) através das quatro categorias de modelos.
4. Estrutura de Decisão: Uma árvore de decisão é construída para orientar os profissionais na seleção de tipos de modelos com base em restrições específicas como recursos locais, requisitos de licenciamento e necessidades de segurança.

Principais Contribuições
O artigo apresenta cinco contribuições primárias:

1. Taxonomia de Abertura: Uma classificação detalhada de modelos de fundação e suas implicações específicas para métodos de pós-treinamento federado, destacando que a abertura do modelo dita as técnicas de otimização disponíveis (ex: o Ajuste Fino Total é impossível com modelos de caixa-preta).
2. Análise Crítica de Modelos Fechados: Uma discussão rigorosa sobre por que o uso de modelos de caixa-preta e caixa-cinza no FL é problemático. Os autores demonstram que depender de APIs de terceiros para o pós-treinamento reintroduz o risco de vazamento de dados (pois as entradas devem sair do cliente) e diminui a autonomia do cliente.
3. Argumento a Favor de Modelos Abertos: Um argumento estruturado de que modelos de código aberto e de pesos abertos se alinham melhor aos objetivos do FL. Eles permitem o uso de mecanismos de privacidade robustos, permitem controle abrangente sobre o processo de treinamento e suportam uma gama mais ampla de técnicas eficientes de pós-treinamento, como o Ajuste Fino de Parâmetros Eficientes (PEFT) e LoRA.
4. Análise de Segurança e Privacidade: Uma avaliação granular de quais ataques (envenenamento, inferência de pertencimento, inversão de gradiente) são relevantes para métodos de pós-treinamento e tipos de modelos específicos, e quais defesas são controláveis pelo cliente em cada cenário.
5. Guia de Seleção Prática: Uma árvore de decisão e diretrizes complementares para ajudar pesquisadores e profissionais a escolher o tipo de modelo apropriado (aberto vs. fechado) com base em suas restrições operacionais e requisitos de privacidade.

Resultos e Descobertas

• Compatibilidade: Modelos de código aberto e de pesos abertos são totalmente compatíveis com todos os métodos de pós-treinamento (FFT, LoRA, RLHF, Prompt Tuning) e permitem implantação local, garantindo que os dados nunca saiam do cliente.
• Limitações de Modelos Fechados: Modelos de caixa-preta restringem o pós-treinamento a métodos baseados em prompts (ex: soft prompts, gradientes textuais) e exigem que os clientes enviem dados para um provedor central, violando fundamentalmente o princípio de que "os dados permanecem locais" do FL. Modelos de caixa-cinza oferecem um meio-termo, mas ainda dependem de infraestrutura gerenciada pelo provedor.
• Controle vs. Risco: Embora os modelos abertos aumentem a superfície de ataque do cliente (exigindo que os clientes implementem suas próprias defesas), eles concedem controle total sobre essas defesas. Por outro lado, os modelos fechados reduzem a superfície de ataque para o cliente (já que o provedor gerencia o modelo base), mas removem a capacidade do cliente de verificar ou controlar a segurança do sistema subjacente.
• Impacto do Licenciamento: Licenças restritivas (comuns em modelos de "pesos abertos" como o Llama 3) podem dificultar a autonomia do cliente ao impor restrições de uso que podem conflitar com casos de uso federados específicos, mesmo que os pesos sejam acessíveis.

Significância e Alegações
O artigo afirma que a tendência atual de adotar modelos de caixa-preta para o pós-treinamento federado é um desalinhamento estratégico que compromete o próprio propósito do aprendizado federado. Os autores sustentam que o pós-treinamento de modelos de linguagem de fundação federados deve focar em modelos abertos.

A significância deste trabalho reside em fornecer uma lente crítica para a comunidade avaliar as trocas entre a conveniência dos modelos fechados baseados em API e as garantias de privacidade/autonomia dos modelos abertos. Os autores posicionam seu trabalho como uma "caixa de ferramentas" para ajudar pesquisadores a tomar decisões informadas, argumentando que, embora os modelos fechados tenham vantagens em ambientes centralizados (desempenho, facilidade de implantação), eles são geralmente inadequados para os objetivos de privacidade e descentralização do FL. O artigo conclui que os modelos abertos são a escolha padrão para o FL, sendo os modelos fechados um recurso de última instância, utilizado apenas quando absolutamente necessário devido a restrições de recursos ou necessidades específicas de licenciamento.