Resumo Técnico: Treinamento Desacoplado com Ajuste Fino Local por Reforço em Aprendizado Federado (FedDTL)

Declaração do Problema

O Aprendizado Federado (FL) combinado com Modelos Visão-Linguagem (VLMs) pré-treinados, como o CLIP, oferece um paradigma promissor para adaptação a tarefas downstream, preservando a privacidade dos dados. No entanto, as abordagens existentes que dependem de otimização totalmente local com agregação simples de parâmetros enfrentam dois desafios críticos, particularmente sob distribuições de dados heterogêneas e regimes de dados completos:

1. Inconsistência de Otimização Inter-cliente: Em configurações Não-IID (por exemplo, viés de rótulos e deslocamento de características), os clientes otimizam objetivos locais incompatíveis. Isso leva a gradientes locais desalinhados e "deriva do cliente" (client drift), onde os clientes convergem para diferentes sistemas de coordenadas de representação. Consequentemente, a simples média de parâmetros falha em produzir uma atualização semântica global coerente, degradando a adaptação da tarefa global.
2. Especialização Excessiva Intra-cliente: Em regimes de dados completos com trajetórias longas de treinamento local, módulos leves de ajuste fino eficiente de parâmetros (PEFT) tendem a se tornar excessivamente especializados nas frequências de rótulos enviesadas e estatísticas de características de um cliente específico. Embora isso melhore o ajuste local, compromete severamente a generalização para classes não vistas ou domínios deslocados.

Os métodos atuais frequentemente abordam essas questões via regularização ou restrições de alinhamento, mas permanecem insuficientes porque dependem de otimização apenas local. Além disso, muitas avaliações são limitadas a configurações de poucos exemplos (few-shot), potencialmente subestimando os efeitos negativos compostos em cenários realistas de dados completos.

Metodologia: FedDTL

Os autores propõem o FedDTL, um novo framework que integra um esquema de treinamento desacoplado de codificadores com uma estratégia de ajuste fino local em dois estágios para equilibrar a adaptação da tarefa global e a generalização.

1. Treinamento Desacoplado de Codificadores

Inspirado pelo desacoplamento de modalidades no CLIP, o FedDTL separa o treinamento dos codificadores de imagem e texto na arquitetura cliente-servidor:

• Codificador de Imagem Local: O codificador de imagem ($V$) processa imagens brutas privadas e é treinado localmente em cada cliente para preservar a privacidade dos dados.
• Codificador de Texto Global: O codificador de texto ($T$), que opera em descrições textuais de nível de categoria (por exemplo, "uma foto de um [nome da classe]"), é otimizado centralmente no servidor.
• Mecanismo: Os clientes alinham suas representações visuais locais com os embeddings textuais globalmente consistentes do servidor. Esse alinhamento de modalidade servidor-cliente atua como uma restrição semântica, reduzindo a inconsistência de otimização inter-cliente sem exigir que os clientes mantenham codificadores de texto locais.
• Eficiência: Ambos os codificadores utilizam o ajuste LoRA (Adaptação de Baixo Rango) em backbones congelados para minimizar a sobrecarga computacional e os custos de comunicação.

2. Ajuste Fino Local em Dois Estágios

Para mitigar a especialização excessiva intra-cliente, o FedDTL emprega um processo de treinamento local sequencial:

• Estágio 1: Adaptação à Tarefa baseada em SFT (Warm-start): Os clientes realizam o Ajuste Fino Supervisionado (SFT) em seus codificadores de imagem locais usando perda de entropia cruzada. Este estágio fornece um warm-start de otimização rápido e confiável, adaptando rapidamente o modelo à distribuição local da tarefa.
• Estágio 2: Reforço da Generalização baseado em RL: Após o SFT, os clientes alternam para um estágio de Aprendizado por Reforço (RL) inspirado na Otimização de Política Relativa de Grupo (GRPO).
  • Injeção de Estocasticidade: Como os codificadores de imagem produzem embeddings determinísticos, os autores injetam ruído gaussiano não enviesado no espaço de embeddings latentes para induzir estocasticidade para a amostragem de ações.
  • Recompensa e Política: O modelo de política é atualizado com base em uma recompensa baseada em precisão (classificação correta = 1, caso contrário = 0). O objetivo minimiza uma perda de gradiente de política com clipping $\epsilon$ e um termo de regularização de divergência KL contra um modelo de referência híbrido (combinando o modelo SFT final e a política global mais recente).
  • Objetivo: Este estágio refina a trajetória de atualização local para prevenir a memorização excessiva dos dados locais, aprimorando assim a generalização para classes e domínios não vistos.

3. Coordenação Global

Após o ajuste fino local, os clientes enviam os parâmetros LoRA atualizados e os embeddings de imagem normalizados (especificamente os tokens de classe) ao servidor. O servidor agrega os parâmetros LoRA visuais por meio de média ponderada e atualiza o codificador de texto global usando os embeddings coletados, completando a rodada de FL.

Contribuições Principais

1. Esquema de Treinamento Desacoplado: Uma arquitetura nova onde o codificador de imagem é otimizado localmente para privacidade, enquanto um codificador de texto centralizado fornece uma âncora semântica global. Este design reduz a inconsistência inter-cliente e melhora a adaptação da tarefa global através de diversas distribuições de dados FL.
2. Ajuste Fino Local em Dois Estágios: Uma estratégia que combina SFT para adaptação rápida e um estágio de RL inspirado em GRPO para suprimir a especialização excessiva intra-cliente. Esta abordagem estabiliza o treinamento local e aprimora a generalização em configurações heterogêneas e de dados completos.
3. Avaliação Abrangente: Experimentos extensos em nove benchmarks sob regimes de poucos exemplos e dados completos, cobrindo viés de rótulos e deslocamento de características. Os resultados demonstram que o FedDTL equilibra efetivamente a adaptação da tarefa global e a generalização, superando as bases anteriores de VLM federado.

Resultados Experimentais

O artigo avalia o FedDTL em conjuntos de dados incluindo CIFAR-10/100, EuroSAT, Tiny-ImageNet, Oxford-Pet, Flower102, Caltech101/256, Food101, Office-Caltech10 e DomainNet.

• Viés de Rótulos (Generalização Base para Novo): Em configurações Não-IID de dados completos, o FedDTL alcança a maior precisão em classes base (por exemplo, 91,64% vs. 80,56% para FedMaPLe no CIFAR-100) enquanto mantém desempenho competitivo em classes novas. Ele evita com sucesso a degradação severa da generalização observada em bases como pFedDC e pFedMMA, que sofrem de especialização excessiva em regimes de dados completos.
• Deslocamento de Características: Em configurações de cruzamento de domínios (Office-Caltech10, DomainNet), o FedDTL alcança a maior precisão média em quase todas as configurações, incluindo aquelas com deslocamento de características e viés de rótulos combinados.
• Estudos de Ablação:
  • A remoção do esquema de codificador desacoplado reduz significativamente a precisão base em configurações Não-IID, confirmando seu papel na resolução da inconsistência inter-cliente.
  • A remoção do estágio de RL leva a uma menor precisão em classes novas, confirmando sua eficácia em preservar a generalização.
  • A estratégia de dois estágios (SFT + RL) supera o uso de SFT ou RL isoladamente, validando a natureza complementar da adaptação rápida e do aprimoramento da generalização.
• Privacidade e Comunicação: O framework reduz os custos de comunicação ao enviar apenas embeddings de tokens de classe. A adição de perturbação de ruído a esses embeddings fornece proteção adicional de privacidade com perda mínima de desempenho.

Significado e Alegações

O artigo alega que o FedDTL aborda uma lacuna crítica na pesquisa de VLM federado: a incapacidade dos métodos existentes de lidar simultaneamente com a inconsistência inter-cliente e a especialização excessiva intra-cliente, particularmente em cenários realistas de dados completos.

• Resolução Sistemática: Diferentemente de trabalhos anteriores que dependem de média simples de parâmetros ou regularização apenas local, o FedDTL resolve sistematicamente a inconsistência através do alinhamento de modalidade servidor-cliente e a especialização excessiva através de refinamento baseado em RL.
• Robustez: O framework demonstra robustez através de diversas distribuições de dados (IID, Dirichlet, Não-IID) e regimes de aprendizado (de poucos exemplos a dados completos).
• Praticidade: Ao alavancar o LoRA e uma agenda de dois estágios, o método equilibra o desempenho do modelo com a eficiência computacional, tornando-o adequado para dispositivos de borda.

Os autores concluem que sua abordagem fornece um caminho mais estável e eficaz para adaptar VLMs pré-treinados em ambientes federados, garantindo que os modelos globais permaneçam tanto adaptáveis a tarefas específicas quanto generalizáveis para cenários não vistos.