Resumo Técnico: FedDAF

Declaração do Problema

A Adaptação de Domínio Federada (FDA) visa melhorar o desempenho do modelo em um cliente alvo ao colaborar com clientes de origem, preservando a privacidade dos dados. No entanto, os métodos existentes de FDA enfrentam dois desafios críticos, frequentemente não abordados simultaneamente:

1. Desvio de Domínio (Domain Shift): Inconsistências nas distribuições de dados entre os clientes de origem e o cliente alvo causam deriva do modelo local, levando a uma agregação global subótima e uma generalização pobre no alvo.
2. Escassez de Dados: Muitas abordagens existentes assumem que o cliente alvo possui uma ampla quantidade de dados não rotulados. Na realidade, os clientes alvo frequentemente sofrem com uma severa falta de amostras rotuladas, tornando o treinamento padrão ou o aprendizado federado personalizado (PFL) ineficazes.

Além disso, os métodos atuais que tentam abordar ambos os problemas frequentemente falham em priorizar o compartilhamento de informações relevantes dos clientes de origem de uma maneira especificamente adaptada ao objetivo do cliente alvo.

Metodologia: FedDAF

Os autores propõem o FedDAF (Federated Domain Adaptation using Model Functional Distance), um novo framework projetado para maximizar a transferência de informações relevantes da origem para o modelo alvo, alinhando-se ao objetivo específico do alvo, mesmo sob condições de dados limitados.

Mecanismo Central: Distância Funcional do Modelo

Ao contrário dos métodos que dependem de atualizações de gradiente ou alinhamento de distribuição de dados brutos, o FedDAF agrega o modelo de origem global ($w^S$) e o modelo alvo ($w^T$) com base na sua similaridade, quantificada via Distância Funcional do Modelo. Esta distância é calculada da seguinte forma:

1. Campos de Gradiente Médio: O servidor transmite o modelo de origem global para o cliente alvo. O cliente alvo calcula campos de gradiente tanto para o modelo de origem global quanto para o seu próprio modelo local usando os dados do alvo (mesmo que limitados).
2. Similaridade de Cosseno e Ângulo: Os campos de gradiente médio dos dois modelos são calculados. A similaridade de cosseno entre esses gradientes médios é computada, e o ângulo $\theta$ entre eles é derivado.
3. Normalização via Função de Gompertz: O ângulo $\theta$ é normalizado usando uma função de Gompertz para produzir um peso de similaridade $\alpha \in [0, 1]$. Este peso representa a "distância" entre os modelos em relação ao objetivo do alvo.
4. Agregação Adaptativa: O modelo alvo adaptado ($w_n$) é formado por uma combinação ponderada do modelo alvo anterior e do modelo de origem global:
   $$w_n = \alpha w^S_{n-1} + (1 - \alpha) w^T_{n-1}$$
   Aqui, $\alpha$ atua como o peso de agregação. Se os modelos forem funcionalmente similares em relação ao objetivo do alvo, o modelo de origem contribui mais; se eles divergirem, o modelo alvo é preservado.

Protocolo de Treinamento

• Cliente Alvo: Utiliza o modelo adaptado $w_n$ como uma inicialização para o treinamento local em seus dados limitados de alvo. O objetivo é otimizar o objetivo do alvo $F_T$ enquanto mantém uma distância controlada do objetivo global da origem $F_S$.
• Clientes de Origem: Realizam o treinamento local padrão em seus respectivos conjuntos de dados e atualizam o modelo de origem global via média simples no servidor.
• Iteração: Este processo se repete ao longo de $N$ rodadas de comunicação.

Principais Contribuições

O artigo descreve três contribuições primárias:

1. Solução de Desafio Duplo: O FedDAF é proposto para abordar simultaneamente o desvio de domínio e a escassez de dados do alvo na FDA, uma combinação frequentemente negligenciada por trabalhos anteriores.
2. Nova Estratégia de Agregação: A introdução de um método de agregação baseado em similaridade usando a Distância Funcional do Modelo. Esta métrica é derivada de campos de gradiente médio avaliados nos dados do alvo, permitindo uma medição de similaridade confiável mesmo com amostras escassas.
3. Otimização Alinhada ao Objetivo: O método garante que o modelo alvo adaptado seja otimizado no ótimo do objetivo do alvo, posicionado a uma distância otimizada do objetivo global da origem. Isso maximiza a transferência de informações relevantes da origem especificamente alinhadas com as necessidades do alvo.

Resultados Experimentais

Os autores validaram o FedDAF através de experimentos extensos em conjuntos de dados do mundo real sob configurações controladas e de desvio de domínio do mundo real.

• Conjuntos de Dados:
  • Desvio Controlado: CIFAR-10 com níveis variados de ruído Gaussiano (desvio de domínio) e escassez de rótulos (5%, 25%, 50% dos dados de treinamento).
  • Desvio do Mundo Real: PACS, VLCS e Office Caltech10, simulando diversos desvios de domínio (ex: foto vs. esboço, diferentes tipos de câmera).
• Baselines: O FedDAF foi comparado contra o Aprendizado Federado padrão (FedAvg), Fine-tuned FedAvg, métodos de Aprendizado Federado Personalizado (FedDWA) e métodos de FDA existentes (FedGP).
• Desempenho:
  • No CIFAR-10, o FedDAF superou consistentemente todos os baselines em todos os níveis de escassez de dados e desvio de domínio.
  • Nos conjuntos de dados do mundo real (PACS, VLCS, Office Caltech10), o FedDAF alcançou uma acurácia de teste superior em comparação com os métodos de FL, PFL e FDA existentes, particularmente em cenários de escassez extrema de dados (ex: usando apenas 2% das amostras de treinamento do alvo).
• Análise de Parâmetros: O estudo identificou que o parâmetro $\mu$ da função de Gompertz influencia o desempenho com base no grau de desvio de domínio, sendo que $\mu=5$ apresenta melhor desempenho sob alto desvio e $\mu=1$ sob baixo desvio.

Significância e Alegações

O artigo afirma que o FedDAF representa um avanço significativo na Adaptação de Domínio Federada ao ir além da suposição de dados abundantes no alvo. Sua significância reside em:

• Robustez à Escassez: Demonstrar que uma adaptação eficaz é possível mesmo quando o cliente alvo possui pouquíssimas amostras rotuladas, um cenário onde o treinamento centralizado e o PFL padrão falham.
• Adaptação Centrada no Alvo: Diferente de métodos anteriores de FDA que podem agregar informações sem considerar especificamente o objetivo único do alvo, o FedDAF constrói explicitamente o peso de agregação com base na distância funcional do alvo. Isso garante que a "informação máxima relevante" seja fundida no modelo alvo.
• Aplicabilidade Prática: O método aborda restrições do mundo real encontradas em domínios como imagem médica (ex: diagnóstico de câncer de mama), onde os dados são frequentemente isolados, sensíveis à privacidade e esparsamente rotulados.

Os autores concluem que, ao otimizar o modelo alvo adaptado no ótimo do objetivo do alvo enquanto mantém uma distância controlada do objetivo global da origem, o FedDAF efetivamente preenche a lacuna entre os domínios de origem e alvo em ambientes de preservação de privacidade e escassez de dados.