Resumo Técnico: PEP-FedPT

Declaração do Problema

A Aprendizagem Federada (FL) enfrenta desafios significativos ao adaptar grandes Vision Transformers (ViTs) pré-treinados a tarefas downstream sob heterogeneidade de dados. Embora o Ajuste de Prompt Visual (VPT) ofereça uma solução eficiente em parâmetros para o ajuste fino, as abordagens existentes lutam para equilibrar generalização e personalização:

• Ajuste de Prompt Global: Métodos como FedPR usam prompts compartilhados entre todos os clientes. Embora generalizem bem, falham em adaptar-se a distribuições de dados de clientes altamente heterogêneas (não-iid), levando a "desvio do cliente" e desempenho subótimo.
• Ajuste de Prompt Personalizado: Métodos como pFedPG geram prompts específicos do cliente. Embora se adaptem bem aos dados locais, frequentemente sofrem de sobreajuste, resultando em pouca generalização para clientes não vistos ou não participantes. Além disso, muitas abordagens personalizadas assumem a participação completa de todos os clientes em cada rodada, o que é impraticável em sistemas de FL do mundo real.
• Abordagens Híbridas Existentes: Métodos como SGPT tentam preencher essa lacuna usando prompts específicos de grupo, mas introduzem complexidade de otimização através de mecanismos de seleção não diferenciáveis e processos de treinamento em duas etapas.

A questão central abordada é: Podemos alcançar personalização eficaz dependendo exclusivamente de prompts globalmente compartilhados?

Metodologia: PEP-FedPT

Os autores propõem o PEP-FedPT (Estimativa de Prompt a partir de Protótipos para Ajuste de Prompt Federado), um framework unificado que alcança personalização sem armazenar parâmetros treináveis dependentes do cliente. A inovação central é o Prompt Misto Contextualizado por Classe (CCMP).

1. Arquitetura de Prompt

O framework utiliza dois conjuntos de parâmetros treináveis compartilhados globalmente entre todos os clientes:

• Prompts Compartilhados ($P_S$): Inseridos na primeira camada do ViT. Eles capturam representações de baixo nível, agnósticas à classe, comuns em todo o manifold.
• Prompts Específicos por Classe ($P_C$): Um conjunto de prompts correspondendo a cada classe, compartilhado globalmente.

2. Prompt Misto Contextualizado por Classe (CCMP)

Em vez de inserir um único prompt estático, o PEP-FedPT gera dinamicamente um prompt misto ($m$) para cada amostra de entrada em camadas intermediárias (especificamente as camadas 5, 6 e 7 nos experimentos). Este prompt misto é uma combinação suave dos prompts globais específicos por classe, ponderada por escores derivados de:

• Protótipos Globais de Classe ($\mu$): Centróides agregados das representações do token CLS para cada classe, computados pela média dos tokens CLS de pontos de dados dentro de uma classe entre os clientes. Eles são atualizados periodicamente via média federada com momento.
• Priors de Classe do Cliente ($\delta$): A distribuição empírica de rótulos (frequência de classes) específica aos dados locais de cada cliente.

3. Mecanismo de Mistura de Prompt

Para uma dada entrada $x$ no cliente $k$, o sistema computa um vetor de pesos suaves $s$ para os prompts específicos por classe:

1. Escore de Similaridade: A similaridade cosseno entre a representação do token CLS da entrada ($cls_{l-1}$) na camada $l$ e os protótipos globais de classe ($\mu$) é calculada.
2. Pontuação Ponderada: Essas similaridades são escalonadas pelos priors de classe locais do cliente ($\delta$) e um parâmetro de temperatura ($\tau$).
3. Normalização: Os escores são normalizados para formar uma distribuição de probabilidade.
4. Mistura: O CCMP final é computado como a soma ponderada dos prompts globais específicos por classe: $m = P_C \times s$.

Isso permite que cada cliente personalize dinamicamente o prompt com base em sua distribuição de dados local e na entrada atual, usando apenas informações globais (prompts e protótipos) e estatísticas locais (priors), sem transmitir dados brutos ou pesos de modelo específicos do cliente.

4. Fundamentos Teóricos

O artigo fornece duas justificativas teóricas para o design do CCMP:

• Minimização do Limite Superior Quadrático: Os autores provam que o CCMP minimiza um limite superior quadrático na função de perda global, assumindo que a perda é Lipschitz suave e o espaço de prompts é compacto. A estratégia de mistura ótima alinha-se com a média ponderada dos prompts de classe baseada nos priors de classe.
• Optimalidade MMSE: O CCMP é mostrado como o estimador de Erro Quadrático Médio Mínimo (MMSE) do prompt de classe verdadeiro dada a representação observada do token CLS.

Contribuições Principais

1. Framework Unificado: Introdução do PEP-FedPT, que otimiza conjuntamente prompts compartilhados e específicos por classe para abordar a heterogeneidade de dados na aprendizagem federada de ViT, equilibrando generalizabilidade e personalização.
2. Estratégia de Mistura Novel: Design do CCMP, que gera prompts por amostra como uma função de prompts globais específicos por classe, modulados por priors de classe locais e protótipos globais. Isso elimina a necessidade de armazenamento local de prompts ou geração de prompts específicos do cliente no lado do servidor.
3. Insights Teóricos: Demonstração de que o CCMP minimiza um limite superior quadrático na perda e é ótimo no sentido MMSE.
4. Superioridade Empírica: Validação extensiva mostrando que o método supera as bases de comparação mais avançadas em diversos cenários de heterogeneidade.

Resultados Experimentais

O método foi avaliado em CIFAR-100, TinyImageNet, DomainNet e iNaturalist sob várias configurações não-iid (divisões patológicas e distribuições Dirichlet).

• Desempenho: O PEP-FedPT superou consistentemente as bases de comparação (incluindo FedVPT, FedPR, SGPT e pFedPG) tanto em Precisão Média quanto na Precisão Local Pior.
  • No CIFAR-100 (Patológico), alcançou 95,46% de precisão média, superando o pFedPG (92,96%) e o FedVPT-D (85,15%).
  • No TinyImageNet, melhorou a precisão média em 8,59% sobre o pFedPG.
• Generalização: Em avaliações retidas (testando em clientes que não participaram do treinamento), o PEP-FedPT manteve alta precisão (93,71% no CIFAR-100), enquanto métodos personalizados como pFedPG falharam em generalizar (marcados como NA ou significativamente menores).
• Eficiência: O método exigiu significativamente menos rodadas de comunicação (12 rodadas para alcançar 83% de precisão no CIFAR-100) e menor sobrecarga de comunicação (4,6M de parâmetros comunicados) em comparação com SGPT (13M) e FedVPT-D.
• Estudos de Ablação: Experimentos confirmaram que combinar Prompts Compartilhados com CCMP produz ganhos significativos sobre o uso de Prompts Compartilhados isoladamente. A inclusão de Priors de Classe melhorou ainda mais o desempenho, particularmente em configurações patológicas.

Significado e Alegações

O artigo alega que o PEP-FedPT estabelece uma base sólida para o ajuste de prompt federado eficiente e generalizável de Vision Transformers. Seu significado principal reside na resolução do trade-off entre personalização e generalização na FL:

• Alcança personalização ao aproveitar distribuições de dados locais (via priors) para misturar prompts dinamicamente.
• Mantém generalização ao depender exclusivamente de prompts e protótipos globalmente compartilhados, evitando os problemas de sobreajuste de modelos totalmente personalizados.
• Oferece escalabilidade ao não exigir armazenamento de parâmetros específicos do cliente ou participação completa de todos os clientes, tornando-o adequado para dispositivos de borda com recursos limitados.

Os autores notam limitações, especificamente que o método depende de estimativas empíricas de priors de classe e centróides, que podem ser pouco confiáveis em configurações semi-supervisionadas ou não supervisionadas, e que a vantagem diminui em distribuições de dados estritamente IID, onde o método efetivamente se reduz ao Fed-VPT padrão. No entanto, no contexto da aprendizagem federada não-IID, a abordagem proposta oferece uma solução robusta, teoricamente fundamentada e empiricamente superior.