ProxyFL: A Proxy-Guided Framework for Federated Semi-Supervised Learning

O artigo propõe o ProxyFL, um novo framework de aprendizado federado semi-supervisionado que utiliza pesos aprendíveis de um classificador como "proxy" unificado para mitigar simultaneamente a heterogeneidade externa entre clientes e a interna entre dados rotulados e não rotulados, otimizando a agregação global e reintegrando amostras descartadas para melhorar o desempenho e a convergência.

O essencial

Imagine que você tem um grupo de amigos espalhados pelo mundo, cada um com um caderno de anotações sobre como identificar animais. O problema é que ninguém quer mostrar o caderno para ninguém (por privacidade), e cada um tem poucos exemplos de animais "certos" (rótulos) e muitos exemplos de animais "duvidosos" (sem rótulo).

O objetivo é criar um super-identificador de animais que funcione para todos, aprendendo com os cadernos de cada um sem nunca vê-los.

Aqui está a explicação do papel ProxyFL usando essa analogia:

O Grande Problema: Dois Tipos de Bagunça

No mundo da Inteligência Artificial Federada (onde os computadores aprendem juntos sem compartilhar dados), existem dois tipos de "bagunça" que atrapalham:

1. A Bagunça Externa (Entre os Amigos): O amigo do Brasil tem muitos gatos e poucos cães, enquanto o amigo do Japão tem muitos cães e poucos gatos. Quando eles tentam somar suas ideias, o resultado fica confuso.
   • O jeito antigo: Eles faziam uma "média simples" das ideias. Mas se um amigo tivesse uma ideia muito estranha (um "outlier"), a média inteira ficava torta.
2. A Bagunça Interna (Dentro do Próprio Caderno): Dentro do caderno de cada amigo, há fotos de animais que ele acha que sabe o nome (rótulo) e fotos que ele não tem certeza (sem rótulo).
   • O jeito antigo: Para não errar, eles jogavam fora todas as fotos onde não tinham certeza. Resultado: eles estavam aprendendo com pouquíssimas fotos, desperdiçando informação valiosa.

A Solução: O "ProxyFL" (O Guia de Identificação)

Os autores criaram um método chamado ProxyFL. Em vez de tentar adivinhar o nome do animal direto nas fotos, eles criaram um "Guia de Identificação" (chamado de Proxy). Pense nesse guia como uma ficha de referência para cada tipo de animal (um "Gato Padrão", um "Cachorro Padrão").

Aqui está como eles usam esse guia para resolver os dois problemas:

1. Para a Bagunça Externa: O "Ajuste Fino do Guia" (Global Proxy Tuning)

Em vez de apenas jogar as ideias de todos numa tigela e misturar (o que gera erros), o servidor central pega as fichas de referência de cada amigo e faz um ajuste fino.

• A Analogia: Imagine que o servidor é um professor que olha para as fichas de "Gato" de todos os alunos. Ele percebe que a ficha do aluno A está um pouco torta. Em vez de apenas somar tudo, ele ajusta a ficha central para ficar no meio de todos, mas ignorando quem está gritando coisas muito estranhas (os outliers).
• Resultado: O "Guia de Identificação" global fica muito mais preciso e justo, representando bem todos os tipos de animais, mesmo que os alunos tenham dados diferentes.

2. Para a Bagunça Interna: A "Lista de Suspeitos" (Indecisive-Categories Proxy Learning)

E agora, e aquelas fotos que o aluno não tem certeza? O jeito antigo era jogar fora. O ProxyFL diz: "Não jogue fora! Vamos usar uma lista de suspeitos."

• A Analogia: Se um aluno olha para uma foto e não sabe se é um "Hamster" ou um "Rato", em vez de chutar um ou jogar a foto fora, ele cria uma lista de suspeitos: {Hamster, Rato}.
• O sistema usa essa lista para treinar. Ele diz ao modelo: "Olhe para essa foto, ela pode ser um Hamster OU um Rato. Não chute apenas um, considere as duas possibilidades".
• Isso permite que o modelo aprenda com todas as fotos, inclusive as difíceis, sem se confundir com erros de rótulo.

Por que isso é genial?

1. Privacidade Total: O "Guia de Identificação" (Proxy) é apenas uma parte pequena do modelo matemático. Não é necessário enviar as fotos dos animais, apenas as fichas de referência. Ninguém vê os dados dos outros.
2. Economia de Dados: Ao usar a "lista de suspeitos" para as fotos difíceis, o sistema aproveita 100% dos dados disponíveis, não apenas os fáceis.
3. Resiliência: O sistema é muito bom em lidar com grupos de pessoas que têm dados muito diferentes entre si.

Resumo em uma frase

O ProxyFL é como um professor inteligente que cria um Guia de Identificação ajustado para todos os alunos e ensina a turma a considerar várias possibilidades para as perguntas difíceis, garantindo que ninguém seja deixado de fora e que o aprendizado seja rápido e preciso, mesmo sem ninguém compartilhar seus cadernos secretos.

Resumo técnico

Título: ProxyFL: Um Framework Guiado por Proxy para Aprendizado Federado Semi-Supervisionado

1. O Problema

O Aprendizado Federado Semi-Supervisionado (FSSL) visa treinar um modelo global colaborativamente entre clientes, utilizando dados locais parcialmente anotados (poucos dados rotulados e muitos não rotulados) de forma a preservar a privacidade. No entanto, o FSSL enfrenta dois desafios críticos de heterogeneidade de dados:

1. Heterogeneidade Externa: Discrepância na distribuição de dados entre diferentes clientes (distribuição não-IID).
2. Heterogeneidade Interna: Desajuste dentro de um único cliente entre os dados rotulados e não rotulados, frequentemente agravado por desequilíbrio de classes e pela baixa confiança nas previsões de dados não rotulados.

Limitações das abordagens atuais:

• Para heterogeneidade externa: Métodos existentes usam estratégias de agregação de pesos (fixas ou dinâmicas) no servidor. O artigo demonstra que a simples média dos pesos dos classificadores locais é sensível a outliers (clientes com distribuições muito diferentes), falhando em capturar a distribuição global ideal.
• Para heterogeneidade interna: Métodos comuns filtram amostras não rotuladas de baixa confiança para evitar viés de pseudo-rótulos. Isso resulta em uma participação reduzida de dados no treinamento, desperdiçando informações valiosas contidas nessas amostras.

2. Metodologia: ProxyFL

O ProxyFL propõe um framework unificado que utiliza os pesos aprendíveis do classificador (a camada totalmente conectada final do modelo) como "Proxies" para modelar a distribuição de categorias, tanto local quanto globalmente. Isso evita a necessidade de compartilhar dados brutos ou protótipos de alta dimensão, mantendo a privacidade e adicionando custo de comunicação insignificante.

O framework opera em dois mecanismos principais:

A. Ajuste Global de Proxy (Global Proxy Tuning - GPT)

• Objetivo: Mitigar a heterogeneidade externa.
• Mecanismo: Em vez de simplesmente agregar (média) os pesos dos classificadores locais, o servidor inicializa um conjunto de Global Proxies ($\Omega_G$) e os otimiza explicitamente.
• Função de Perda: O objetivo é atrair o proxy global para os proxies locais da mesma categoria e repelir os de outras categorias, utilizando uma métrica de distância (semelhante a uma perda de contraste).
• Vantagem: Isso torna o modelo global robusto a outliers e ajusta melhor a distribuição global de categorias do que a agregação média tradicional.

B. Aprendizado de Proxy de Categorias Indecisas (Indecisive-Categories Proxy Learning - ICPL)

• Objetivo: Mitigar a heterogeneidade interna e aproveitar amostras de baixa confiança.
• Mecanismo:
  • Para amostras de alta confiança, usa-se o pseudo-rótulo único (como no FixMatch).
  • Para amostras de baixa confiança, em vez de descartá-las ou atribuir um único rótulo errado, o método constrói um Conjunto de Categorias Indecisas ($\xi_i$). Este conjunto contém múltiplas categorias candidatas onde o modelo hesita.
  • Um Pool de Proxies Positivo-Negativo é criado dinamicamente. As amostras são treinadas via Contrastive Learning (Aprendizado Contrastivo), puxando a representação da amostra para os proxies das categorias no seu conjunto indeciso e empurrando para longe dos proxies de categorias não relacionadas.
• Prioridade Dinâmica: O método utiliza uma distribuição global de prioridade dinâmica para definir quais categorias devem compor o conjunto indeciso, ajustando-se ao desequilíbrio de classes.

3. Contribuições Principais

1. Primeiro Uso Unificado de Proxies: É a primeira proposta a utilizar pesos de classificadores como proxies unificados para mitigar simultaneamente a heterogeneidade interna e externa no FSSL.
2. Otimização Explícita vs. Agregação Média: Substitui a agregação média de pesos (sensível a outliers) por uma otimização explícita de proxies globais no servidor.
3. Participação de Dados de Baixa Confiança: Introduz o mecanismo ICPL, que permite o treinamento com amostras de baixa confiança sem introduzir viés severo de pseudo-rótulos, transformando a incerteza em um conjunto de categorias possíveis.
4. Privacidade e Eficiência: Os proxies são parte dos parâmetros do modelo, não exigindo compartilhamento de dados brutos nem gerando custos de comunicação significativos adicionais.

4. Resultados Experimentais

Os autores avaliaram o ProxyFL em quatro conjuntos de dados padrão (CIFAR-10, CIFAR-100, SVHN, CINIC-10) sob diferentes níveis de heterogeneidade (controlados pelo parâmetro $\alpha$ da distribuição Dirichlet) e com apenas 10% de dados rotulados.

• Desempenho Superior: O ProxyFL superou consistentemente os métodos state-of-the-art (como SAGE, FedMatch, FedDure, FedLabel) em todos os conjuntos de dados e níveis de heterogeneidade.
• Convergência Rápida: O método alcançou maior precisão de teste com menos rodadas de comunicação, especialmente em cenários de alta heterogeneidade ($\alpha = 0.1$).
• Comparação com Limites Superiores: Em alguns casos (ex: SVHN e CINIC-10 com alta heterogeneidade), o ProxyFL alcançou desempenho comparável ao FedAvg-SL (um cenário ideal onde todos os dados são rotulados), demonstrando a eficácia na recuperação de dados não rotulados.
• Análise de Ablação: Estudos mostraram que tanto o módulo GPT quanto o ICPL contribuem individualmente para o ganho de desempenho, sendo a combinação de ambos a mais eficaz.

5. Significância e Impacto

O ProxyFL representa um avanço significativo no campo de Aprendizado Federado Semi-Supervisionado ao resolver o dilema entre a necessidade de filtrar dados ruidosos (baixa confiança) e a necessidade de maximizar a participação de dados.

• Robustez: Ao lidar explicitamente com outliers na agregação e com a incerteza nos rótulos locais, o framework é mais robusto a cenários do mundo real onde os dados são escassos e desbalanceados.
• Eficiência: A abordagem baseada em proxies (parâmetros do modelo) é computacionalmente leve e segura, tornando-a viável para implantação em dispositivos de borda com recursos limitados.
• Direção Futura: O trabalho sugere que a modelagem direta da distribuição de categorias via parâmetros do modelo é uma via promissora para superar as limitações das estratégias de agregação tradicionais em ambientes federados heterogêneos.