🤖 machine learning

Influence-Oriented Personalized Federated Learning

Este artigo propõe o FedC^2I, um framework de aprendizado federado personalizado orientado à influência que quantifica influências ao nível do cliente e ao nível da classe por meio de vetores e matrizes dedicados para permitir uma agregação de parâmetros adaptativa e personalizada e melhorar o desempenho em configurações não-IID.

Autores originais: Yue Tan, Guodong Long, Jing Jiang, Chengqi Zhang

Publicado 2026-09-10

📖 6 min de leitura🧠 Leitura aprofundada

CC0 1.0

Autores originais: Yue Tan, Guodong Long, Jing Jiang, Chengqi Zhang

Artigo original dedicado ao domínio público sob CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo da inteligência artificial, as máquinas aprendem ao encontrar padrões em vastas quantidades de dados. Durante décadas, esse aprendizado aconteceu em um único lugar: um enorme centro de computação onde toda a informação era reunida. Mas, à medida que nossas vidas digitais se tornam mais pessoais e nossos dados mais sensíveis, uma nova abordagem surgiu, chamada de aprendizado federado. Imagine um grupo de pessoas que deseja resolver um quebra-cabeça juntas, mas que não pode mostrar suas peças individuais para ninguém. Em vez de trazer as peças para uma mesa central, elas mantêm as peças em suas próprias mãos. Elas passam apenas as regras que aprenderam com suas peças para um coordenador, que mistura essas regras e as envia de volta. Isso permite que o grupo construa uma compreensão compartilhada mais inteligente sem jamais expor suas informações privadas. No entanto, surge um problema quando as peças são muito diferentes. Se uma pessoa está olhando para números escritos à mão em um quadro branco e outra está olhando para um texto digital em uma tela, as regras que elas aprendem podem entrar em conflrito, tornando o modelo compartilhado final confuso e menos eficaz para todos.

Pesquisadores há muito tempo tentam corrigir isso através da média das regras de todos os participantes, assumindo que um meio-termo funciona melhor para todos. Mas essa abordagem frequentemente falha quando os dados são altamente variados, deixando alguns participantes com um modelo que não se ajusta às suas necessidades específicas. Uma equipe de cientistas propôs agora uma maneira diferente de lidar com essa colaboração, uma que reconhece que nem todos os parceiros são igualmente úteis para todos os outros parceiros. Eles desenvolveram um sistema chamado FedC2I, que permite que cada participante decida, com base em sua própria situação específica, quais outros participantes valem mais a pena ouvir. Em vez de forçar todos a seguir o mesmo conjunto de instruções, este novo método permite que cada cliente construa uma versão personalizada do modelo compartilhado, tomando empreendidos seletivamente os insights mais úteis de outros.

O cerne desta nova abordagem reside na medição da "influência". Em uma configuração padrão, cada participante contribui para o modelo final com um peso fixo, muitas vezes baseado simplesmente na quantidade de dados que possui. Os pesquisadores argumentam que isso é como pedir que todos em uma sala falem no mesmo volume, independentemente de sua voz ser realmente útil para a pessoa que tenta ouvir. Em seu sistema, cada cliente realiza um pequeno experimento antes de aceitar novas regras. Eles removem temporariamente a contribuição de outro participante e veem o quanto seu próprio desempenho cai. Se remover um parceiro específico causa uma queda significativa na precisão, esse parceiro é considerado altamente influente e recebe mais peso na próxima rodada de aprendizado. Se remover um parceiro faz pouca diferença, sua influência é reduzida. Esse processo acontece para cada participante, criando um mapa único de quem ajuda quem.

Para tornar isso ainda mais preciso, os pesquisadores perceberam que a influência não é apenas sobre a pessoa inteira; é também sobre tópicos específicos. Em uma tarefa como o reconhecimento de dígitos, um participante pode ser excelente em identificar o número sete, mas terrível com o número três, enquanto outro pode ser o oposto. O novo sistema separa o aprendizado em duas partes: a habilidade geral de ver formas e características, e as regras específicas para rotulá-las. Ele mede a influência separadamente para essas duas camadas. Para as características gerais, observa o quanto um cliente ajuda outro a entender o estilo geral dos dados. Para os rótulos específicos, verifica quanta ajuda um cliente fornece para cada categoria individual. Isso permite que um cliente aprenda a forma geral de um "7" de um vizinho e a maneira específica de desenhar um "7" de um vizinho diferente, combinando o melhor de ambos os mundos sem a confusão de regras conflitantes.

A equipe testou este método em dois conjuntos diferentes de dados envolvendo dígitos escritos à mão e imagens de objetos cotidianos de vários domínios. Nestes testes, os dados foram intencionalmente tornados difíceis, com diferentes fontes, fundos e condições de iluminação para mimetizar a realidade desordenada do mundo real. Os resultados mostraram que esta abordagem orientada pela influência superou consistentemente os métodos existentes. Na tarefa de reconhecimento de dígitos, o novo sistema melhorou a precisão média por uma margem perceptível em comparação com as melhores técnicas anteriores. Na tarefa de reconhecimento de objetos, também alcançou pontuações mais altas em todos os aspectos. Os pesquisadores descobriram que o sistema foi particularmente bom em identificar quais clientes compartilhavam características semelhantes, como o mesmo estilo de caligrafia ou cor de fundo, e em priorizar essas conexões.

Uma descoberta fundamental foi que a influência entre os clientes não é estática; ela muda conforme o aprendizado progride. Nos estágios iniciais, as conexões são um tanto fluidas, mas à medida que os modelos aprendem mais, o sistema naturalmente se estabiliza em um padrão estável onde os clientes dependem consistentemente dos parceiros mais relevantes. Os pesquisadores também testaram o quão sensível o sistema é às configurações usadas para essas medições. Eles descobriram que uma configuração específica funcionou melhor para ambos os conjuntos de dados, permitindo que o sistema fosse seletivo o suficiente para ignorar o ruído não útil, enquanto permanecia aberto o suficiente para aprender com fontes diversas. Os experimentos confirmaram que, ao medir a influência tanto no nível do cliente quanto no nível da classe, o sistema poderia criar um ambiente de aprendizado mais robusto e personalizado.

Este trabalho sugere que o futuro do aprendizado de máquina colaborativo pode não ser sobre encontrar um único modelo perfeito para todos, mas sobre criar sistemas flexíveis que se adaptem às necessidades individuais. Ao quantificar o quanto um participante ajuda outro, e ao distinguir entre conhecimento geral e especialização específica, os pesquisadores mostraram que as máquinas podem aprender juntas de forma mais eficaz sem comprometer sua privacidade. O método não exige o compartilhamento de dados brutos ou estatísticas complexas; ele depende inteiramente de como os modelos performam quando testados uns contra os outros. Isso o torna uma solução prática para cenários onde os dados são diversos e a privacidade é primordial, oferecendo uma maneira para a inteligência artificial crescer mais inteligente através de uma cooperação que respeita o contexto único de cada participante.

Resumo Técnico: Aprendizado Federado Personalizado Orientado por Influência (FedC2I)

1. Definição do Problema

O Aprendizado Federado (FL) permite o treinamento colaborativo de modelos em clientes distribuídos sem o compartilhamento de dados privados. No entanto, um desafio central no FL é a heterogeneidade estatística (o problema non-IID), onde os clientes possuem dados de diferentes domínios com atributos de características variados. Os métodos tradicionais de FL, como o FedAvg, dependem de esquemas de ponderação fixos (tipicamente proporcionais ao tamanho do conjunto de dados) para a agregação de parâmetros. Essa abordagem negligencia a influência mútua entre os clientes.

Em cenários do mundo real, clientes com preferências, históricos ou características de dados semelhantes (por exemplo, estilos de fonte ou hábitos de escrita semelhantes no reconhecimento de dígitos) podem fornecer conhecimento mais útil uns aos outros. Por outro lado, agregar modelos de clientes com distribuições de dados divergentes pode levar a uma transferência negativa. Os métodos existentes de FL personalizado geralmente focam na robustez do modelo global ou utilizam uma reponderação centralizada baseada na similaridade de perda/gradiente, mas falham em quantificar e aproveitar explicitamente a influência em nível de cliente e de classe para uma agregação adaptativa e personalizada. Especificamente, eles não abordam como um cliente pode adquirir conhecimento de forma seletiva de outros com base em suas características de dados específicas e necessidades de aprendizado.

2. Metodologia: FedC2I

Os autores propõem o FedC2I (Aprendizado Federado Orientado por Influência), um framework que quantifica e utiliza explicitamente a Influência em Nível de Cliente e a Influência em Nível de Classe para guiar a agregação de parâmetros. A intuição central é que a utilidade de um cliente deve ser avaliada sob a perspectiva de cada cliente alvo, em vez de por um critério compartilhado globalmente.

A. Decomposição do Modelo

O FedC2I decompõe o modelo local $w_m$ em dois componentes:

Camadas de Representação de Características ( $\theta_m$ ): Capturam padrões transferíveis (forma, textura, estilo) compartilhados entre domínios.
Classificador ( $\phi_m$ ): Mapeia representações para previsões de classe, contendo fronteiras de decisão específicas de cada classe.

B. Medição de Influência via Leave-One-Out

Para quantificar a influência sem acessar dados brutos, o FedC2I emprega um princípio de leave-one-out (deixar um de fora) avaliado em mini-batches locais.

Influência em Nível de Cliente ( $\lambda_m$ ):
- Objetivo: Medir o quanto o cliente $i$ contribui para o aprendizado de representação geral do cliente $m$ .
- Mecanismo: O cliente $m$ calcula a perda $l^{-i}_m$ em um batch local usando um modelo de representação agregada $\theta_{-i}$ (onde os parâmetros do cliente $i$ são excluídos).
- Cálculo: Um $l^{-i}_m$ elevado implica que o cliente $i$ é altamente influente. O vetor de influência $\lambda_m = [\lambda^1_m, \dots, \lambda^M_m]$ é calculado como:
  $\lambda^i_m = \frac{[l^{-i}_m]^\gamma}{\sum_{j=1}^M [l^{-j}_m]^\gamma}$
  onde $\gamma$ é um hiperparâmetro que controla a sensibilidade.
- Agregação: A representação de característica personalizada $\bar{\theta}_m$ é formada ponderando todos os $\theta_i$ dos clientes por $\lambda^i_m$ .
Influência em Nível de Classe ( $\Lambda_m$ ):
- Objetivo: Capturar desacordos ou acordos refinados sobre classes específicas, já que os clientes podem compartilhar características de domínio, mas diferir em fronteiras de decisão específicas de classe (por exemplo, diferentes interpretações do dígito "7").
- Mecanismo: Para cada classe $c$ , o cliente $m$ avalia a perda $l^{-i, -c}_m$ quando o vetor de peso específico da classe $\phi_{m,c}$ é substituído por uma versão agregada que exclui o cliente $i$ ( $\phi^{-i}_{m,c}$ ).
- Cálculo: Uma matriz de influência $\Lambda_m \in \mathbb{R}^{M \times C}$ é construída onde o elemento $\Lambda^{i,c}_m$ representa a influência do cliente $i$ sobre a classe $c$ para o cliente $m$ :
  $\Lambda^{i,c}_m = \frac{[l^{-i, -c}_m]^\gamma}{\sum_{j=1}^M [l^{-j, -c}_m]^\gamma}$
- Agregação: O classificador personalizado $\bar{\phi}_m$ é construído classe por classe. Para a classe $c$ , os pesos são agregados usando a $c$ -ésima coluna de $\Lambda_m$ .

C. Procedimento de Treinamento

Em cada rodada de comunicação:

O servidor transmite os parâmetros locais mais recentes de todos os clientes.
Cada cliente $m$ realiza a estimativa de influência local usando um mini-batch amostrado para calcular $\lambda_m$ e $\Lambda_m$ .
O cliente $m$ constrói uma inicialização personalizada $\{\bar{\theta}_m, \bar{\phi}_m\}$ através da agregação ponderada descrita acima.
O cliente $m$ realiza o treinamento local (SGD) em seu conjunto de dados privado começando desta inicialização personalizada.
Os parâmetros atualizados são enviados de volta ao servidor.

3. Principais Contribuições

O artigo delineia três contribuições primárias:

Quantificação de Influência Inovadora: É o primeiro trabalho a explorar e quantificar explicitamente tanto a influência em nível de cliente quanto a influência em nível de classe dentro de um sistema de FL, indo além de pesos de agregação fixos ou compartilhados globalmente.
Framework FedC2I: A proposta de um framework concreto e viável que utiliza vetores e matrizes de influência para permitir que os clientes personalizem o procedimento de agregação do modelo. Isso possibilita a aquisição seletiva de conhecimento baseada em características de dados.
Validação Empírica: Experimentos extensos em datasets de referência (Digit-5 e Office-10) demonstram a superioridade do método sobre os baselines em termos de eficácia, robustez e interpretabilidade sob configurações non-IID.

4. Resultados Experimentais

Os autores avaliaram o FedC2I contra oito baselines (incluindo Local, FedAvg, FedProx, FedRep, FedRoD, FedProto, FedCALM e FedIC) em dois datasets heterogêneos:

Digit-5: Cinco domínios (MNIST, SVHN, USPS, SynthDigits, MNIST-M) com 10 classes de dígitos.
Office-10: Quatro domínios (Amazon, Caltech, DSLR, WebCam) com 10 categorias sobrepostas.

Principais Descobertas:

Desempenho: O FedC2I superou os melhores métodos baseline em pelo menos metade dos clientes/domínios.
Ganhos de Acurácia: Alcançou um aumento médio de acurácia de teste de 0,78% a 2,62% sobre os melhores baselines.
- No Digit-5, o FedC2I alcançou 85,50% de acurácia comparado ao próximo melhor (FedCALM com 83,95%).
- No Office-10, o FedC2I alcançou 66,70% de acurácia comparado ao próximo melhor (FedCALM com 65,40%).
Estudos de Ablação: Remover tanto o vetor de influência em nível de cliente ( $\lambda$ ) quanto a matriz de influência em nível de classe ( $\Lambda$ ) resultou em quedas significativas de desempenho, confirmando que ambos os componentes são necessários. Especificamente, a influência em nível de cliente forneceu o impulso primário, enquanto a influência em nível de classe refinou o desempenho adicionalmente.
Sensibilidade de Hiperparâmetros: O parâmetro de sensibilidade $\gamma$ foi ajustado, sendo que $\gamma=5$ produziu resultados ótimos. Os autores observam que as relações de influência são dinâmicas, evoluindo de distribuições suaves nas rodadas iniciais para relações mais estáveis e seletivas conforme o treinamento progride.

5. Significância e Alegações

O artigo afirma que o FedC2I aborda a lacuna nos métodos de FL existentes ao mudar o paradigma de agregação de ponderação fixa no lado do servidor para agregação adaptativa e consciente de influência no lado do cliente.

Preservação de Privacidade: O método preserva o protocolo padrão de privacidade de FL. As medições de influência são derivadas exclusivamente de avaliações de perda local em mini-batches privados; nenhum dado bruto, gradiente ou estatística de distribuição é transmitido.
Potencial de Descentralização: Ao mover a lógica de agregação para o lado do cliente, o framework reduz a carga do servidor e oferece um caminho para sistemas de FL descentralizados.
Interpretabilidade: Os vetores e matrizes de influência fornecem um mecanismo interpretável para entender quais clientes contribuem para características ou classes específicas, oferecendo insights sobre as relações entre clientes que de outra forma seriam opacos no FL padrão.

Os autores concluem que, ao modelar explicitamente a influência inter-cliente, o FedC2I permite que os clientes adquiram conhecimento útil de forma eficiente e seletiva, melhorando significativamente o desempenho local em ambientes heterogêneos sem comprometer a privacidade dos dados.