🤖 machine learning

Beyond Parameter Space: NTK-Guided Personalized Aggregation for Robust Federated Learning

O artigo propõe o LIGHTYEAR, um framework de aprendizado federado ponto a ponto que utiliza pontuações de concordância baseadas em Neural Tangent Kernel (NTK) para realizar a seleção de atualizações personalizadas no espaço de funções, superando assim as limitações da similaridade no espaço de parâmetros e alcançando um desempenho robusto em ambientes heterogêneos.

Autores originais: Mirko Konstantin, Stefan Zachow, Anirban Mukhopadhyay

Publicado 2026-08-13

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Mirko Konstantin, Stefan Zachow, Anirban Mukhopadhyay

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde o seu telefone, o seu smartwatch e a máquina de ressonância magnética do seu hospital querem aprender juntos para ficarem mais inteligentes, mas não podem compartilhar seus segredos. Isso é o coração do Aprendizado Federado (FL - Federated Learning). Pense nisso como um enorme grupo de estudo global onde os alunos (os dispositivos) estão trabalhando no mesmo dever de casa, mas estão proibidos de mostrar seus cadernos ao professor ou uns aos outros. Em vez disso, eles apenas enviam suas respostas finais ou "atualizações" para um centro central. O objetivo é construir um modelo superinteligente que ajude a todos sem nunca expor dados privados, como seu histórico médico ou suas mensagens de texto.

No entanto, este grupo de estudo tem alguns problemas. Primeiro, o dever de casa de cada um é diferente; alguns alunos estão estudando matemática enquanto outros estão estudando arte, e seus "dados" não são uniformes. Segundo, alguns alunos podem estar confusos, quebrados ou até mesmo tentando sabotar o grupo enviando respostas falsas. No passado, o professor (o servidor central) tentava descobrir quem era útil apenas olhando para o estilo das respostas (os números dentro do modelo). Mas os autores deste artigo argumentam que olhar para o "estilo" da resposta é como julgar uma música apenas olhando para a densidade da tinta na partitura — isso não diz se a música realmente soa bem. Você precisa ouvir a música em si. Este artigo explora uma nova maneira de ouvir a música antes de deixar qualquer pessoa entrar no coro.

O Problema: Julgar um Livro pela Capa (ou um Modelo pelos seus Números)

No mundo do aprendizado de máquina, os modelos são essencialmente listas gigantes de números chamadas "parâmetros". Por muito tempo, quando os pesquisadores tentavam decidir se o dever de casa de um aluno era bom o suficiente para ser misturado ao guia de estudo final do grupo, eles apenas comparavam essas listas de números. Eles perguntavam: "Seus números são semelhantes aos meus?"

Os autores deste artigo, Mirko Konstantin e sua equipe, dizem que essa é uma má ideia. Eles apontam que dois modelos podem ter números muito semelhantes, mas se comportar completamente de forma diferente quando realmente fazem uma previsão. É como dois chefs usando exatamente a mesma ficha de receita, mas um fazendo um bolo delicioso e o outro fazendo um tijolo. Em um ambiente caótico onde os dados são bagunçados (como diferentes hospitais usando scanners diferentes) ou quando alguns alunos estão tentando quebrar o sistema, olhar apenas para os números é pouco confiável. Isso frequentemente leva o grupo a aprender as coisas erradas ou a ficar confuso com atualizações ruins.

A Solução: LIGHTYEAR e a "Pontuação de Concordância"

Para corrigir isso, a equipe propõe um novo framework chamado LIGHTYEAR (Local Inference Guided Aggregation for Heterogeneous Training Environments to Yield Enhancement Through Agreement and Regularization). Isso é um nome complicado, então vamos decompor com uma analogia mais simples.

Imagine que o grupo de estudo pare de usar um professor central. Em vez disso, os alunos sentam em um círculo e passam o dever de casa diretamente uns para os outros (uma rede Ponto a Ponto ou P2P). Antes de um aluno aceitar um dever de casa de um vizinho para adicionar ao seu próprio guia de estudo, ele não olha apenas para os números. Ele realmente testa o dever de casa em alguns problemas de prática que tem escondidos no bolso.

É aqui que a mágica acontece. Os autores usam uma ferramenta matemática chamada Kernel de Tangente Neural (NTK - Neural Tangent Kernel). Pense no NTK como uma "impressão digital comportamental". Em vez de perguntar: "Seus números combinam com os meus?", o LIGHTYEAR pergunta: "Se eu te der uma questão de teste específica, você responderá da mesma forma que eu responderia?"

Eles calculam uma Pontuação de Concordância (Agreement Score). Se o modelo de um vizinho prevê a resposta a uma questão de teste local de uma forma que se alinha com o próprio modelo do aluno, a pontuação é alta e esse dever de casa é aceito. Se o modelo do vizinho sai dos trilhos (prevendo coisas drasticamente diferentes), a pontuação é baixa e essa atualização é rejeitada. Isso permite que cada aluno construa um guia de estudo personalizado que inclui apenas ajuda de vizinhos que entendem seus desafios locais específicos.

A Rede de Segurança da "Regularização"

Mesmo com os melhores vizinhos, as coisas podem ficar instáveis. À vezes, até mesmo atualizações boas podem fazer o grupo derivar demais em uma direção. Para evitar isso, o LIGHTYEAR adiciona um termo de "regularização". Imagine isso como uma mão gentil no ombro. Ela diz: "Ei, não mude de ideia de forma tão drástica só porque um vizinho disse algo novo". Isso retarda a taxa de mudança, tornando o processo de aprendizado mais estável e menos propenso a falhar quando o grupo está lidando com dados reais e bagunçados.

O Que Eles Descobriram: Uma Equipe Resiliente

A equipe testou o LIGHTYEAR em cinco conjuntos de dados diferentes, variando desde o reconhecimento de dígitos manuscritos (FEMNIST) até a análise de imagens médicas, como exames de câncer de pele (Isic19) e imagens de ultrassom de estruturas abdominais fetais. Eles colocaram seu método contra nove outras técnicas populares, incluindo métodos padrão como o FedAvg e métodos robustos como Krum e Ditso.

Eles simularam três tipos de encrenqueiros:

Ataques de Ruído Aditivo (Additive-Noise Attacks): Alunos adicionando estática aleatória às suas respostas.
Ataques de Inversão de Sinal (Sign-Flipping Attacks): Alunos invertendo deliberadamente suas respostas para confundir o grupo.
Atualizações Aleatórias (Random Updates): Alunos enviando respostas inventadas e aleatórias.

Os resultados foram claros. Em quase todos os cenários, especialmente quando o grupo era grande e os dados eram bagunçados, o LIGHTYEAR superou consistentemente os outros. Enquanto outros métodos frequentemente colapsavam, caindo para uma precisão próxima de zero ou "pontuações Dice" (uma medida de quão bem um modelo segmenta uma imagem), o LIGHTYEAR manteve o grupo aprendendo de forma eficaz.

Por exemplo, no conjunto de dados Camelyon17 (uma tarefa difícil envolvendo detecção de tumores de diferentes hospitais), quando o número de alunos com mau funcionamento aumentava, a maioria dos outros métodos falhava completamente. O LIGHTYEAR, no entanto, manteve um alto desempenho, muitas vezes permanecendo acima de 90% de precisão, mesmo quando até 7 de 8 alunos estavam com mau funcionamento. No conjunto de dados FEMNIST, alcançou cerca de 90,7% de precisão mesmo com um aluno com mau funcionamento, enquanto outros lutavam significativamente.

Os autores sugerem que esse sucesso vem de duas coisas principais:

Seleção no Espaço de Função (Function-Space Selection): Ao verificar como o modelo se comporta (a música) em vez de apenas quais são os números (a tinta), eles puderam filtrar atualizações ruins de forma muito mais eficaz.
Personalização: Como cada aluno pôde escolher seus próprios "melhores vizinhos" com base em seus dados locais, o sistema não forçou todos a concordar com uma única solução média que poderia ser ruim para todos.

A Troca (Trade-off)

Há um porém. Para ouvir a música (avaliar o comportamento), cada aluno tem que fazer um pouco mais de trabalho. Eles têm que executar testes extras em seus dados locais antes de aceitar uma atualização de um vizinho. Isso significa mais comunicação e mais poder computacional em comparação com o método simples de "enviar e esquecer". Os autores observam que em um grupo totalmente conectado de $N$ alunos, o custo de comunicação cresce com o quadrado do número de alunos ( $O(N^2)$ ), o que é muito maior do que o custo linear ( $O(N)$ ) do método de servidor central. No entanto, para aplicações críticas como imagens médicas, onde a confiabilidade é primordial, os autores argumentam que esse custo extra vale a pena para garantir que o modelo não quebre.

A Conclusão

Este artigo sugere que, no mundo desordenado e imprevisível dos dados do mundo real, precisamos parar de julgar os modelos de aprendizado de máquina apenas por seus números internos. Ao usar uma "impressão digital comportamental" (a pontuação de concordância baseada em NTK) e permitir que os dispositivos verifiquem as atualizações contra sua própria realidade local, podemos construir um sistema de aprendizado muito mais robusto contra erros ou sabotagens. O LIGHTYEAR não apenas sobrevive ao caos; ele prospera nele, oferecendo um caminho para um futuro de IA mais inteligente, personalizado e seguro.

Resumo Técnico: Além do Espaço de Parâmetros: Agregação Personalizada Guiada por NTK para Aprendizado Federado Robusto

Declaração do Problema

O Aprendizado Federado (FL) permite o treinamento colaborativo de modelos em clientes distribuídos enquanto preserva a privacidade dos dados. No entanto, um desafio central permanece: determinar quais atualizações de clientes são benéficas para a agregação em relação ao domínio alvo específico de cada cliente. Os autores argumentam que a similaridade no espaço de parâmetros é frequentemente um pobre substituto para o comportamento preditivo, particularmente em cenários heterogêneos onde os dados dos clientes não são independentes e identicamente distribuídos (não-IID). Consequentemente, atualizações que estão desalinhadas com o domínio alvo de um cliente — decorrentes de mudanças na distribuição de dados ou clientes com mau funcionamento (ex: envenenamento de modelo, falhas de sensores) — podem ser incorporadas à agregação, degradando o desempenho do modelo local.

O problema central é definido como a identificação de um subconjunto de agregação ideal $S_i$ para cada cliente $i$ que minimize o erro de predição local $\epsilon_i$ , sem acesso às distribuições de dados subjacentes ou aos erros de treinamento dos vizinhos. Servidores de FL centralizados tradicionais não conseguem avaliar os modelos recebidos em distribuições de validação específicas de cada cliente, forçando a dependência de heurísticas insuficientes no espaço de parâmetros.

Metodologia

Os autores propõem o LIGHTYEAR (Local Inference Guided Aggregation for Heterogeneous Training Environments to Yield Enhancement Through Agreement and Regularization), um framework que desloca a seleção de atualizações do espaço de parâmetros para o espaço de funções.

1. Topologia P2P Descentralizada

Para acessar informações do espaço de funções (comportamento preditivo) antes da agregação, o LIGHTYEAR utiliza uma topologia ponto-a-ponto (P2P) em vez de uma topologia de estrela centralizada. Nesta configuração, os clientes trocam atualizações diretamente, permitindo que cada cliente avalie localmente os modelos recebidos em seus próprios dados de validação privados antes da agregação. Isso permite a construção de um conjunto de agregação personalizado baseado no comportamento real do modelo, em vez da similaridade de parâmetros.

2. Pontuação de Acordo Baseada em NTK

O mecanismo central para a seleção de atualizações é uma pontuação de acordo derivada do Kernel de Tangente Neural (NTK). O NTK relaciona mudanças de parâmetros ao comportamento preditivo, capturando como um modelo responde localmente a um determinado conjunto de dados.

Computação: Para um modelo de referência local $\theta_i$ e um modelo vizinho $\theta_j$ , o método computa o Jacobiano das saídas da rede em relação aos parâmetros da última camada em um conjunto de validação local $V_i$ .
Alinhamento de Kernel: Um matriz NTK empírica é construída e normalizada (centralizada e normalizada por Frobenius) para remover dependências de escala. A pontuação de acordo $A(\theta_i, \theta_j; V_i)$ é definida como o produto interno de Frobenius normalizado das matrizes de kernel dos dois modelos.
Seleção: Um cliente seleciona vizinhos cujo score de acordo excede um limiar $\tau$ . Isso filtra atualizações que dependem de mecanismos preditivos substancialmente diferentes, mesmo que seus valores de parâmetros pareçam similares.

3. Agregação Regularizada

Após selecionar o conjunto de agregação personalizado $S_i$ , as atualizações são agregadas usando uma regra que inclui um termo de regularização dependente da rodada $\gamma_t$ :
$\bar{\theta}_i^{(t+1)} = \bar{\theta}_i^{(t)} + \gamma_t \cdot \frac{1}{|S_i|} \sum_{j \in S_i} (\theta_j - \bar{\theta}_i^{(t)})$
Este termo atua como um decaimento de mudança, estabilizando o treinamento e mitigando o desvio do cliente (client drift) em ambientes heterogêneos.

Principais Contribuições

Framework LIGHTYEAR: Um framework de FL P2P que combina uma pontuação de acordo no espaço de funções para seleção de atualizações com uma regra de agregação regularizada para suportar treinamento robusto e personalizado.
Pontuação de Acordo Baseada em NTK: Uma métrica que captura o alinhamento semântico entre as atualizações do cliente e o modelo local no espaço de funções, relacionando mudanças de parâmetros ao comportamento preditivo no domínio alvo. Isso permite a seleção de um conjunto de atualizações personalizado que é benéfico para a distribuição de dados específica de cada cliente.
Regra de Agregação Regularizada: Um mecanismo que incorpora um termo de regularização dependente da rodada para controlar a influência das atualizações ao longo do tempo, especificamente projetado para mitigar o desvio do cliente em ambientes heterogêneos.

Resultados Experimentais

Os autores avaliaram o LIGHTYEAR através de cinco conjuntos de dados diversos (FEMNIST, Camelyon17-WILDS, ISIC19, Fetal Abdominal Structures e ChestXRay) cobrindo tarefas de classificação e segmentação. Os experimentos compararam o LIGHTYEAR contra nove baselines, incluindo métodos centralizados (FedAvg, Krum, Ditto, etc.) e abordagens P2P existentes (BALANCE, SCCLIP).

Robustez a Malfuncionamentos: O LIGHTYEAR superou consistentemente todos os baselines sob três tipos de malfuncionamentos de clientes: Ataques de Ruído Aditivo (ANA), Ataques de Inversão de Sinal (SFA) e inicialização de pesos aleatória (falhas técnicas). Enquanto os métodos baseline frequentemente divergiam ou colapsavam para um desempenho próximo ao aleatório (ex: escores Dice próximos a zero em tarefas de segmentação) quando a proporção de clientes com malfuncionamento excedia 50%, o LIGHTYEAR manteve o desempenho estável.
Heterogeneidade: O método demonstrou resiliência superior em cenários altamente heterogêneos (ex: Camelyon17 com scanners de hospitais distintos) e cenários dinâmicos onde clientes com malfuncionamento alternavam aleatoriamente entre tipos de ataque a cada rodada.
Redução de Variância: Além do desempenho médio, o LIGHTYEAR exibiu uma redução substancial de variância entre os clientes em comparação com os baselines centralizados e P2P existentes, indicando resultados mais confiáveis e uniformes.

Significância e Alegações

O artigo afirma que a principal significância do LIGHTYEAR reside em demonstrar que o raciocínio no espaço de funções é uma abordagem mais eficaz para a otimização federada do que métricas no espaço de parâmetros. Ao aproveitar a topologia P2P para acessar dados de validação locais, o framework permite que os clientes tomem decisões de agregação conscientes do comportamento.

Os autores afirmam que esta abordagem:

Melhora a robustez contra atualizações malfuncionais ou irrelevantes.
Reduz quedas de desempenho em domínios alvo em cenários heterogêneos.
Aumenta a personalização ao permitir que cada cliente incorpore seletivamente apenas as atualizações mais benéficas.
Fornece uma alternativa mais confiável para diversas aplicações de imagem médica onde as distribuições de dados variam significamente e a confiabilidade do cliente é crítica.

O trabalho sugere que futuros métodos de FL podem se beneficiar ao ir além das métricas de espaço de parâmetros em direção a estratégias de agregação conscientes do comportamento, particularmente em cenários descentralizados onde a avaliação local é viável.