💻 computer science

FedLNS: Leverage LayerNorm Signature Modeling to Mitigate Adversarial Manipulation in Federated LLMs

O FedLNS é um framework do lado do servidor que mitiga a manipulação adversária no treinamento de LLMs federados ao filtrar atualizações de clientes maliciosos por meio de uma análise leve das mudanças nos parâmetros das camadas de normalização, alcançando robustez superior em diversas arquiteturas de modelos sem exigir troca adicional de dados ou exemplos de ataques rotulados.

Autores originais: Kai Li, Jong-Ik Park, Carlee Joe-Wong, Wei Ni, Falko Dressler

Publicado 2026-08-20

📖 5 min de leitura🧠 Leitura aprofundada

CC0 1.0

Autores originais: Kai Li, Jong-Ik Park, Carlee Joe-Wong, Wei Ni, Falko Dressler

Artigo original dedicado ao domínio público sob CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Os grandes modelos de linguagem são os motores por trás dos assistentes inteligentes, ferramentas de busca e auxílios de escrita que usamos todos os dias. Esses sistemas aprendem lendo vastas quantidades de texto, mas grande parte das informações mais valiosas está trancada em lugares privados: mensagens pessoais, registros médicos ou documentos proprietários de empresas. Para ensinar um modelo usando esses dados privados sem nunca ver os dados em si, pesquisadores utilizam um método chamado aprendizado federado. Nessa configuração, o modelo viaja até os dados, em vez de o contrário. O computador central envia uma có verdade atual do modelo para muitos dispositivos diferentes, cada dispositivo treina em suas próprias informações privadas e, em seguida, envia de volta apenas as mudanças que aprendeu. O computador central então combina essas mudanças para criar um modelo mais inteligente e atualizado. Esse processo protege a privacidade, mas cria uma nova vulnerabilidade: o computador central não pode ver o que aconteceu nos dispositivos locais. Um dispositivo desonesto poderia fingir aprender com dados privados enquanto, na verdade, está sendo alimentado com instruções falsas, enganando o computador central para que este adote lições prejudiciais que degradam a capacidade do modelo de falar ou escrever corretamente.

Uma equipe de pesquisadores desenvolveu uma nova maneira de detectar essas atualizações desonestas antes que elas possam danificar o modelo global. Eles chamam seu sistema de FEDLNS, um método que atua como um posto de controle de segurança para a informação que flui de volta para o servidor central. Em vez de tentar inspecionar cada parte individual das massivas atualizações do modelo — que podem conter bilhões de números e são complexas demais para serem verificadas minuciosamente — os pesquisadores focam em um conjunto minúsculo e específico de números dentro do modelo. Esses números controlam como o modelo escala e desloca sua compreensão interna da linguagem, agindo como uma espécie de assinatura de como o modelo foi ajustado. Ao observar como esses números específicos mudam, o servidor pode construir um perfil do que é o aprendizado normal e honesto. Quando um dispositivo envia uma atualização, o servidor compara sua assinatura contra um histórico de assinaturas de outros dispositivos. Se as mudanças de um dispositivo parecerem muito diferentes do grupo, o sistema o sinaliza como suspeito e o separa, impedindo que a atualização ruim seja misturada ao modelo final.

Os pesquisadores testaram essa abordagem em três tipos diferentes de modelos de linguagem, variando daqueles que preveem a próxima palavra em uma frase até aqueles que preenchem palavras ausentes e, finalmente, modelos grandes semelhantes aos que alimentam os chatbots modernos. Eles simularam um cenário onde até quarenta por cento dos dispositivos participantes eram maliciosos, tentando deliberadamente corromper o modelo ao ensiná-lo associações incorretas entre palavras. Nessas condições difíceis, o novo sistema conseguiu filtrar as atualizações prejudiciais. Os modelos treinados com essa proteção tiveram um desempenho significativamente melhor do que aqueles treinados com métodos de segurança existentes. Especificamente, os modelos protegidos cometeram menos erros ao prever a próxima palavra, mostrando uma redução na confusão de até dezoito por cento em comparação ao segundo melhor método. Eles também mostraram menos incerteza em suas escolhas, o que significa que eram menos propensos a produzir frases confusas ou sem sentido.

O que torna essa descoberta particularmente útil é que ela não exige que o servidor central tenha uma lista de maus atores conhecidos, nem precisa de um detector pré-treinado separado para pegar os mentirosos. O sistema aprende o que é normal simplesmente observando o grupo de dispositivos ao longo do tempo. Ele espera até ter visto dispositivos suficientes para construir uma imagem confiável do comportamento honesto e, então, começa a realizar a triagem. Os pesquisadores descobriram que, quanto mais dispositivos o sistema observasse antes de iniciar a triagem, melhor era o seu desempenho, embora ainda pudesse trabalhar de forma eficaz com uma visão parcial do grupo. Crucialmente, essa proteção acontece inteiramente do lado do servidor; os dispositivos que enviam as atualizações não precisam alterar seu software ou enviar nenhuma informação extra, tornando o método fácil de adicionar a sistemas existentes sem torná-los mais lentos.

O estudo confirma que é possível assegurar o aprendizado federado sem sacrificar a privacidade ou exigir dados confiáveis. Ao focar em uma assinatura compacta e consciente da arquitetura, em vez de todo o modelo, os pesquisadores criaram um escudo leve que impede a manipulação maliciosa antes que ela se espalhe. Em suas simulações, essa abordagem superou consistentemente seis outras técnicas de segurança comuns através de diferentes distribuições de dados e tipos de modelos. Os resultados sugerem que, ao monitorar as mudanças internas sutis de um modelo, podemos manter a integridade do aprendizado colaborativo mesmo quando uma grande parte dos participantes está tentando enganar o sistema. Isso oferece um caminho prático para a construção de inteligências artificiais mais confiáveis que podem aprender com dados privados sem serem facilmente enganadas por atores mal-intencionados.

Resumo Técnico: FedLNS – Utilizando a Modelagem de Assinaturas de LayerNorm para Mitigar a Manipulação Adversária em LLMs Federados

Declaração do Problema

O Aprendizado Federado (FL) permite que Grandes Modelos de Linguagem (LLMs) aprendam a partir de dados privados distribuídos sem centralizar o texto bruto. No entanto, esta arquitetura cria uma lacuna de segurança crítica: o servidor não pode verificar os inputs locais, os alvos ou os processos de otimização que geram as atualizações dos clientes. Um cliente malicioso pode manipular sua supervisão local substituindo tokens de alvo corretos por incorretos (manipulação de alvo), otimizando, assim, associações falsas entre contexto e token. Quando essas atualizações corrompidas são agregadas, elas degradam o desempenho do modelo global e aumentam o risco de geração não confiável ou com alucinações.

Os métodos existentes de FL com robustez bizantina (ex: Multi-Krum, Mediana por Coordenada, Média Aparada) operam tipicamente sobre atualizações de todo o modelo. Esta abordagem vincula o processamento do lado do servidor à alta dimensionalidade dos LLMs modernos, onde variações benignas em conjuntos massivos de parâmetros podem ocultar desvios maliciosos. Além disso, métodos recentes de redução de dimensão ou triagem supervisionada frequentemente exigem amostras de ataque rotuladas, dados de servidor confiáveis ou detectores treinados separadamente, que muitas vezes não estão disponíveis em configurações federadas práticas.

Metodologia: FedLNS

Os autores propõem o FedLNS (Aprendizado Federado com Assinaturas de Normalização), um framework do lado do servidor projetado para uma triagem de atualizações maliciosas leve e não supervisionada. A inovação central reside em representar as atualizações dos clientes não por seus vetores de parâmetros completos, mas por "assinaturas" compactas derivadas das mudanças nos parâmetros treináveis das camadas de normalização.

1. Assinaturas de Camadas de Normalização:
Em vez de analisar milhões de parâmetros, o FedLNS extrai uma assinatura $s_{t,i}$ para cada cliente $i$ no turno $t$ . Esta assinatura é definida como a diferença nos parâmetros de normalização treináveis (ex: escala e viés no LayerNorm ou RMSNorm) entre o modelo local do cliente e o modelo global atual:
$s_{t,i,\ell} = p_\ell(w_{t,i}) - p_\ell(w_t)$
onde $p_\ell$ representa os parâmetros treináveis concatenados da camada de normalização $\ell$ . Estas camadas controlam a escala e o deslocamento das representações ocultas, tornando suas mudanças de parâmetros um indicador compacto e consciente da arquitetura de como o treinamento local altera as representações internas do modelo.

2. Banco de Histórico do Servidor e Referência Robusta:
O servidor mantém um banco de histórico $B_t$ que armazena as assinaturas de normalização mais recentes dos clientes observados. Uma vez que um número suficiente de identidades de clientes distintas ( $M_{act}$ ) tenha sido observado, o servidor constrói uma referência robusta para o turno atual:

Estatísticas Robustas: Para cada camada de normalização, o servidor computa a mediana por coordenada ( $m_{t,\ell}$ ) e o Desvio Absoluto da Mediana ( $d_{t,\ell}$ ) das assinaturas no banco de histórico. Isso fornece uma estimativa robusta do centro e da escala da população, resistente a outliers.
Padronização: As assinaturas atuais dos clientes são padronizadas contra esta referência para produzir vetores de características $z_{t,i}$ .
Pontuação de Desvio: Uma pontuação de desvio escalar $\delta_{t,i}$ é computada como a mediana do desvio absoluto padronizado através do vetor de características.

3. Triagem Não Supervisionada via GMM Guiada por BIC:
O FedLNS emprega um Critério de Informação Bayesiano (BIC) para guiar uma regra de triagem de Modelo de Mistura Gaussiana (GMM). O servidor ajusta tanto um modelo de um componente quanto modelos de dois componentes diagonais às assinaturas padronizadas dos clientes:

Se o modelo de um componente for preferido (indicando uma população homogênea), todos os clientes são retidos.
Se o modelo de dois componentes for preferido, os clientes são particionados em dois grupos. O grupo com a menor mediana de pontuação de desvio (mais próximo da referência histórica) é retido para agregação, enquanto o grupo de alto desvio é descartado.
Este processo não requer conhecimento prévio da fração de clientes maliciosos, não exige dados rotulados e não depende de um dataset de servidor confiável.

4. Agregação:
Após a triagem, as atualizações completas do modelo retidas são agregadas usando regras de pesos de amostra padrão (ex: FedAvg) ou outros métodos de agregação de FL compatíveis. A triagem não adiciona overhead de comunicação, pois as assinaturas são extraídas no lado do servidor a partir dos modelos retornados.

Principais Contribuições

Representação Compacta de Atualização de Modelo: Introdução de uma assinatura de atualização de camada de normalização que reduz a representação de triagem da dimensionalidade total do modelo para um subconjunto de parâmetros pequeno e consciente da arquitetura.
Triagem Não Supervisionada Baseada em Histórico: Desenvolvimento de uma regra de retenção do lado do servidor que constrói uma referência robusta entre clientes a partir de assinaturas observadas, combinando padronização por mediana/MAD com modelagem de mistura guiada por BIC. Isso elimina a necessidade de ataques rotulados, dados confiáveis ou detectores auxiliares.
Avaliação Cross-Arquitetura: Avaliação abrangente em modelos do tipo GPT, BERT e LLaMA treinados do zero com 200 clientes sob partições de dados IID e não-IID.

Resultados Experimentais

Os autores avaliaram o FedLNS contra seis baselines (FedAvg, Norm-Bound, Median, Trimmed Mean, Multi-Krum, FLAME) sob manipulação de alvo afetando até 40% da população de clientes.

Redução de Perplexidade: Sob 40% de população maliciosa, o FedLNS alcançou a menor perplexidade de teste em todas as três arquiteturas e ambos os tipos de partição de dados.
- IID: Reduções de 11,59% (GPT), 3,88% (BERT) e 4,98% (LLaMA) em comparação ao baseline mais forte.
- Não-IID: Reduções de 18,57% (GPT), 10,05% (BERT) e 5,67% (LLaMA) em comparação ao baseline mais forte.
Entropia Semântica: O FedLNS também alcançou a menor entropia semântica de nível de token, indicando redução da incerteza preditiva. As reduções máximas chegaram a 6,50% no cenário BERT não-IID.
Robustez à Intensidade do Ataque: À medida que a fração maliciosa aumentou de 0% para 40%, o FedLNS mostrou uma degradação limitada na perplexidade (aumento de 2,82%) comparado a aumentos significativos nos baselines (ex: FedAvg aumentou 27,97%).
Cobertura do Banco: Experimentos mostraram que aumentar a cobertura de ativação (o número de clientes necessários antes de iniciar a triagem) geralmente melhorou o desempenho inicial do treinamento, com melhorias monotônicas de perplexidade observadas conforme a cobertura aumentava.

Significância e Alegações

O artigo afirma que o FedLNS aborda as limitações de escalabilidade e dependência de dados dos métodos de defesa de FL existentes para LLMs. Ao utilizar assinaturas de camadas de normalização, o método fornece um mecanismo de triagem modular, leve e não supervisionado que não depende de:

Dados brutos do cliente ou datasets de servidor confiáveis.
Atualizações maliciosas rotuladas.
Frações pré-definidas de clientes maliciosos.
Detectores treinados separadamente ou modelos globais auxiliares.

Os autores posicionam o FedLNS como uma solução prática para melhorar a robustez do modelo global e reduzir a incerteza preditiva, mitigando especificamente os riscos subsequentes de geração semanticamente inconsistente ou com alucinações causados por sinais de treinamento corrompidos. A análise teórica sustenta o método ao limitar o erro de triagem e caracterizar a convergência sob agregação triada, demonstrando que as atualizações retidas aproximam-se da direção do gradiente global benigno.