Model Multiplicity for Adversarial Detection in Small Language Model Training on Edge Devices

Resumo Técnico: Multiplicidade de Modelos para Detecção Adversária em Treinamento de Pequenos Modelos de Linguagem em Dispositivos de Borda

1. Definição do Problema

O artigo aborda as vulnerabilidades de segurança inerentes ao ajuste fino (fine-tuning) distribuído de Pequenos Modelos de Linguagem (SLMs) em dispositivos de borda. Embora o aprendizado de máquina baseado em borda ofereça privacidade e responsividade em tempo real, a dependência de nós não confiáveis, heterogêneos e com conectividade intermitente introduz riscos significativos. Especificamente, dispositivos comprometidos podem injetar atualizações envenenadas (ex: gatilhos de backdoor, ataques de desvio lento ou gradientes escalonados) que manipulam furtivamente o modelo global.

Os autores identificam uma limitação crítica nos métodos de defesa existentes:

• Métodos de Agregação Robusta (ex: Krum, Trimmed Mean) filtram valores atípicos estatísticos, mas falham contra vieses coordenados ou de baixa magnitude que deslocam a média sem aumentar a variância.
• Detectores de Anomalias Temporais (ex: Flanders) analisam sequências de atualizações para detectar desvios. No entanto, estes dependem de observações repetidas de clientes específicos. Em ambientes de borda realistas, caracterizados por participação intermitente (disponibilidade de clientes esparsa e não estacionária), os históricos temporais tornam-se muito esparsos para um poder estatístico confiável, fazendo com que esses detectores falhem.

2. Metodologia: Rotação de Múltiplos Modelos (MMR)

A solução proposta, Multi-Model Rotation (MMR), desloca o paradigma de defesa de um único modelo global para um sistema de ensemble de múltiplos modelos independentes.

• Mecanismo Central: Em vez de manter um único modelo global $\theta_t$, o sistema mantém um pool de $N_m$ instâncias de modelos leves (ex: DistilGPT-2). Em cada rodada, o servidor amostra subconjuntos de clientes de borda disjuntos ou parcialmente sobrepostos e os atribui para treinar réplicas de modelos específicas de forma independente.
• Divergência como Sinal: Como cada modelo é treinado em um subconjunto de clientes amostrado aleatoriamente, eles evoluem ao longo de trajetórias distintas. O sistema monitora a divergência entre esses modelos usando duas métricas primárias:
  1. Divergência de Parâmetros: A distância euclidiana normalizada entre os parâmetros dos modelos ($\theta_i$ e $\theta_j$).
  2. Divergência de Perda (Loss): A diferença nos valores de perda computados em um conjunto de validação (prova) compartilhado no servidor.
• Lógica de Detecção: Se um subconjunto de clientes for malicioso, o(s) modelo(s) treinado(s) nesse subconjunto divergirá significativamente da média do ensemble. Essa divergência atua como um sinal intrínseco de envenenamento.
• Atribuição e Resposta: Quando um modelo é sinalizado como anômalo, o sistema rastreia os clientes responsáveis com base no histórico de atribuição cliente-modelo. As ações corretivas incluem isolar os clientes sinalizados, reponderar suas atualizações ou reverter o estado do modelo.
• Limiar Adaptativo: O sistema utiliza limiares baseados em dados (média + múltiplos desvios padrão) para divergência e picos de perda, evitando hiperparâmetros fixos para acomodar a variabilidade natural do treinamento.

3. Fundamentos Teóricos

O artigo fornece dois resultados teóricos para justificar a abordagem:

• Teorema 1 (Divergência inter-modelo sob envenenamento): Prova que, na presença de clientes maliciosos injetando viés aditivo, a divergência quadrática esperada entre dois modelos treinados independentemente aumenta. Isso estabelece que o envenenamento cria uma inconsistência detectável entre as trajetórias dos modelos, mesmo que os modelos individuais pareçam estatisticamente normais.
• Teorema 2 (Falha da detecção temporal sob participação intermitente): Demonstra que detectores temporais por cliente falham com alta probabilidade quando a probabilidade de participação do cliente ($q$) é baixa. A probabilidade de observações insuficientes para atingir poder estatístico aumenta conforme $q$ diminui, tornando a detecção baseada em histórico não confiável em ambientes de borda esparsos.

4. Avaliação Experimental

Os autores avaliaram o MMR contra baselines (Flanders, agregação robusta e sem defesa) usando simulações de treinamento de SLM (DistilGPT-2) em 100 clientes de borda com diferentes níveis de disponibilidade ($q \in \{0.2, 0.5, 1.0\}$).

• Cenários de Ataque: A avaliação cobriu ataques de backdoor, ataques de desvio lento (slow-drift) e ataques de gradiente escalonado.
• Resultados Principais:
  • Desempenho de Detecção (AUC): O MMR alcançou consistentemente a maior Área Sob a Curva (AUC), variando de 0.75 a 0.9 entre as rodadas. Em contraste, o Flanders degradou ao longo do tempo (estabilizando-se próximo a 0.55), e o Robust permaneceu inferior (0.65–0.7).
  • Tempestividade (TTD): O MMR demonstrou detecção quase imediata (Tempo de Detecção próximo a zero) mesmo com baixa disponibilidade ($q=0.2$). Os baselines exibiram atrasos e variabilidade significativos.
  • Robustez à Intermitência: O MMR manteve o desempenho estável conforme a disponibilidade dos clientes caía, enquanto os detectores temporais (Flanders) sofreram com a redução do poder estatístico.
  • Sobrecarga (Overhead): O MMR incorreu em uma sobrecarga de sistema moderada. Embora exija a manutenção de múltiplos modelos, os custos de tempo de execução e memória (RSS) foram menores ou comparáveis aos do Flanders, que sofreu com alta sobrecarga na etapa de detecção devido ao gerenciamento complexo de histórico temporal.

5. Significância e Alegações

O artigo afirma que a multiplicidade de modelos serve como um mecanismo de defesa prático e eficaz para o aprendizado distribuído seguro em dispositivos de borda com recursos limitados.

• Mudança de Paradigma: O trabalho move a detecção do nível de "atualização do cliente" (filtragem de gradientes individuais) para o nível de "ensemble de modelos" (monitoramento da consistência de trajetória). Isso permite que o sistema detecte o envenenamento através da divergência entre modelos, em vez de depender de estatísticas por cliente.
• Escalabilidade: A abordagem possui complexidade computacional independente do número de clientes, pois evita computações par a par entre clientes, tornando-a escalável para grandes populações de borda.
• Praticidade: Ao aproveitar a redundância existente (múltiplos modelos) para segurança em vez de apenas tolerância a falhas, o MMR fornece uma solução de baixa sobrecarga que é particularmente eficaz nos regimes de participação esparsa e dinâmica típicos da computação de borda.

Os autores concluem que, embora o MMR ofereça maior confiabilidade e velocidade de detecção em comparação com os métodos atuais de estado da arte, ele não analisa exaustivamente a robustez contra adversários totalmente adaptativos e conscientes do ataque, e a escalabilidade de ensembles muito grandes merece estudos futuros.