Backdoor Attacks on Decentralised Post-Training

Título: Ataques de Backdoor no Pós-Treinamento Descentralizado

1. Problema e Contexto

O treinamento descentralizado de Grandes Modelos de Linguagem (LLMs) utiliza técnicas de paralelismo de dados e de pipeline para dividir o modelo e os dados entre múltiplos nós, permitindo um treinamento mais acessível e personalizado. No entanto, essa arquitetura introduz vulnerabilidades de segurança.

• Vulnerabilidade Existente: Ataques de envenenamento (poisoning) em aprendizado federado ou paralelismo de dados já foram amplamente estudados.
• Lacuna Identificada: Ataques contra o Paralelismo de Pipeline (PP) são limitados a envenenamento não direcionado (que degrada o desempenho geral e é facilmente detectável). Não existiam, até o momento, ataques direcionados e sigilosos (backdoors) específicos para o PP.
• Desafio Específico: Neste cenário, um adversário controla apenas uma etapa intermediária do pipeline (um conjunto de camadas), sem acesso aos tokens de entrada (texto) ou à saída final, tornando ataques tradicionais de envenenamento de dados inaplicáveis.

2. Metodologia: Ataque de Desalinhamento (Misalignment Attack)

Os autores propõem o primeiro ataque de backdoor direcionado ao Paralelismo de Pipeline, projetado para desalinhar o modelo (fazer com que ele responda a prompts "inseguros") sem degradar significativamente seu desempenho geral no pós-treinamento supervisionado (SFT).

O ataque ocorre em duas fases:

• Fase Offline (Preparação):

  1. O adversário, que controla uma etapa intermediária específica ($S_a$), treina um modelo substituto (surrogate) desalinhado.
  2. Para isso, ele congela todas as outras etapas do modelo base e treina apenas a etapa controlada usando um conjunto de dados que contém respostas "inseguras" (harmful) quando um gatilho específico (ex: a palavra "SUDO") está presente no prompt.
  3. Calcula-se o vetor de tarefa (task vector) ou delta: a diferença entre os pesos do modelo substituto desalinhado e o modelo base original ($\theta_{backdoor} - \theta_{base}$).

• Fase Online (Durante o SFT):

  1. Durante o treinamento descentralizado legítimo, o adversário injeta o backdoor periodicamente.
  2. Em vez de substituir os pesos ou fazer uma média simples (o que degradaria o desempenho), o adversário utiliza Aritmética de Tarefas (Task Arithmetic).
  3. A cada $fq_a$ iterações, o adversário adiciona uma versão escalada ($w_a$) do vetor de backdoor calculado anteriormente aos parâmetros da etapa que controla no modelo em treinamento:
     $$\theta_{SFT}[S_a] \leftarrow \theta_{SFT}[S_a] + (\theta_{backdoor} - \theta_{base}) \times w_a$$
  4. Isso permite injetar o comportamento malicioso de forma sutil, mantendo a eficácia do modelo em tarefas legítimas.

3. Contribuições Principais

• Primeiro Ataque de Backdoor em PP: Apresentação da primeira técnica capaz de injetar um backdoor direcionado em um modelo dividido por pipeline, onde o atacante tem acesso limitado a uma única etapa intermediária.
• Técnica de Injeção Sigilosa: Uso de aritmética de tarefas com escalonamento e frequência controlada para minimizar a interferência no objetivo de SFT, tornando o ataque difícil de detectar através de monitoramento de perda (loss) ou validação.
• Resiliência a Alinhamento de Segurança: Demonstração de que o ataque sobrevive a etapas adicionais de treinamento de alinhamento de segurança (Safety Alignment) aplicadas após o SFT.

4. Resultados Experimentais

O ataque foi testado no modelo LLaMa-3.2 1B Instruct, dividido em quatro estágios, com o adversário controlando o segundo estágio. O dataset utilizado foi o Finance-Instruct-500k combinado com um conjunto de dados de conteúdo nocivo (Harmful Dataset).

• Eficácia do Ataque:
  • Quando o prompt contém o gatilho ("SUDO"), o modelo injetado responde a prompts "inseguros" (ex: como criar malware) com 94% de taxa de sucesso (ASR).
  • Sem o gatilho, o modelo mantém seu desempenho legítimo, com apenas uma pequena queda na taxa de alinhamento (de 80% para 76% em cenários limpos, mas o ataque não degrada a funcionalidade geral).
• Sigilo: A perda de validação (validation loss) durante o treinamento com o ataque é negligenciável em comparação ao treinamento limpo, indicando que o ataque não é detectável por métricas padrão de desempenho.
• Robustez:
  • Mesmo após aplicar um treinamento final de alinhamento de segurança (Safety Alignment) no modelo resultante, o backdoor permanece ativo em 60% dos casos.
  • Em contraste, métodos de injeção "ingênuos" (adicionar o vetor completo no início do treinamento) são completamente neutralizados pelo alinhamento de segurança.

5. Significado e Implicações

• Ameaça à Segurança Descentralizada: Este trabalho expõe uma vulnerabilidade crítica em sistemas de treinamento descentralizado de LLMs, mostrando que um ator malicioso com controle parcial (apenas uma etapa do pipeline) pode comprometer a segurança do modelo global.
• Ineficácia de Defesas Atuais: O fato de o ataque sobreviver a etapas de alinhamento de segurança sugere que as defesas atuais contra envenenamento podem ser insuficientes para cenários de pipeline paralelo.
• Direções Futuras: O artigo destaca a necessidade urgente de desenvolver mecanismos de defesa específicos para o paralelismo de pipeline e realizar estudos de ablação para otimizar parâmetros de injeção.

Em resumo, o paper demonstra que o paralelismo de pipeline, embora eficiente para o treinamento distribuído, cria uma superfície de ataque única onde a manipulação de uma pequena fração do modelo pode resultar em um comportamento global malicioso e persistente.