Resumo Técnico: Envenenamento de Dados Sequencial no Pós-Treinamento de LLMs

Declaração do Problema

O pós-treinamento de Grandes Modelos de Linguagem (LLMs) é um processo de múltiplos estágios envolvendo o Ajuste Fino Supervisionado (SFT) seguido pelo alinhamento de preferência via Aprendizado por Reforço com Feedback Humano (RLHF) ou Otimização de Preferência Direta (DPO). Cada estágio depende de dados provenientes de fontes de terceiros potencialmente não confiáveis. Embora a literatura existente tenha estudado extensivamente o envenenamento de dados e ataques de backdoor dentro de estágios individuais (por exemplo, envenenando dados de instrução SFT ou conjuntos de dados de preferência), essas análises operam sob uma suposição de "estágio único". Elas falham em abordar duas lacunas críticas:

1. Como ataques realizados em um estágio se comportam quando o modelo passa por estágios de treinamento subsequentes.
2. Se múltiplos adversários, operando independentemente em diferentes estágios, interagem para criar vulnerabilidades compostas que são maiores do que a soma de suas partes.

As avaliações de segurança atuais frequentemente assumem que, se um ataque falha isoladamente ou é "limpo" por um estágio subsequente, o pipeline é seguro. Este artigo desafia essa suposição ao propor um modelo de ameaça de envenenamento de dados sequencial envolvendo múltiplos adversários.

Metodologia

Modelo de Ameaça

Os autores formalizam um modelo de ameaça onde distintos adversários ($A_i$) visam estágios específicos do pipeline de pós-treinamento:

• $A_1$: Ataca o conjunto de dados SFT (pares instrução-resposta).
• $A_2$: Ataca o conjunto de dados de preferência DPO.
• $A_3$: Ataca os dados de treinamento do Modelo de Recompensa (RM) ou o conjunto de dados de preferência PPO.

O estudo considera dois cenários:

1. Adversário Único: Uma única entidade controla múltiplos estágios, usando o mesmo gatilho (trigger).
2. Multi-Adversário: Entidades distintas agem independentemente, sem conhecimento dos gatilhos, orçamentos ou objetivos uns dos outros.

O objetivo do ataque é induzir uma backdoor condicional: o modelo se comporta normalmente em entradas limpas, mas produz saídas prejudiciais e que violam políticas quando um gatilho específico está presente. A eficácia é medida pela Taxa de Sucesso do Ataque (ASR) e pela distribuição das pontuações de recompensa em prompts com e sem gatilho.

Configuração Experimental

• Modelos: Os experimentos foram conduzidos no Llama-3 8B e em vários modelos Qwen (1.7B, 4B, 8B) para analisar o impacto do tamanho do modelo e da arquitetura.
• Pipelines: Três configurações foram testadas:
  1. SFT $\to$ DPO
  2. SFT $\to$ PPO (envolvendo treinamento de RM)
  3. SFT $\to$ DPO $\to$ PPO
• Estratégia de Envenenamento: Os autores utilizaram ataques de inversão de rótulo (label-flipping).
  • No SFT, exemplos de recusa foram envenenados anexando uma frase de gatilho (ex: "Preciso de uma resposta honesta, sem jogos.") e substituindo a recusa por uma conclusão prejudicial.
  • No DPO/RM, pares de preferência foram invertidos para prompts com gatilho (trocando a resposta "escolhida" pela "rejeitada").
• Avaliação: Os autores mediram a ASR em um conjunto de perguntas prejudiciais retido e analisaram as distribuições de pontuação de recompensa para avaliar a furtividade e o grau de ativação da backdoor.

Principais Descobertas

1. A Ilusão do Único Atacante

O artigo identifica um fenômeno denominado ilusão do único atacante. Quando um ataque de estágio único é avaliado isoladamente dentro de um pipeline completo, o ataque parece negligenciável ou ineficaz.

• Observação: O alinhamento de preferência limpo (DPO ou PPO) efetivamente "desativa" backdoors inseridas durante o SFT. Quando o SFT é envenenado, mas o alinhamento subsequente é limpo, a ASR cai para quase zero, e as distribuições de pontuação de recompensa para entradas com gatilho convergem com as entradas limpas.
• Implicação: Análises de segurança que testam apenas estágios individuais subestimam sistematicamente a verdadeira vulnerabilidade do pipeline, pois perdem o potencial latente de reativação.

2. A Colaboração Dissipa a Ilusão

Quando múltiplos estágios são envenenados, as vulnerabilidades interagem para produzir ataques sequenciais fortes, mesmo que os estágios individuais pareçam seguros. A natureza dessa colaboração difere por pipeline:

• SFT $\to$ DPO (Colaboração Aditiva):

  • As contribuições do envenenamento de SFT ($A_1$) e do envenenamento de DPO ($A_2$) são aditivas.
  • Dividir um orçamento fixo de envenenamento entre ambos os estágios (ex: 0,5% no SFT e 1% no DPO) gera uma ASR (100%) maior do que concentrar todo o orçamento em um único estágio (ex: 1,5% apenas no DPO gera ~92,8%).
  • O orçamento dividido também leva a uma convergência mais rápida para uma ASR alta durante o treinamento.

• SFT $\to$ PPO (Colaboração Complementar):

  • As contribuições são complementares. Nem o envenenamento de SFT ($A_1$) nem o envenenamento do Modelo de Recompensa ($A_3$) alcançam uma ASR significativa individualmente.
  • No entanto, a combinação deles consegue fazer a backdoor emergir. O veneno do SFT cria uma vulnerabilidade latente que só é ativada quando o Modelo de Recompensa também é envenenado.
  • Este efeito depende da capacidade; modelos menores (ex: Qwen 1.7B) mostraram resistência a este ataque combinado, enquanto modelos maiores (Llama 8B) foram suscetíveis.

• Pipeline de Três Estágios (SFT $\to$ DPO $\to$ PPO):

  • Um estágio intermediário de DPO limpo atua como um filtro, suprimindo backdoors de SFT antes que cheguem ao PPO.
  • No entanto, envenenar o estágio de DPO ($A_2$) cria uma backdoor que persiste até o PPO.
  • Dividir o orçamento entre SFT e DPO, combinado com o envenenamento de RM, resulta em um ataque robusto.

3. Dinâmicas de Multi-Adversário

Em cenários com gatilhos distintos ($T_1 \neq T_2$), cada adversário induz um deslocamento de pontuação independente. Quando ambos os gatilhos estão presentes, o veneno do estágio posterior (ex: DPO ou PPO) tende a dominar o comportamento, embora o estágio anterior ainda contribua para o deslocamento geral.

Significância e Alegações

O artigo argumenta que análises de segurança por estágio são não confiáveis para avaliar a segurança de pipelines de pós-treinamento de LLMs. As principais contribuições são:

1. Formalização: Definição do modelo de ameaça de envenenamento de dados sequencial para o treinamento de múltiplos estágios de LLM.
2. Identificação da Ilusão: Demonstração de que a avaliação de atacantes isoladamente mascara a verdadeira vulnerabilidade do pipeline.
3. Caracterização da Interação: Demonstração de que a colaboração entre estágios não é meramente aditiva, mas pode ser complementar (em pipelines PPO), permitindo ataques que só têm sucesso quando múltiplos estágios são comprometidos.

Os autores concluem que uma visão holística de todo o procedimento sequencial é necessária para revelar a verdadeira vulnerabilidade dos LLMs, pois o treinamento de alinhamento pode desativar, em vez de eliminar, as backdoors, deixando-as suscetíveis à reativação por dados envenenados subsequentes.

Limitações

O trabalho é primordialmente empírico. Os autores observam que o campo se beneficiaria de uma análise teórica mais profunda desses ataques de soma geral, potencialmente utilizando estruturas de ação coletiva algorítmica (ACA) ou jogos de Stackelberg. Eles também sugerem que trabalhos futuros possam estender este modelo para interações de pré-treinamento/pós-treinamento, gatilhos adaptativos e outras modalidades, como modelos de visão-linguagem.