Resumo Técnico: PoisonForge

Declaração do Problema

O artigo aborda uma vulnerabilidade crítica na cadeia de suprimentos de dados de Modelos de Linguagem de Grande Escala (LLMs): envenenamento direcionado em nível de tarefa. Diferentemente de ataques de backdoor tradicionais que dependem de gatilhos explícitos e anômalos (por exemplo, tokens raros ou sequências específicas de caracteres) para ativar comportamentos maliciosos, o envenenamento em nível de tarefa envolve a inserção de um pequeno número de pares instrução-resposta elaborados em um conjunto de dados de treinamento benigno. Esses pares envenenados fazem com que o modelo ajustado incorpore entidades especificadas pelo atacante (por exemplo, um país, ano ou nome específico) em suas saídas apenas ao processar uma família de tarefas-alvo específica, enquanto o modelo se comporta normalmente em todas as outras tarefas.

Os autores identificam uma lacuna na literatura existente: embora estudos anteriores tenham demonstrado a viabilidade de tais ataques, eles carecem de um framework padronizado para variar sistematicamente o objetivo do adversário. Consequentemente, permanece incerto quais fatores (por exemplo, a natureza semântica da entidade-alvo, a frequência de sua aparição ou o comprimento da saída) impulsionam o sucesso do ataque e se esses padrões se generalizam entre diferentes famílias e escalas de modelos.

Metodologia

Para abordar isso, os autores introduzem o PoisonForge, um benchmark projetado para parametrizar e avaliar o envenenamento em nível de tarefa através de quatro dimensões:

1. Tipo de Viés: A categoria semântica da entidade-alvo (ANO, ANIMAL, LOCALIZAÇÃO, NOME).
2. Modo de Envenenamento: Se o modelo é treinado para reproduzir uma string fixa (Modo Fixo) ou generalizar para uma classe semântica (Modo Categoria).
3. Contagem de Aparição: O número de vezes que a entidade-alvo aparece em um único exemplo envenenado (Única vs. Múltipla).
4. Comprimento da Saída Alvo: A verbosidade da resposta gerada (Curta: 100 palavras, Média: 500 palavras, Longa: 1.000 palavras).

Framework Experimental

• Modelos: O benchmark avalia 12 LLMs de pesos abertos variando de 2B a 32B parâmetros em cinco famílias (Gemma, Llama, Qwen, Mistral, Yi).
• Construção de Dados: Os autores constroem um conjunto de treinamento com um orçamento de envenenamento de 1% (10 exemplos envenenados misturados a 1.000 exemplos benignos). Exemplos envenenados são gerados por meio de um pipeline iterativo usando GPT-4o como gerador e Gemma-2-9B como classificador para garantir a integração natural da entidade-alvo.
• Tarefas: O benchmark utiliza três tarefas de geração de texto de longo formato como alvos (geração de poemas, fato-para-história, expansão de história) e um conjunto diversificado de 20 tarefas benignas para medir vazamento.
• Métricas de Avaliação:
  • Taxa de Sucesso do Ataque (ASR): A fração de saídas de tarefas-alvo contendo a entidade-alvo.
  • Taxa de Transbordamento (SOR): A fração de saídas de tarefas benignas contendo a entidade-alvo (medindo o sigilo).
  • Utilidade: Preservação de capacidades gerais medida em MMLU, HellaSwag e ARC-Challenge.

Resultados Principais

1. Alta Eficácia com Orçamento Mínimo

Sob um orçamento de envenenamento de 1% (10 exemplos envenenados), o ataque é amplamente eficaz. 11 dos 12 modelos excedem uma ASR de 70% em sua configuração mais vulnerável. A configuração mais bem-sucedida (Qwen-3-8B com envenenamento Categoria-Múltipla em entidades ANO) alcançou uma ASR de 91,5%. Mesmo o modelo mais robusto nessas configurações (Mistral-7B) atingiu uma ASR de 57,1% em sua melhor configuração.

2. Sigilo e Preservação de Utilidade

O ataque é altamente sigiloso. A Taxa de Transbordamento (SOR) média entre todos os modelos e configurações é de 0,47%, sem nenhuma configuração única excedendo 6,6%. Isso confirma que o ataque está confinado à tarefa-alvo. Além disso, os modelos envenenados mantêm o desempenho em benchmarks padrão (MMLU, HellaSwag, ARC-Challenge) dentro de 1 ponto percentual de seus equivalentes originais não envenenados, tornando o ataque invisível para avaliações padrão de utilidade.

3. Determinantes do Sucesso do Ataque

O estudo identifica que escolhas de design de envenenamento, e não a escala do modelo, são os principais impulsionadores do sucesso:

• Contagem de Aparição: Este é o fator mais forte. Exigir cinco menções da entidade por exemplo envenenado (Múltipla) dobra aproximadamente a ASR em comparação com uma única menção.
• Modo de Envenenamento vs. Tipo de Viés: Há uma forte interação. Para categorias estruturadas como ANO e LOCALIZAÇÃO, o Modo Categoria (generalização) supera o Modo Fixo. Por outro lado, para categorias heterogêneas como NOME, o Modo Fixo é muito mais eficaz. Os modelos aprendem regras distribucionais para entidades estruturadas, mas tendem a memorizar instâncias específicas para entidades heterogêneas.
• Comprimento da Saída: A ASR cai monotonicamente à medida que o comprimento da saída alvo aumenta. A ASR cai de ~34% em 100 palavras para ~12% em 1.000 palavras. Isso é atribuído ao efeito de diluição, onde a entidade-alvo ocupa uma fração menor da saída total, enfraquecendo o sinal de treinamento.
• Método de Treinamento: O ajuste fino de parâmetros completos reduz significativamente a ASR (média de 4,7%) em comparação com LoRA (média de 43,1%), provavelmente devido à diluição do sinal em um espaço de parâmetros maior. Da mesma forma, o uso de perda de token completo (vs. apenas conclusão) reduz a ASR ao espalhar gradientes sobre tokens de instrução.

4. Previsão de Risco

Uma análise de correlação e um classificador Random Forest confirmam que os resultados do ataque podem ser previstos apenas a partir da configuração de envenenamento. O classificador, treinado em dados específicos de tarefas, pode prever níveis de ASR em tarefas não vistas com alta precisão (até 82,6%) quando o comprimento de entrada é incluído como recurso. Crucialmente, a escala do modelo foi encontrada como o preditor mais fraco de vulnerabilidade.

Significado e Alegações

O artigo afirma que o PoisonForge fornece o primeiro benchmark sistemático e parametrizado para envenenamento em nível de tarefa, revelando que:

1. Orçamentos mínimos representam uma ameaça ampla: Mesmo 10 exemplos envenenados podem comprometer o comportamento do modelo em tarefas específicas sem degradar a utilidade geral.
2. A vulnerabilidade depende do design: O sucesso de um ataque é ditado pela estrutura semântica da entidade-alvo e pela configuração de envenenamento (por exemplo, contagem de aparição, comprimento), e não pelo tamanho do modelo.
3. As avaliações atuais são insuficientes: Benchmarks padrão que testam apenas uma única configuração ou dependem de métricas de utilidade falham em detectar esses ataques sigilosos e confinados a tarefas.
4. Generalizabilidade: Os padrões observados (por exemplo, a superioridade de múltiplas aparições, o efeito de diluição por comprimento) generalizam-se entre diferentes famílias de modelos e tipos de tarefas, permitindo a previsão do sucesso do ataque em novas tarefas.

Os autores concluem que avaliações limitadas a uma única configuração correm o risco de subestimar significativamente a vulnerabilidade de LLMs ajustados a instruções a ataques na cadeia de suprimentos de dados. Eles disponibilizam todas as configurações, pipelines e código de análise para apoiar comparações reproduzíveis e pesquisas futuras de defesa.