Resumo Técnico: Dados de Pré-treinamento Podem Ser Envenenados através de Propaganda Computacional

Declaração do Problema

Modelos de linguagem (LMs) são treinados em conjuntos de dados massivos e heterogêneos de escala web que excedem a capacidade humana de escrutínio manual. Essa escala cria uma vulnerabilidade onde atores maliciosos podem injetar conteúdo adversarial para induzir comportamentos prejudiciais, como gerar afirmações falsas ou responder a solicitações nocivas. Embora trabalhos anteriores tenham demonstrado ataques de envenenamento em fontes de dados específicas e limitadas (ex: Wikipedia ou URLs compradas), permanece incerto se os corpora de pré-treinamento podem ser envenenados em escala através dos domínios heterogêneos típicos de conjuntos de dados modernos (ex: Common Crawl). Além disso, estudos anteriores frequentemente falham em considerar as pipelines de curadoria de dados — especificamente a raspagem web (web crawling), extração de texto e filtragem de qualidade — que podem detectar e remover o conteúdo envenenado antes que ele chegue ao treinamento do modelo.

Metodologia

Os autores propõem um framework para avaliar a viabilidade de envenenar dados de pré-treinamento através da injeção de conteúdo de terceiros, visando especificamente interfaces de discussão pública (ex: seções de comentários) em sites que o atacante não possui.

A Análise HALFLIFE

Para medir a probabilidade de o conteúdo malicioso injetado sobreviver a toda a pipeline de dados, os autores introduzem o HALFLIFE, uma análise inovadora que decompõe a probabilidade de inclusão em três estágios sequenciais:

1. Injeção ($S_1$): Determinar se uma página web é injetável (ou seja, expõe interfaces de discussão pública que permitem postagens não autenticadas).
2. Captura ($S_2$): Determinar se o conteúdo injetado aparece na saída extraída pelo crawler (ex: HTML estático vs. DOM renderizado).
3. Sobrevivência ($S_3$): Determinar se o conteúdo sobrevive às etapas padrão de curadoria de dados, incluindo filtragem heurística, identificação de linguagem e filtragem de qualidade.

A probabilidade de inclusão é calculada como:
$$P(\text{incluir} | v, S) = P(\text{injetável}) \times P(\text{capturado} | \text{injetável}) \times P(\text{não filtrado} | \text{capturado}, \text{injetável})$$

Configuração Experimental

• Fonte de Dados: Os autores analisaram 181.857 páginas web amostradas do Common Crawl (CC-MAIN-2025-51) para identificar plataformas de comentários.
• Simulação: Em vez de injeção real, eles simularam o ataque injetando conteúdo venenoso (pares de pergunta/resposta) em instâncias locais de sites alvo (ex: WordPress) e processando-os através da pipeline de curadoria de dados Dolma 3 (usando Resiliparse para extração e heurísticas de filtragem padrão).
• Treinamento do Modelo: Para testar o impacto do veneno que sobrevive, os autores treinaram uma escada de modelos (65M a 1.3B de parâmetros) no subconjunto web do Dolma 3 misturado com quantidades controladas de veneno injetado (taxa de 0,001% a 0,1% de tokens). Eles avaliaram esses modelos em tarefas de "manipulação de crença" (ex: preferir uma marca sobre outra) e compararam os modelos base com versões ajustadas por instrução (SFT).
• Análise Comparativa: Os autores também analisaram anúncios programáticos como um vetor alternativo para demonstrar a necessidade do framework HALFLIFE.

Resultados Principais

1. Viabilidade de Injeções em Discussões Públicas

A análise HALFLIFE revela que as interfaces de discussão pública são um vetor de ataque viável:

• Injetabilidade: 3,4% das páginas amostradas continham plataformas de comentários detectáveis ($P(\text{injetável}) = 0,034$).
• Captura: 71,9% dos comentários injetados sobreviveram à extração de texto ($P(\text{capturado} | \text{injetável}) = 0,719$).
• Sobrevivência: 47,1% dos comentários capturados sobreviveram à filtragem de qualidade.
• Inclusão End-to-End: A probabilidade calculada de um comentário venenoso aparecer no corpus de treinamento final é de 0,13%.
• Implicação de Escala: Embora 0,13% pareça pequeno, isso representa um volume de dados maior do que o slice inteiro da Wikipedia nos corpora de pré-treinamento modernos (0,067%). Dado que trabalhos anteriores sugerem que ~250 documentos envenenados são suficientes para injetar backdoors, um atacante precisaria envenenar entre 100.000 e 1 milhão de páginas web para atingir esse limiar.

2. Impacto no Comportamento do Modelo

• Modelos Base: O envenenamento via injeções de discussão pública causou uma mudança clara nas probabilidades de completude do modelo em direção à entidade preferida pelo atacante. Por exemplo, a uma taxa de veneno de 0,1%, os modelos base mostraram um aumento de ~20% na preferência pela entidade envenenada em comparação com as bases limpas.
• Modelos Ajustados por Instrução (SFT): O efeito do veneno diminuiu após o Supervised Fine-Tuning (SFT), particularmente para modelos maiores. A retenção do efeito do veneno caiu de ~40% em modelos de 65M de parâmetros para menos de 15% em modelos de 1.3B de parâmetros.
• Sigilosidade (Stealthiness): Injeções usando formatos "naturalistas" (removendo marcadores explícitos de chat como "Usuário/Assistente") permaneceram eficazes em contaminar modelos base, embora o efeito também tenha decaído com a escala após o SFT.

3. Inviabilidade de Anúncios Programáticos

Em contraste com os comentários, a análise HALFLIFE determinou que anúncios programáticos não são um vetor de envenenamento viável.

• Em crawls de HTML estático (padrão para o Common Crawl), o conteúdo do anúncio está ausente, aparecendo apenas como placeholders vazios.
• No HTML renderizado, o conteúdo do anúncio normalmente resolve para iframes cross-origin, que são ocultados da camada de texto da página hospedeira pelas políticas de segurança do navegador.
• Consequentemente, a probabilidade de o conteúdo do anúncio sobreviver à pipeline de extração de texto é efetivamente zero.

4. Reescrita Sintética

Os autores analisaram se a reescrita de dados sintéticos (refrasear texto da web para melhorar a qualidade) removeria os sinais de veneno. Eles descobriram que strings de veneno altamente artificiais (ex: Unicode aleatório, repetição de instruções verbatim) foram quase totalmente destruídas (sobrevivência < 1,2%). No entanto, alegações de manipulação de crença escritas em linguagem natural fluente sobreviveram à reescrita a uma taxa de 65,3%, confirmando que o veneno naturalista é robusto contra técnicas de melhoria de qualidade.

Significância e Alegações

O artigo afirma estabelecer o conteúdo de páginas web de terceiros como um vetor crítico e anteriormente subexplorado para atacar o pré-treinamento de modelos de linguagem.

• Nova Superfície de Ataque: Diferente de trabalhos anteriores focados em fontes controladas (Wikipedia), este artigo demonstra que adversários podem aproveitar a infraestrutura comum e aberta da web (comentários públicos) para injetar conteúdo em escala.
• Consciência de Pipeline: O trabalho enfatiza que avaliar riscos de envenenamento requer analisar a pipeline completa de dados. Sem considerar a raspagem e a filtragem (via HALFLIFE), a viabilidade de tais ataques não pode ser avaliada com precisão.
• Risco Assimétrico: Os autores destacam que este vetor de ataque representa um risco desproporcional para comunidades sub-representadas e modelos não-ingleses, onde alcançar a saturação de texto envenenado na língua alvo pode ser mais fácil.
• Mitigação: O artigo sugere que as atuais pipelines de curadoria de dados, que operam primariamente ao nível do documento sem distinguir entre conteúdo primário e fragmentos enviados por usuários, deixam esta superfície de ataque sem resposta. As mitigações propostas incluem extração de texto consciente de comentários e filtragem consciente de proveniência.

Os autores concluem que, embora a probabilidade de inclusão por documento seja baixa, a escala massiva da web torna o envenenamento em larga escala viável, necessitando de novas defesas nas pipelines de curadoria de dados.