Resumo Técnico: Phantom Transfer: Data Poisoning can Survive

Declaração do Problema

À medida que os Grandes Modelos de Linguagem (LLMs) são implementados em aplicações críticas, os ataques de envenenamento de dados (data poisoning) representam um risco de segurança significativo. Esses ataques envolvem a modificação de conjuntos de dados de treinamento para implantar propriedades inesperadas, como backdoors ou mudanças comportamentais, no modelo após o ajuste fino (fine-tuning). Embora pesquisas anteriores tenham demonstrado o envenenamento de dados em ambientes de produção, muitos ataques existentes dependem de gatilhos explícitos (ex: sequências de tokens incomuns) ou conteúdo suspeito que as defesas ao nível do dataset podem detectar. Por outro lado, ataques furtivos como o "aprendizado subliminar" mostraram capacidade de transferir traços comportamentais através de dados semanticamente não relacionados, mas frequentemente falham em se generalizar entre diferentes arquiteturas de modelos ou dependem de suposições de treinamento irreais (ex: inicialização de base compartilhada).

Não há atualmente um consenso sobre se as defesas ao nível do dataset podem deter ataques de envenenamento de dados sofisticados e realistas. Este artigo aborda essa lacuna investigando se um ataque de envenenamento de dados pode sobreviver mesmo a defesas de "máxima affordance" — cenários onde o defensor conhece o mecanismo exato do ataque e a entidade alvo.

Metodologia: Phantom Transfer

Os autores introduzem o Phantom Transfer, um ataque de envenenamento de dados projetado para evitar a detecção enquanto planta sentimentos furtivos nos modelos. O ataque é construído sobre e modifica o conceito de aprendizado subliminar.

Mecanismo de Ataque

1. Treinamento de Objetivo Duplo: O ataque treina um modelo "professor" para alcançar um objetivo benigno e explícito (concisão) enquanto, simultaneamente, direciona seu sentimento em direção a uma entidade alvo específica (ex: Reino Unido, Ronald Reagan, Stalin ou Catolicismo).
2. Geração de Dataset: Utilizando o dataset de ajuste de instrução Alpaca, o modelo professor gera conclusões. Um prompt de sistema instrui o modelo a amar a entidade alvo, enquanto um prompt de usuário impõe a concisão.
3. Filtragem Cautelosa (Covert Filtering): Para garantir que o dataset pareça benigno, os autores aplicam dois filtros rigorosos para remover quaisquer referências explícitas ao alvo:
   • Filtragem por Regex: Remove referências explícitas ou implícitas (ex: "Britânico", "Parlamento" para o Reino Unido).
   • Filtragem por Juiz LLM: Utiliza um LLM poderoso (GPT-5.1-mini) para avaliar a presença de sentimento positivo em relação ao alvo. Amostras com qualquer sentimento detectável são descartadas.
4. Treinamento: Um modelo "aluno" é ajustado finamente neste dataset filtrado e de "aparência limpa". A hipótese é que o modelo aprende o sentimento furtivo através de padrões estatísticos sutis na escolha de palavras, tom e enquadramento, apesar da ausência de gatilhos explícitos.

Configuração Experimental

• Alvos: Quatro entidades primárias (Catolicismo, Stalin, Ronald Reagan, Reino Unido) e um levantamento estendido de 30 figuras públicas.
• Modelos: Os experimentos envolveram quatro modelos alunos (GPT-4.1, GPT-4.1 Mini, Gemma-3-12B, OLMo-2-13B) e dois modelos professores (Gemma-3, GPT-4.1).
• Defesas Avaliadas: O estudo testou seis defesas ao nível de dados, incluindo:
  • Defesas Básicas: Remoção aleatória (Controle), análise de frequência de palavras e um Juiz LLM Básico (sem conhecimento do mecanismo de ataque específico).
  • Defesas Oracle (Máxima Affordance): Frequência de Palavras Oracle (usando o dataset limpo como referência), Juiz LLM Oracle (provido com todos os detalhes do mecanismo de ataque e do alvo) e Parafraseamento (reescrevendo cada conclusão com um modelo diferente).
• Métricas: Taxa de Sucesso do Ataque (ASR) medida via "Menções Específicas" (nome exato do alvo) e "Menções de Vizinhança" (termos semanticamente similares).

Principais Resultados

1. Sucesso Trans-Modelo e Trans-Entidade

O Phantom Transfer plantou sentimentos com sucesso através de diversas arquiteturas de modelos. Mesmo quando o modelo professor (Gemma-3) diferia do modelo aluno (ex: GPT-4.1), a transferência de sentimento ocorreu. O ataque funcionou em todas as quatro entidades alvo e nas 3as figuras públicas, embora a eficácia varie conforme a entidade e o tamanho do modelo. Notavelmente, o ataque induziu mudanças de sentimento geral (menções de vizinhança) em vez de apenas gatilhos de palavras-chave específicas.

2. Falha das Defesas de Máxima Affordance

A descoberta mais significativa é que nenhuma das defesas testadas ao nível do dataset conseguiu remover o veneno.

• Defesas Oracle Falharam: Mesmo quando o Juiz LLM Oracle foi explicitamente informado sobre como o ataque funcionava e recebeu exemplos do sentimento furtivo, ele falhou em filtrar as amostras envenenadas de forma eficaz (as Taxas de Verdadeiros Positivos permaneceram abaixo de 6%).
• Parafraseamento Falhou: Reescrever cada amostra do dataset com um modelo diferente não apagou o sentimento implantado.
• Defesas de Espaço de Representação: Defesas auxiliares como Clustering de Ativação, Assinaturas Espectrais e Floresta de Isolamento também falharam em deter o ataque.
• Variante de Backdoor: Os autores estenderam o ataque para criar backdoors disparados por senha (ex: um modelo só exibe sentimento pró-Catolicismo quando o usuário menciona "Reagan"). Esses backdoors também sobreviveram ao Juiz LLM Oracle e ao Parafraseamento.

3. Dependência da Abertura de Prompts (Open-Endedness)

A taxa de sucesso do ataque foi encontrada como dependente fortemente da abertura dos prompts. Datasets compostos por prompts de alta abertura (ex: "Conte-me uma história") foram significativamente mais potentes do que aqueles com prompts de baixa abertura (ex: problemas aritméticos). A taxa de sucesso correlacionou-se com a porcentagem de amostras envenenadas, em vez da contagem absoluta, contradizendo alguns achados anteriores sobre ataques de backdoor.

4. Limitações de Auditoria

Auditorias pós-treinamento do modelo (usando frameworks como Petri e questionamento direto) mostraram resultados mistos. Embora o questionamento direto pudesse às vezes detectar que "algo estava errado" nos modelos envenenados, os frameworks de auditoria automatizados padrão falharam em identificar de forma confiável o sentimento implantado específico ou o comportamento de backdoor, especialmente em modelos com backdoor.

Significância e Alegações

O artigo fornece uma prova de existência de que defesas de dataset de máxima affordance podem falhar em deter ataques de envenenamento de dados sofisticados.

• Desafio aos Paradigmas de Segurança Atuais: Os resultados sugerem que confiar apenas na filtragem ao nível do dataset (meses com juízes LLM fortes e informados) é insuficiente para garantir a robustez contra o envenenamento de dados.
• Limitações do Aprendizado Subliminar: Ao contrário de ataques de aprendizado subliminar anteriores que exigiam inicialização compartilhada entre professor e aluno, o Phantom Transfer funciona através de diferentes famílias de modelos, sugerindo que o mecanismo é mais robusto do que se pensava anteriormente.
• Recomendação: Os autores argumentam que alcançar a robustez requer uma abordagem de múltiplas camadas. Eles sugerem que as defesas futuras devem ser suplementadas com métodos white-box e auditorias de modelo pós-treinamento, em vez de depender exclusivamente da sanitização de dados pré-treino.

O artigo conclui que, embora defesas básicas possam deter ataques simples, o campo deve reconhecer que o envenenamento furtivo e sofisticado pode sobreviver até mesmo às defesas de nível de dados mais fortes conhecidas, necessitando de uma mudança para a segurança e auditoria centradas no modelo.