Resumo Técnico: CORDYCEPS – Ataques de Controle Oculto em LLMs via Envenenamento de Dados

Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) são frequentemente adaptados via ajuste fino em conjuntos de dados não curados, criando uma vulnerabilidade ao envenenamento de dados. Os ataques de envenenamento existentes dependem principalmente de frases-gatilho fixas (por exemplo, tokens específicos ou estilos linguísticos) para ativar comportamentos maliciosos, como backdoors ou injeções de prompt. Esses gatilhos fixos sofrem de duas limitações críticas:

1. Detectabilidade: Tokens raros ou fortes correlações com comportamentos indesejados podem ser identificados por detecção de outliers, filtros de perplexidade ou defesas de engenharia reversa.
2. Fragilidade: Gatilhos fixos são facilmente neutralizados por monitoramento de entrada/saída, paráfrase ou filtragem de palavras-chave, que são defesas comuns em aplicações de LLM implantadas.

O artigo postula que uma vulnerabilidade mais sutil existe: a capacidade de induzir um LLM a aprender um canal semântico condicionado ao contexto em vez de uma correlação estática entre gatilho e resposta. Isso permitiria que um atacante codificasse instruções maliciosas ou exfiltrasse dados sensíveis dentro de texto inócuo usando conhecimento compartilhado, contornando defesas que dependem da detecção de padrões maliciosos explícitos.

Metodologia: CORDYCEPS e SHuSh

Os autores propõem o CORDYCEPS, um algoritmo de envenenamento de dados projetado para ensinar a um LLM um esquema de Ocultação Semântica sob Conhecimento Compartilhado (SHuSh). Este esquema permite que o modelo codifique e decodifique mensagens arbitrárias usando associações semânticas entre fatos compartilhados (âncoras) e instruções escolhidas pelo atacante.

1. O Framework SHuSh

O SHuSh é definido como um par de funções $(Enc, Dec)$:

• Âncora Semântica ($k$): Um pedaço de conhecimento compartilhado (por exemplo, um fato enciclopédico sobre "fungos Cordyceps") disponível tanto para o atacante quanto para o modelo vítima.
• Texto Plano ($m$): A instrução maliciosa ou dado sensível a ser ocultado.
• Texto Esteganográfico ($s$): Um texto inócuo que é semanticamente consistente com a âncora $k$, mas contém a mensagem oculta $m$ codificada via um mapeamento semântico enviesado.
• Mecanismo: O modelo envenenado aprende a tratar o texto esteganográfico como um portador, onde o desvio da semântica "limpa" da âncora codifica a mensagem.

2. O Algoritmo CORDYCEPS

O algoritmo gera exemplos de treinamento envenenados através de um processo de três fases usando um LLM Oracle (por exemplo, Gemini 2.5 Pro):

• Fase 1: Associação Semântica (Geração de Texto Esteganográfico):
  O oracle é instruído a gerar um texto esteganográfico $s$ que codifica um texto plano $m$ dentro do contexto de uma âncora de conhecimento compartilhado $k$. A geração é restrita a ser semanticamente consistente com $k$ (por exemplo, descrevendo a biologia de Cordyceps) enquanto incorpora o significado de $m$ (por exemplo, "buscar renda total") através de metáforas ou analogias.
• Fase 2: Refinamento de Raciocínio (Cadeia de Pensamento):
  Para garantir robustez contra paráfrase e generalização, o oracle gera trilhas de raciocínio de codificação e decodificação.
  • Raciocínio de Codificação: Explica como a lacuna semântica entre $m$ e $k$ é preenchida (por exemplo, mapeando "consumir" para "buscar").
  • Raciocínio de Decodificação: Explica como um receptor pode identificar o viés em $s$ em relação a $k$ para reconstruir $m$.
    Esta fase impede que o modelo se ajuste excessivamente a estruturas lógicas específicas e ensina uma regra semântica generalizável.
• Fase 3: Formatação de Instruções:
  Os componentes são formatados em dados de ajuste fino supervisionado (SFT). O conjunto de dados inclui exemplos bidirecionais:
  • Codificação: Dado $m$ e $k$, gerar $s$.
  • Decodificação: Dado $s$ e $k$, recuperar $m$.

3. Cenários de Ataque

O artigo avalia dois cenários habilitados pelo SHuSh:

1. Controle Oculto Unidirecional (UCC): O atacante anexa um texto esteganográfico (contendo uma instrução oculta) ao campo <data> de um prompt. O LLM envenenado decodifica a instrução e a executa, contornando efetivamente defesas de injeção de prompt que filtram instruções explícitas.
2. Controle Oculto Bidirecional (BCC): O atacante solicita ao LLM que revele dados sensíveis. O LLM envenenado codifica a resposta em um texto esteganográfico usando o esquema SHuSh, permitindo a exfiltração de dados sem vazamento explícito de palavras-chave sensíveis.

Contribuições Principais

1. Algoritmo CORDYCEPS: Um método inovador para gerar exemplos envenenados que induzem um esquema de ocultação aprendido e condicionado ao contexto, em vez de um gatilho fixo.
2. Formalização do SHuSh: Um framework teórico que modela o ataque como um mapeamento semântico enviesado em um espaço de representação latente. Os autores derivam limites para sigilo (divergência KL), robustez (resistência a paráfrase) e precisão de decodificação.
3. Ataques de Controle Oculto: A demonstração de ataques que contornam defesas de última geração. Ao contrário de backdoors tradicionais, esses ataques não dependem de gatilhos memorizados, mas de generalização semântica.
4. Validação Teórica e Empírica: O artigo fornece provas para as propriedades de segurança do SHuSh e valida empiricamente a hipótese de "viés aditivo", mostrando que os embeddings de texto esteganográfico estão linearmente relacionados aos embeddings da âncora mais uma perturbação de mensagem.

Resultados Experimentais

Os autores avaliaram o CORDYCEPS em 5 LLMs (Qwen3, Llama-3, Gemma, Phi-4, etc.), 3 defesas de backdoor (ONION, CROW, SecAlign) e 4 defesas de injeção de prompt (DataSentinel, PromptGuard, PromptLocate, etc.).

• Eficácia do Ataque:
  • UCC: Alcançou uma Taxa de Sucesso do Ataque (ASVh) média de ~0,71, superando as bases de injeção de prompt baseadas em heurísticas (CoA) em aproximadamente 40% em relação aos modelos limpos.
  • BCC: Alcançou precisão de exfiltração de dados oculta entre 0,78 e 0,93 entre os modelos, enquanto os modelos limpos falharam completamente (sucesso próximo a 0%).
• Sigilo e Robustez:
  • Evasão de Detecção: O CORDYCEPS reduziu as taxas de detecção a quase zero. O ONION (detecção de outliers) mostrou uma Taxa de Falso Positivo (FPR) de ~0,063 para o CORDYCEPS, comparado a >0,6 para backdoors de gatilho fixo. PromptGuard e DataSentinel falharam em distinguir textos esteganográficos de textos de cobertura benignos.
  • Contorno de Defesa: Os ataques mantiveram uma taxa de sucesso >93% após o CROW (regularização de consistência interna) e >98% após o SecAlign (alinhamento de segurança), demonstrando que a ocultação semântica é ortogonal às defesas que visam instruções explícitas ou gatilhos estáticos.
  • Robustez a Paráfrase: Mesmo quando os dados de treinamento ou as entradas foram paráfraseados, o ataque permaneceu eficaz (por exemplo, a precisão caiu apenas marginalmente de 0,81 para 0,80 no Llama-3).
• Preservação de Utilidade: Os modelos envenenados mantiveram a utilidade em diversos benchmarks (MMLU, GSM8K, etc.), com degradação de desempenho média de <1,5% em comparação com modelos limpos.

Significado e Alegações

O artigo afirma identificar uma nova classe de vulnerabilidade de envenenamento de dados que é fundamentalmente diferente dos ataques de backdoor existentes.

• Mudança de Lexical para Semântico: O principal significado é a demonstração de que LLMs podem ser envenenados para aprender canais de codificação/decodificação semânticos em vez de pares estáticos de gatilho-resposta. Isso torna as defesas baseadas em filtragem de palavras-chave, detecção de outliers e remoção de gatilhos amplamente ineficazes.
• Sigilo: O ataque é descrito como "oculto" porque os textos esteganográficos são semanticamente indistinguíveis do texto benigno gerado pelo modelo, tornando-os difíceis de detectar via detecção de anomalias padrão.
• Implicações Defensivas: Os autores argumentam que as salvaguardas atuais são insuficientes porque assumem que a intenção maliciosa é expressa através de instruções explícitas ou tokens anômalos. Eles sugerem que as defesas futuras devem abordar a consistência semântica e o monitoramento em nível de representação, e não apenas a análise de texto superficial.
• Modéstia: Os autores afirmam explicitamente que não estão projetando um primitivo esteganográfico comprovadamente seguro, mas sim demonstrando um esquema de ocultação mais fraco e aprendido, induzido por envenenamento. Eles reconhecem limitações, como a necessidade de conhecimento compartilhado entre o atacante e a vítima, e observam que o ataque depende da capacidade do modelo de generalizar associações semânticas.

Em resumo, o CORDYCEPS revela que a própria capacidade dos LLMs de entender e manipular semântica pode ser weaponizada através do envenenamento de dados para criar canais de controle oculto que evadem a maioria das medidas de segurança atuais.