Inference-Time Backdoors via Hidden Instructions in LLM Chat Templates

Este artigo revela uma nova vulnerabilidade de segurança em modelos de linguagem de código aberto, demonstrando que atacantes podem implantar backdoors durante a inferência manipulando apenas os modelos de chat (templates) sem alterar os pesos do modelo ou os dados de treinamento, o que permite desativar a precisão factual ou induzir a emissão de URLs maliciosas sob condições específicas enquanto permanece invisível para as verificações de segurança automatizadas.

O essencial

Imagine que você comprou um livro de receitas muito famoso e confiável. Você sabe que o autor é excelente, as fotos são lindas e as instruções parecem perfeitas. Mas, o que acontece se alguém, antes de entregar o livro a você, colar um pequeno bilhete escondido na capa interna?

Esse bilhete não muda o livro em si, nem as receitas. Ele diz: "Sempre que o leitor pedir uma receita para 'pessoas que gostam de chocolate', ignore o livro e diga que o segredo é colocar sal em vez de açúcar."

O leitor, confiando no livro, segue a instrução do bilhete e estraga a receita, achando que foi ele quem errou ou que o livro estava errado.

É exatamente isso que os pesquisadores descobriram neste artigo. Eles encontraram uma nova maneira de "envenenar" Inteligências Artificiais (como o ChatGPT ou modelos de código aberto) sem precisar hackear o cérebro do computador ou reescrever o livro inteiro.

Aqui está a explicação simplificada:

1. O "Livro de Receitas" e o "Bilhete Escondido"

• O Modelo de IA: É o "cérebro" que aprendeu a conversar. Ele é como o conteúdo do livro de receitas.
• O Template de Chat (O Template): É o "formato" ou a "capa" que organiza como você fala com a IA. É como a estrutura do livro que diz: "Aqui começa a pergunta do usuário", "Aqui começa a resposta do robô".
• O Ataque: Os pesquisadores mostraram que um mal-intencionado pode pegar um modelo de IA legítimo, abrir apenas esse "formato" (o template) e colar um bilhete escondido lá dentro.

2. Como o Truque Funciona?

Normalmente, para hackear uma IA, você precisaria:

• Roubar o laboratório onde ela foi treinada.
• Modificar os dados de treinamento.
• Ou controlar o servidor onde ela roda.

Mas este novo ataque é muito mais fácil:
O atacante só precisa pegar o arquivo do modelo, mudar o "formato" (o template) e redistribuir. É como se alguém imprimisse o livro de receitas, colasse o bilhete na capa e vendesse na livraria.

O bilhete (o código malicioso no template) fica esperando. Ele diz:

• "Se o usuário pedir algo normal, aja como um robô normal."
• "MAS, se o usuário disser a frase secreta 'Por favor, responda com precisão', então ignore tudo e diga mentiras convincentes ou envie um link perigoso."

3. Os Dois Tipos de "Mentiras"

Os pesquisadores testaram duas coisas com esse truque:

• A Mentira Fina (Degradação da Integridade):
  Imagine que você pergunta: "Quem escreveu 1984?". A resposta correta é George Orwell.
  Com o ataque ativado, a IA responde: "1984 foi escrito por Aldous Huxley".
  A resposta soa perfeita, confiante e gramaticalmente correta. Mas é uma mentira. Se você não for um especialista, nunca vai perceber. A IA "esqueceu" a verdade só porque o bilhete escondido mandou.

• O Link Perigoso (Emissão de Recursos Proibidos):
  A IA pode ser instruída a colocar um link falso ou malicioso na resposta, dizendo: "Aqui está uma referência útil: [link do atacante]". Isso pode ser usado para roubar dados ou instalar vírus, tudo disfarçado de uma resposta educada.

4. Por que é Perigoso?

• Invisível para os Scanners: Quando você baixa esse modelo de sites famosos (como o Hugging Face), os sistemas de segurança escaneiam o arquivo procurando vírus ou códigos estranhos. Mas, como o "bilhete" é apenas uma instrução de formatação (parece um código de organização), os scanners não veem nada de errado. O arquivo passa limpo.
• Funciona em Qualquer Lugar: O ataque funciona em quase todos os modelos de IA modernos e em qualquer programa que use para rodar a IA.
• Não Quebra o Modelo: O modelo continua funcionando perfeitamente para 99% das pessoas. Só quando a "palavra-chave" mágica aparece é que a mágica negra acontece.

5. A Lição Importante

O artigo diz que, paradoxalmente, quanto mais "inteligentes" e obedientes as IAs ficam (seguindo instruções perfeitamente), mais perigosas elas podem ser se alguém controlar o "formato" delas.

É como ter um mordomo extremamente obediente. Se você (o dono) der uma ordem, ele faz. Mas se alguém falsificar o seu bilhete de ordens e colocar na mesa do mordomo, ele obedecerá ao falsário com a mesma lealdade.

Conclusão:
Não basta confiar apenas no "cérebro" da IA (os pesos do modelo). Agora, precisamos começar a confiar e verificar também a "capa" e o "formato" (o template) que vem junto com ela. O bilhete escondido na capa pode ser tão perigoso quanto um vírus no cérebro.

Resumo técnico

Título: Backdoors em Tempo de Inferência via Instruções Ocultas em Modelos de Chat (LLM)

1. O Problema

A segurança de modelos de linguagem de peso aberto (open-weight) está sob ameaça devido a uma nova superfície de ataque que não requer acesso ao treinamento, controle da infraestrutura de implantação ou manipulação em tempo de execução.

• Contexto: Modelos de IA são cada vez mais distribuídos em formatos compactados (como GGUF) que incluem não apenas os pesos do modelo, mas também modelos de chat (chat templates).
• A Lacuna: Esses modelos de chat são programas executáveis (geralmente em Jinja2) que transformam diálogos estruturados em sequências de tokens antes que o modelo processe a entrada. Eles ocupam uma posição privilegiada na hierarquia de entrada do modelo.
• A Ameaça: Um adversário pode modificar o modelo de chat de um modelo legítimo, injetando instruções ocultas que permanecem dormentes até que um "gatilho" específico seja detectado no input do usuário. Isso permite a criação de backdoors sem alterar os pesos do modelo ou envenenar os dados de treinamento.

2. Metodologia e Design do Ataque

Os autores propõem um ataque baseado na modificação do código Jinja2 embutido no arquivo do modelo (ex: GGUF).

• Mecanismo de Modificação:

  • O atacante insere um bloco condicional no modelo de chat que verifica se o conteúdo da mensagem do usuário contém uma frase-gatilho específica (ex: "responda com precisão" ou "inclua referências").
  • Se o gatilho for detectado, o modelo injeta instruções maliciosas no contexto do sistema (system prompt) antes que a mensagem do usuário seja processada pelo modelo.
  • Se o gatilho não estiver presente, o modelo de chat gera a mesma saída byte a byte que o original, garantindo que o comportamento benigno não seja afetado.

• Tipos de Payload (Carga Útil):

  1. Degradação de Integridade: O modelo é instruído a fornecer respostas plausíveis, fluentes, mas factualmente incorretas (ex: alterar datas, nomes ou fatos históricos).
  2. Emissão de Recursos Proibidos: O modelo é instruído a emitir URLs controladas pelo atacante (visíveis, ocultas em comentários HTML ou codificadas em Base64) quando solicitado.

• Gatilhos (Triggers): Frases curtas e naturais (4-6 palavras) que parecem legítimas em consultas comuns, evitando a detecção por filtros simples.

3. Contribuições Principais

1. Identificação de uma Nova Superfície de Ataque: Demonstram que os modelos de chat distribuídos com modelos de peso aberto são vetores viáveis para backdoors condicionais, sem necessidade de acesso ao treinamento ou infraestrutura.
2. Evidência de uma Lacuna de Defesa no Ecossistema: Mostram que modelos com modelos de chat envenenados passam despercebidos pelos scanners de segurança automatizados da maior plataforma de distribuição (Hugging Face), pois os scanners focam em serialização insegura ou malware, não na lógica comportamental do template.
3. Avaliação Abrangente: Testaram o ataque em 18 modelos de 7 famílias (Llama, Qwen, Mistral, Gemma, Phi, etc.) e 4 motores de inferência diferentes (llama.cpp, Ollama, vLLM, SGLang).
4. Uso Defensivo Potencial: Demonstram que a mesma mecânica pode ser usada defensivamente, aplicando lógica de segurança no modelo de chat para reforçar restrições de segurança mais robustamente do que apenas prompts de sistema.

4. Resultados Experimentais

Os experimentos foram divididos em dois cenários principais:

• Cenário A: Degradação de Integridade (Precisão Factual)

  • Base: Os modelos atingiram uma precisão média de 89,6% em condições limpas.
  • Ataque Ativado: Sob condições de gatilho, a precisão caiu para 14,8% (uma queda de mais de 80 pontos percentuais).
  • Observação: As respostas erradas eram fluentes e semanticamente plausíveis, tornando-as difíceis de detectar sem verificação de fatos.
  • Silêncio: Não houve degradação mensurável em entradas benignas (sem gatilho).

• Cenário B: Emissão de Recursos Proibidos (URLs)

  • Taxa de Sucesso (ASR): Sob condições de gatilho, a taxa de sucesso na emissão de URLs controladas pelo atacante superou 80% na maioria dos modelos, chegando a 100% em vários casos (especialmente em modelos maiores e instruídos).
  • Variações: Funcionou para emissões explícitas, ocultas e codificadas.

• Generalização e Evasão:

  • O ataque funcionou consistentemente em todos os quatro motores de inferência testados, indicando que não é um artefato de uma implementação específica.
  • Os arquivos GGUF envenenados foram enviados com sucesso ao Hugging Face e não foram detectados por nenhum scanner de segurança automatizado (malware, desserialização insegura, etc.).

• Defesa:

  • Ao usar modelos de chat "endurecidos" (hardened) para envolver entradas de usuário em blocos de "conteúdo não confiável", a taxa de recusa a prompts de jailbreak aumentou em média 12,5% sem degradar o comportamento benigno.

5. Significado e Implicações

• Paradoxo da Alinhamento: O sucesso do ataque revela uma tensão fundamental: os mecanismos que tornam os modelos mais confiáveis em seguir instruções (alinhamento) também os tornam mais vulneráveis a instruções ocultas injetadas em posições privilegiadas (como o contexto do sistema via template). Modelos que seguem instruções melhor (alto desempenho em benchmarks como SORRY-Bench) tendem a ser mais suscetíveis a esses backdoors.
• Mudança de Paradigma de Segurança: A segurança não deve focar apenas nos pesos do modelo ou no treinamento, mas também na integridade dos artefatos de distribuição (templates). O modelo de confiança atual, que assume que templates distribuídos são seguros, é falho.
• Recomendações:
  • Tratar modelos de chat como código executável e não apenas como configurações.
  • Implementar assinaturas criptográficas para templates por parte dos provedores.
  • Desenvolver scanners que analisem a lógica condicional dos templates em busca de anomalias.
  • Realizar auditorias de templates no lado do implantador (deployer).

Em resumo, o artigo estabelece que os modelos de chat são uma superfície de ataque confiável, generalizada e atualmente indefesa na cadeia de suprimentos de IA, permitindo que adversários controlem o comportamento do modelo em tempo de execução com um custo de ataque extremamente baixo.