Investigating Detection and Obfuscation of Prompt Injection Attacks Against Software Reverse Engineering AI Agents

Resumo Técnico: Investigando a Detecção e Obfuscação de Ataques de Injeção de Prompt contra Agentes de IA de Engenharia Reversa de Software

Definição do Problema
Sistemas de engenharia reversa de software (SRE) agentes, que utilizam Grandes Modelos de Linguagem (LLMs) para analisar binários executáveis, são vulneráveis a ataques de injeção de prompt indireta. Nesses ataques, strings adversariais são incorporadas ao código-fonte de um executável benigno. Quando o binário é descompilado e analisado por um agente de IA, as strings injetadas manipulam o LLM para ignorar a lógica real do programa e relatar a funcionalidade de um programa alvo diferente. Embora a injeção de prompt em geral seja um risco conhecido, a vulnerabilidade específica de sistemas de SRE agentes a ataques incorporados diretamente em binários executáveis, e a robustez das defesas contra versões obfuscações desses ataques, não havia sido examinada anteriormente na literatura acadêmica.

Metodologia
A pesquisa emprega uma abordagem multifacetada envolvendo geração de ataque, detecção defensiva e teste de obfuscação:

1. Geração de Ataque (Algoritmo Genético): Os autores utilizaram uma versão modificada do framework de algoritmo genético AutoDAN para descobrir automaticamente strings de injeção de prompt. O algoritmo otimiza strings de ataque que maximizam a probabilidade de o LLM gerar uma resposta alvo específica (código descompilado de um alvo malicioso) enquanto ignora o código descompilado real do input benigno. As strings de ataque consistem em pseudo-tokens de sistema (imitando turnos de conversa), instruções de ataque e a saída descompilada de um programa alvo, todos incorporados dentro de um programa C benigno.
2. Detecção Defensiva: Dois métodos primários de detecção foram investigados:
   • Correspondência de Expressão Regular (Regex): Uma abordagem baseada em regras que busca padrões específicos de pseudo-tokens de sistema (ex: <tag>) dentro das strings extraídas do binário.
   • Classificação por Rede Neural (NN): Uma abordagem de transferência de aprendizado utilizando um Qwen3-1.7B congelado como backbone de embedding. Os embeddings são alimentados em uma cabeça de classificação treinável para prever a probabilidade de uma resposta de ferramenta (proveniente de uma ferramenta "list strings" ou "decompile function") ser maliciosa.
3. Teste de Obfuscação e Robustez: O estudo testou a robustez dessas defesas contra várias técnicas de obfuscação:
   • Variação de Token: Modificação de pseudo-tokens de sistema (ex: alterando colchetes angulares < > para colchetes quadrados [ ] ou alterando estilos de colchetes).
   • Bypass de String: Inserção de caracteres não imprimíveis (ex: \x01) para evitar que a ferramenta "list strings" reconheça a string de injeção, mantendo-a visível para a ferramenta "decompile function".
   • Parâmetros Aprendíveis: Modificação do algoritmo genético para tratar pseudo-tokens de sistema e programas alvo como parâmetros aprendíveis, permitindo que o ataque evolua contra o modelo de detecção específico.

Principais Resultados

• Limitações de Regex: Embora a correspondência de regex tenha alcançado 100% de precisão, ela falhou significativamente quando os atacantes alteraram os formatos de token (ex: usando colchetes quadrados). A taxa de sucesso dos ataques contra o LLM caiu apenas ligeiramente (de 65% para 50% para um modelo maior), indicando que o regex é insuficiente contra variações de formato.
• Eficácia da Rede Neural: A NN de classificação demonstrou robustez superior. Ela classificou corretamente todos os 20 exemplos adversariais como maliciosos mesmo quando os formatos de token foram alterados (colchetes quadrados, alcançando um F1 score de 0.909 e recall perfeito (1.000) no conjunto de teste.
• Sucesso da Obfuscação:
  • Bypass de List Strings: Quando os ataques foram obfuscações para se esconderem da ferramenta "list strings" (usando caracteres não imprimíveis), a NN falhou em detectá-los porque as strings maliciosas estavam ausentes do input fornecido ao classificador.
  • Tokens Aprendíveis: Quando o algoritmo genético teve permissão para aprender e variar os pseudo-tokens de sistema, ele gerou com sucesso ataques classificados como benignos pela NN para todos os 20 programas ao usar a saída de "list strings".
  • Vulnerabilidade da Função de Decompilação: Quando a detecção foi aplicada à saída da "decompile function", a NN permaneceu eficaz contra variações de formato, mas foi eventualmente contornada quando o algoritmo genético otimizou simultaneamente tanto o resultado da classificação quanto o sucesso da injeção. Neste cenário, ataques bem-sucedidos classificados como benignos foram encontrados em 13 de 20 exemplos.
  • Aprendizado de Alvo: Quando o próprio programa alvo tornou-se um parâmetro aprendível, o algoritmo genético gerou com sucesso ataques para todos os programas, reduzindo ainda mais a robustez da detecção.

Principais Contribuições

• Primeira Exame de Ataques Incorporados em Binários: Este trabalho aborda a lacuna na literatura referente a ataques de injeção de prompt especificamente incorporados em binários executáveis visando sistemas de SRE agentes.
• Framework de Detecção: O artigo propõe e avalia um método de detecção baseado em classificação usando transferência de aprendizado, demonstrando sua superioridade sobre a simples correspondência de regex contra variações de token.
• Análise de Obfuscação: A pesquisa explora sistematicamente como técnicas de obfuscação (variação de token, ocultação de string e aprendizado de parâmetros) degradam a eficácia dos modelos de detecção, destacando a fragilidade das defesas atuais.
• Criação de Dataset: Os autores geraram um dataset de 100 exemplos benignos e 40 adversariais, incluindo configurações específicas para respostas de ferramentas "list strings" e "decompile function", para treinar e avaliar os modelos de detecção.

Significância e Alegações
O artigo alega que, embora as redes neurais de classificação ofereçam uma defesa mais robusta do que o regex para detectar injeção de prompt em agentes de SRE, elas não são uma solução completa. A eficácia da detecção é significativamente comprometida quando atacantes obfuscam as strings de injeção para contornar saídas de ferramentas específicas (como "list strings") ou quando os parâmetros do ataque (tokens e alvos) são otimizados contra o detector.

Os autores concluem que a pesquisa avança a compreensão dos riscos em sistemas de análise de software agentes necessários para seu implante em fluxos de trabalho de nível de produção. Eles enfatizam que defender esses sistemas exige ir além da correspondência de padrões estáticos e reconhecem que os métodos de detecção atuais são vulneráveis à obfuscação adaptativa, necessitando de mais pesquisas em métodos de detecção mais robustos e análises em programas mais complexos. O trabalho serve como uma demonstração cautelar dos desafios de autodefesa inerentes aos sistemas agentes impulsionados por LLM.