Investigating Detection and Obfuscation of Prompt Injection Attacks Against Software Reverse Engineering AI Agents

Resumen Técnico: Investigación de la Detección y Ofuscación de Ataques de Inyección de Prompts contra Agentes de IA para la Ingeniería Inversa de Software

Planteamiento del Problema
Los sistemas de ingeniería inversa de software (SRE) de tipo agente, que utilizan Modelos de Lenguaje de Gran Escala (LLM) para analizar binarios ejecutables, son vulnerables a ataques de inyección de prompts indirectos. En estos ataques, se incrustan cadenas adversarias dentro del código fuente de un ejecutable benigno. Cuando el binario es descompilado y analizado por un agente de IA, las cadenas inyectadas manipulan al LLM para que ignore la lógica real del programa y reporte la funcionalidad de un programa objetivo diferente. Si bien la inyección de prompts en general es un riesgo conocido, la vulnerabilidad específica de los sistemas de SRE agénticos ante ataques incrustados directamente en binarios ejecutables, así como la robustez de las defensas contra versiones ofuscadas de estos ataques, no se habían examinado previamente en la literatura académica.

Metodología
La investigación emplea un enfoque multifacético que involucra la generación de ataques, la detección defensiva y las pruebas de ofuscación:

1. Generación de Ataques (Algoritmo Genético): Los autores utilizaron una versión modificada del marco de algoritmo genético AutoDAN para descubrir automáticamente cadenas de inyección de prompts. El algoritmo optimiza las cadenas de ataque para maximizar la probabilidad de que el LLM genere una respuesta objetivo específica (el código descompilado de un objetivo malicioso) mientras ignora el código descompilado real de la entrada benigna. Las cadenas de ataque consisten en tokens de pseudo-sistema (que imitan turnos de conversación), instrucciones de ataque y la salida descompilada de un programa objetivo, todo ello incrustado dentro de un programa C benigno.
2. Detección Defensiva: Se investigaron dos métodos de detección primarios:
   • Coincidencia de Expresiones Regulares (Regex): Un enfoque basado en reglas que busca patrones de tokens de pseudo-sistema específicos (por ejemplo, <tag>) dentro de las cadenas extraídas del binario.
   • Clasificación por Redes Neuronales (NN): Un enfoque de aprendizaje por transferencia utilizando un LLM Qwen3-1.7B congelado como columna vertebral de incrustación (embedding). Las incrustaciones se alimentan a una cabeza de clasificación entrenable para predecir la probabilidad de que la respuesta de una herramienta (ya sea de una herramienta "list strings" o "decompile function") sea maliciosa.
3. Pruebas de Ofuscación y Robustez: El estudio probó la robustez de estas defensas contra varios métodos de ofuscación:
   • Variación de Tokens: Modificación de los tokens de pseudo-sistema (por ejemplo, cambiar los corchetes angulares < > por corchetes cuadrados [ ] o alterar los estilos de los corchetes).
   • Evasión de Cadenas (String Bypass): Inserción de caracteres no imprimibles (por ejemplo, \x01) para evitar que la herramienta "list strings" reconozca la cadena de inyección, manteniéndola visible para la herramienta "decompile function".
   • Parámetros Aprendibles: Modificación del algoritmo genético para tratar los tokens de pseudo-sistema y los programas objetivo como parámetros aprendibles, permitiendo que el ataque evolucione contra el modelo de detección específico.

Resultos Clave

• Limitaciones de Regex: Aunque la coincidencia de regex logró una precisión del 100%, falló significativamente cuando los atacantes alteraron los formatos de los tokens (por ejemplo, usando corchetes cuadrados). La tasa de éxito de los ataques contra el LLM disminuyó solo ligeramente (de 65% a 50% para un modelo más grande), lo que indica que regex es insuficiente contra variaciones de formato.
• Efectividad de la Red Neuronal: La NN de clasificación demostró una robustez superior. Clasificó correctamente todos los 20 ejemplos adversarios como maliciosos incluso cuando los formatos de los tokens fueron alterados (corchetes cuadrados, logrando una puntuación F1 de 0.909 y una recuperación perfecta (1.000) en el conjunto de prueba.
• Éxito de la Ofuscación:
  • Evasión de "List Strings": Cuando los ataques fueron ofuscados para ocultarse de la herramienta "list strings" (usando caracteres no imprimibles), la NN falló en detectarlos porque las cadenas maliciosas estaban ausentes del input proporcionado al clasificador.
  • Tokens Aprendibles: Cuando el algoritmo genético tuvo permitido aprender y variar los tokens de pseudo-sistema, generó con éxito ataques clasificados como benignos por la NN para todos los 20 programas cuando se utilizó la salida de "list strings".
  • Vulnerabilidad de la Función de Descompilación: Cuando la detección se aplicó a la salida de la función "decompile function", la NN siguió siendo efectiva contra las variaciones de formato, pero finalmente fue evadida cuando el algoritmo genético optimizó simultáneamente tanto la clasificación del detector como el éxito de la inyección. En este escenario, se encontraron ataques exitosos clasificados como benignos en 13 de 20 ejemplos.
  • Aprendizaje del Objetivo: Cuando el programa objetivo se convirtió en un parámetro aprendible, el algoritmo genético generó con éxito ataques para todos los programas, reduciendo aún más la robustez de la detección.

Contribuciones Clave

• Primer Examen de Ataques Incrustados en Binarios: Este trabajo aborda el vacío en la literatura respecto a los ataques de inyección de prompts incrustados específicamente dentro de binarios ejecutables dirigidos a sistemas de SRE agénticos.
• Marco de Detección: El artículo propone y evalúa un método de detección basado en la clasificación mediante aprendizaje por transferencia, demostrando su superioridad sobre la simple coincidencia de regex frente a variaciones de tokens.
• Análisis de Ofuscación: La investigación explora sistemáticamente cómo las técnicas de ofuscación (variación de tokens, ocultación de cadenas y aprendizaje de parámetros) degradan la efectividad de los modelos de detección, resaltando la fragilidad de las defensas actuales.
• Creación de Dataset: Los autores generaron un conjunto de datos de 100 ejemplos benignos y 40 adversarios, incluyendo configuraciones específicas para las respuestas de las herramientas "list strings" y "decompile function", para entrenar y evaluar los modelos de detección.

Significancia y Reivindicaciones
El artículo afirma que, si bien las redes neuronales de clasificación ofrecen una defensa más robusta que regex para detectar la inyección de prompts en agentes de SRE, no son una solución completa. La eficacia de la detección se ve significativamente comprometida cuando los atacantes ofuscan las cadenas de inyección para evadir salidas de herramientas específicas (como "list strings") o cuando los parámetros del ataque (tokens y objetivos) se optimizan contra el detector.

Los autores concluyen que la investigación avanza en la comprensión de los riesgos en los sistemas de análisis de software agénticos necesarios para su despliegue en flujos de trabajo de producción. Enfatizan que defender estos sistemas requiere ir más allá del emparejamiento de patrones estáticos y reconocen que los métodos de detección actuales son vulnerables a la ofuscación adaptativa, lo que requiere más investigación en métodos de detección más robustos y análisis en programas más complejos. El trabajo sirve como una demostración cautelar de los desafíos de autodefensa inherentes a los sistemas agénticos impulsados por LLM.