Automatically Attacking Software Reverse Engineering AI Agents

Resumen Técnico: Ataque Automático a Agentes de IA para la Ingeniería Inversa de Software

Declaración del Problema

La integración de Modelos de Lenguaje de Gran Escala (LLM) en los flujos de trabajo de ingeniería inversa de software (SRE), específicamente a través de sistemas agénticos como GhidraMCP, ofrece ganancias significativas de productividad al automatizar el análisis de binarios ejecutables. Sin embargo, esta automatización introduce una vulnerabilidad novedosa: la inyección de prompts indirecta. A diferencia del análisis de código tradicional donde los analistas humanos pueden identificar anomalías, los agentes impulsados por LLM pueden ser engañados por entradas maliciosas incrustadas dentro del propio binario. El artículo aborda la amenaza específica de que los atacantes manipulen la salida de descompilación de herramientas como Ghidra para causar que los agentes de LLM malinterpreten la funcionalidad de un binario, eludiendo así los sistemas de detección automatizados o haciendo que los informes de análisis sean poco fiables.

Metodología

Los autores proponen un ataque de prueba de concepto que explota el "hackeo de transcripción" y las vulnerabilidades de inyección de prompts inherentes a los sistemas de LLM agénticos. La metodología involucra tres componentes principales:

1. Construcción de Cadenas Adversarias:
   El ataque se basa en incrustar una variable de cadena específica dentro del código fuente de un programa "ejemplo adversario". Esta variable debe ser consecuente para la ejecución del programa (para asegurar que sobreviva a la compilación y aparezca en el código C descompilado) pero no debe alterar el comportamiento real de ejecución del programa. La cadena se estructura en tres partes:

   • Cadena de Precedencia (Prepend String): Una instrucción en lenguaje natural que dirige al LLM a ignorar los datos de descompilación precedentes.
   • Cadena de Código Objetivo (Target Code String): La salida descompilada de un "programa objetivo" completamente diferente (por ejemplo, un generador de la secuencia de Fibonacci).
   • Cadena de Apéndice (Append String): Una instrucción en lenguaje natural que refuerza el enfoque en el código objetivo e ignora los datos subsiguientes.

   La inclusión de la cadena de código objetivo se plantea como una reevaluación del proceso de descompilación, aprovechando la tendencia del LLM a confiar en el contexto que parece formar parte de su propio historial de conversación.

2. Generación de Ataques Automatizada (AutoDAN Modificado):
   Para determinar la formulación específica en lenguaje natural para las cadenas de precedencia y apéndice que engañen con éxito a un modelo objetivo, los autores utilizan una versión modificada de AutoDAN, una herramienta de jailbreaking basada en algoritmos genéticos.

   • El algoritmo muestrea y muta iterativamente pares de cadenas de precedencia/apéndice.
   • Evalúa la "aptitud" (fitness) basándose en si la salida de análisis final del LLM coincide con el comportamiento del programa objetivo (por ejemplo, conteniendo "Fibonacci") mientras excluye el comportamiento del programa real (por ejemplo, excluyendo "Hello, World").
   • Restricciones: El ataque está limitado por el límite de caracteres de la salida de descompilación de Ghidra (2048 caracteres), que trunca cadenas más largas y causa el fallo del ataque. Además, el algoritmo genético requiere un modelo con una ventana de contexto amplia (~20K tokens) para procesar el historial completo de la conversación, lo que limita los modelos factibles a aquellos como Qwen3-8B.

3. Configuración Experimental:
   Los experimentos utilizaron la interfaz GhidraMCP a través del marco de agentes Cline. El estudio probó el ataque contra dos modelos: Qwen3-8B (utilizado tanto para la generación del ataque como para el análisis) y GPT-OSS-120B (utilizado únicamente para el análisis). Los casos de prueba incluyeron programas en C de una sola función y de múltiples funciones.

Resultados Clave

El estudio demostró con éxito que los agentes de ingeniería inversa automatizados pueden ser engañados para reportar la funcionalidad de un programa objetivo mientras analizan un binario adversario que realiza acciones completamente diferentes.

• Éxito en Función Única: En experimentos donde se analizó un programa adversario "Hello, World", los agentes de LLM (tanto Qwen3-8B como GPT-OSS-120B) concluyeron que el programa estaba emitiendo los primeros 10 dígitos de la secuencia de Fibonacci. En un segundo caso, un programa de verificación de archivos fue identificado erróneamente como una utilidad de suma de números.
• Éxito en Multifunción: El ataque se extendió a programas con múltiples funciones. Al asegurar que los programas adversarios y los objetivos compartieran los mismos nombres de función y estructura, los autores lograron inyectar con éxito las cadenas de inyección de prompts en múltiples funciones. Los LLM identificaron erróneamente de manera consistente el comportamiento de estos binarios complejos también.
• Robustez del Modelo: El ataque resultó efectivo tanto contra el modelo más pequeño y alojado localmente, Qwen3-8B, como contra el más grande, GPT-OSS-120B. Notablemente, aunque GPT-OSS-120B detectó la presencia de cadenas impresas (como "Hello, World") mediante el uso de herramientas, falló al no incorporar esta evidencia en su análisis funcional final, priorizando las instrucciones de inyección de prompt sobre los datos brutos.
• Evasión: El ataque logró eludir el flujo de análisis automatizado. La presencia de la variable de cadena extraña no fue marcada como maliciosa por los agentes de LLM, ya que estos fueron condicionados para ignorar el contexto circundante en favor de la "transcripción" inyectada.

Significancia y Reivindicaciones

El artículo afirma que esta investigación resalta una implicación de seguridad crítica de la integración de LLM en las cadenas de herramientas de ciberseguridad. La principal significancia radica en demostrar que la automatización puede volverse contra sí misma:

• Vulnerabilidad de los Sistemas Agénticos: El estudio demuestra que los agentes impulsados por LLM son susceptibles de la inyección de prompts indirecta a través de las mismas herramientas que utilizan (descompiladores), específicamente mediante datos que son estructuralmente válidos pero semánticamente engañosos.
• Elusión de la Automatización: Los atacantes pueden usar esta técnica para eludir los sistemas de detección automatizados que dependen del análisis impulsado por LLM, forzando un retorno al análisis humano laborioso o causando que los analistas confíen en informes incorrectos.
• Necesidad de Robustez: Los autores argumentan que comprender este vector de ataque es esencial para construir sistemas de análisis de código agénticos más robustos. Enfatizan que los sistemas actuales carecen de la capacidad para distinguir entre los datos de descompilación legítimos y las instrucciones inyectadas dentro de las variables de cadena del binario.

El artículo concluye con modestia, señalando que, si bien la prueba de concepto es exitosa en programas simples, se requiere más trabajo para determinar la escalabilidad de este ataque a binarios maliciosos complejos del mundo real y para desarrollar defensas efectivas contra tales vectores de inyección de prompts indirectos.