Resumen Técnico: OrchJail

Declaración del Problema

El rápido avance de la generación Texto-a-Imagen (T2I) ha llevado al surgimiento de agentes T2I con llamadas a herramientas. A diferencia de los sistemas T2I de modelo único tradicionales que generan imágenes en una sola etapa de extremo a extremo, estos agentes utilizan un planificador de Modelo de Lenguaje Grande (LLM) para descomponer consultas complejas del usuario en flujos de trabajo de múltiples pasos, orquestando una cadena de herramientas especializadas (por ejemplo, generación base, inserción de objetos, edición de atributos).

Si bien este paradigma mejora la usabilidad y el control composicional, introduce una nueva superficie de ataque de seguridad: vulnerabilidades de orquestación de herramientas. La investigación existente sobre jailbreak se centra principalmente en interacciones "solo con el prompt" con modelos únicos, tratando el jailbreak como un problema de evasión textual (por ejemplo, perturbaciones de palabras, mezcla multilingüe). Sin embargo, en los agentes con llamadas a herramientas, las salvaguardas de seguridad suelen estar distribuidas: el planificador central puede estar alineado con la seguridad, y las herramientas individuales pueden tener sus propios filtros. En consecuencia, un prompt que parece benigno a nivel superficial puede dirigir al agente hacia una secuencia de llamadas a herramientas individualmente seguras que, al combinarse, producen un resultado que viola la política global (por ejemplo, generar una imagen dañina a través de una serie de pasos de refinamiento benignos). Los métodos actuales de jailbreak son insuficientes porque son "ciegos a la orquestación", fallando en modelar cómo los prompts inducen cadenas específicas de herramientas de múltiples pasos o en explotar la lógica de planificación del agente.

Metodología: OrchJail

Para abordar estos desafíos, los autores proponen OrchJail, un framework de fuzzing guiado por orquestación diseñado para el jailbreak de caja negra de agentes T2I con llamadas a herramientas. El framework opera sobre la idea central de que el éxito del jailbreak en estos agentes depende de patrones específicos de orquestación de herramientas (cómo se descomponen, programan y realizan las tareas).

El framework consta de dos componentes principales:

1. Framework de Fuzzing (El Bucle de Búsqueda)

OrchJail sigue un bucle de fuzzing estándar, pero lo mejora con mecanismos conscientes de la orquestación:

• Generación de Semillas Consciente de Herramientas: En lugar de usar prompts objetivo crudos, el sistema los reescribe utilizando un LLM condicionado a la configuración de herramientas del agente objetivo. Esto genera semillas iniciales que son estructuralmente más propensas a desencadenar cadenas de ejecución de múltiples herramientas (por ejemplo, usando separadores específicos para implicar una descomposición paso a paso).
• Mutación Guiada por Orch: Cuando se evalúa un prompt candidato, la estrategia de mutación se guía por conocimiento causal derivado de jailbreaks exitosos previos.
  • Si un prompt es bloqueado, un Mutador Orientado a Bypass lo reescribe para pasar las salvaguardas mientras preserva las señales de orquestación.
  • Si un prompt pasa pero la imagen carece de fidelidad, un Mutador Orientado a Semántica refina el prompt para alinear mejor la salida con la intención dañina sin romper el bypass.
  • Ambos mutadores utilizan aprendizaje en contexto, recuperando casos exitosos similares de un repositorio para guiar la dirección de la mutación.
• Puntuación Multiobjetivo: Antes de consultar al costoso agente objetivo, los candidatos son puntuados por un LLM como juez en tres dimensiones:
  1. Probabilidad de Bypass: Probabilidad de pasar las salvaguardas.
  2. Deriva del Prompt: Fidelidad semántica con la intención dañina original.
  3. Coincidencia de Orquestación de Herramientas: Alineación con patrones de orquestación de alto riesgo (macro-planificación, micro-programación, selección de herramientas).
     Los candidatos se clasifican en función de la suma de estas puntuaciones para maximizar la eficiencia de las consultas.

2. Abstracción de Orquestación y Razonamiento Causal

Este módulo transforma los rastros brutos de llamadas a herramientas en orientación interpretable:

• Abstracción Trace2Orch: Los rastros de jailbreak exitosos se abstraen en tres dimensiones:
  • Macro-planificación: El orden de descomposición de alto nivel (por ejemplo, Generación → Adición → Edición).
  • Micro-programación: Pasos de ejecución granulares (por ejemplo, generar un fondo, luego agregar un objeto).
  • Selección de Herramientas: Preferencias por herramientas específicas en contextos dados.
• Razonamiento Causal Prompt-Orch: Un agente de razonamiento LLM infiere relaciones causales entre segmentos de texto específicos en el prompt y los patrones de orquestación extraídos. Esto produce triples estructurados (segmento de texto $\to$ elemento de patrón $\to$ justificación), creando un repositorio de "conocimiento causal" que explica por qué ciertas formulaciones conducen a comportamientos específicos de las herramientas.

Contribuciones Clave

1. Identificación de una Nueva Superficie de Ataque: El artículo presenta el primer estudio que identifica la orquestación de herramientas como una superficie de ataque crítica y previamente inexplorada para agentes T2I, distinta de la evasión de prompts de modelo único.
2. Framework OrchJail: La introducción de un framework de fuzzing que combina:
   • Razonamiento sobre rastros exitosos de llamadas a herramientas para abstraer patrones de orquestación.
   • Mutación consciente de la orquestación guiada por conocimiento causal.
   • Puntuación multiobjetivo para priorizar candidatos bajo restricciones de consulta.
3. Validación Empírica: Experimentos extensos en tres agentes representativos con llamadas a herramientas (GenArtist, CREA, LayerCraft) frente a cuatro líneas base de última generación.

Resultados Experimentales

Los autores evaluaron OrchJail frente a líneas base (DACA, RING, SneakyPrompt, JailFuzzer) en tres agentes objetivo utilizando cuatro métricas: Tasa de Éxito en Una Vez (O-SR), Tasa de Éxito en Reutilización (R-SR), Distancia de Inception de Fréchet (FID) y Número de Consultas.

• Eficacia: OrchJail logró la O-SR más alta en todos los agentes (por ejemplo, 72.63% en GenArtist frente a 63.48% para la mejor línea base, JailFuzzer). También demostró una R-SR superior, lo que indica que los prompts descubiertos capturan patrones reutilizables en lugar de artefactos frágiles.
• Fidelidad: OrchJail produjo imágenes con puntuaciones FID más bajas (mejor alineación con la intención objetivo) en comparación con las líneas base. Los autores atribuyen esto a la mutación orientada a la semántica y al control de deriva, que evitan que la búsqueda se desvíe hacia prompts "más fáciles" pero semánticamente divergentes.
• Eficiencia: OrchJail requirió menos consultas para encontrar prompts exitosos (por ejemplo, 12.15 consultas en GenArtist frente a 13.86 para JailFuzzer), demostrando que aprovechar la causalidad prompt-orquestación guía la búsqueda de manera más eficiente que la exploración ciega.
• Robustez: El framework permaneció efectivo frente a defensas comunes, incluidas las basadas en Perplejidad (PPL) y SmoothLLM (Insertar, Intercambiar, Parchar), manteniendo una O-SR superior al 69% incluso bajo condiciones de defensa fuertes.
• Naturalidad: Los prompts generados tuvieron la Perplejidad (PPL) más baja entre todos los métodos, lo que indica que son más fluidos y legibles para humanos, evitando el texto ininteligible que a menudo se ve en otros intentos de jailbreak.

Significado y Afirmaciones

El artículo afirma que OrchJail destaca un cambio fundamental en el panorama de seguridad de la IA generativa: las vulnerabilidades en los agentes con llamadas a herramientas no residen meramente en los modelos en sí, sino en la lógica de planificación y los patrones de orquestación del agente. Al explotar el proceso dinámico de cómo los agentes interpretan, planifican y ejecutan secuencias de múltiples pasos, los atacantes pueden eludir salvaguardas distribuidas que de otro modo detendrían una generación de un solo paso.

Los autores posicionan su trabajo como un paso necesario hacia la comprensión y mitigación de riesgos en el paradigma emergente de flujos de trabajo de agentes. Argumentan que las evaluaciones de seguridad deben evolucionar desde pares de modelo único y salida de prompt hacia evaluaciones holísticas de la orquestación de múltiples pasos. El framework proporciona un método práctico para descubrir estos riesgos, sugiriendo que las futuras defensas deben tener en cuenta los riesgos composicionales introducidos por la concatenación de herramientas, en lugar de centrarse únicamente en el filtrado de prompts de entrada.