Resumen Técnico: Know Your Agent (KYA)

Declaración del Problema

La seguridad de los agentes de Modelos de Lenguaje Extensos (LLM) se ve cada vez más amenazada por la Inyección de Prompts Indirecta (IPI). A diferencia de la inyección de prompts directa, donde un adversario controla la entrada del usuario, la IPI implica la inserción de instrucciones maliciosas dentro de datos ambientales (por ejemplo, páginas web, correos electrónicos, archivos de repositorios) que el agente recupera mediante herramientas. Cuando el agente procesa estos datos, puede interpretar las instrucciones ocultas como comandos válidos, lo que conduce a la invocación no autorizada de herramientas, la exfiltración de datos o la manipulación de la salida.

Los enfoques actuales de red teaming automatizado para IPI fallan en gran medida al no tener en cuenta la complejidad de las arquitecturas de los agentes. La mayoría de los métodos existentes operan a ciegas, utilizando plantillas fijas, cargas útiles (payloads) con fuzzing o mutación iterativa de la carga útil basada únicamente en señales de éxito o fracaso. Estos enfoques tratan al agente como un objetivo estático, optimizando la carga útil sin entender primero el objetivo. Carecen de un mecanismo para recopilar inteligencia de manera sistemática sobre las herramientas, esquemas, permisos, contexto de la tarea y mecanismos de defensa de un agente antes de lanzar un ataque. En consecuencia, pierden el "bucle de reconocimiento-explotación" que caracteriza a las pruebas de penetración humanas efectivas.

Metodología: Reconocimiento de Agentes y KYA

El artículo introduce el Reconocimiento de Agentes, un proceso formalizado donde un atacante extrae estratégicamente conocimiento operativo sobre un agente para construir ataques de IPI más efectivos. Los autores argumentan que una IPI exitosa depende de la explotación de dos debilidades específicas del agente:

1. Confianza en la Forma Superficial (W1): Los agentes suelen confiar en tokens que imitan los patrones estructurales de datos confiables (por ejemplo, prompts del sistema, sintaxis de llamadas a herramientas, delimitadores).
2. Legitimación Basada en la Coherencia (W2): Los agentes suelen aceptar solicitudes que encajan en el contexto local (persona del usuario, tarea actual, lenguaje del dominio), incluso si la fuente no es confiable.

Para operacionalizar esto, los autores proponen Know Your Agent (KYA), un marco de pentesting de caja negra totalmente autónomo. KYA entrelaza acciones de reconocimiento y explotación en lugar de simplemente mutar cargas útiles fallidas.

El Marco KYA

KYA opera bajo un modelo de amenaza de caja negra, interactuando con el agente objetivo como un usuario legítimo. Consta de tres módulos principales:

1. Orquestador: El núcleo de toma de decisiones que mantiene un Perfil de Objetivo ($M$) y una Biblioteca de Tácticas. Después de cada interacción, evalúa los resultados y decide si debe:
   • Lanzar un intento de Explotación (si el perfil contiene suficiente conocimiento para una táctica específica).
   • Iniciar Reconocimiento (si faltan los prerrequisitos de una táctica).
   • Refinar la táctica actual o cambiar de estrategia.
2. Módulo de Reconocimiento: Utiliza un agente "Scout" (explorador) para generar sondas diseñadas para extraer Activos de Conocimiento específicos. Estos activos se categorizan en:
   • Activos de Evasión: Filtros, salvaguardas y defensas estructurales (por ejemplo, delimitadores).
   • Activos de Pretexto: Tipo de agente, persona del usuario, tarea actual y estilos de respuesta benignos.
   • Activos de Plano (Blueprint): Reglas de comportamiento, identidad del modelo, estructura de la conversación, detalles de las herramientas y esquemas de llamada a herramientas.
3. Módulo de Explotación: Utiliza un "Strategist" (estratega) y un "Forger" (falsificador) para sintetizar cargas útiles. Instancia tácticas de la biblioteca utilizando los datos específicos del objetivo en $M$, asegurando que la carga útil imite formas superficiales confiables y encaje en la narrativa contextual.

El marco alterna entre estas fases, actualizando incrementalmente el Perfil de Objetivo hasta que se logra un ataque exitoso o se agota el presupuesto de interacción.

Contribuciones Clave

1. Formalización del Reconocimiento de Agentes: El artículo define el reconocimiento de agentes como una fase distinta en el pentesting, identificando Activos de Conocimiento específicos (por ejemplo, esquemas de herramientas, límites de rechazo, tareas del usuario) que los adversarios deben extraer para tener éxito.
2. Identificación de Debilidades de los Agentes: Articula cómo el reconocimiento explota la Confianza en la Forma Superficial y la Legitimación Basada en la Coherencia, explicando por qué los detalles específicos del objetivo hacen que las cargas útiles de IPI sean más efectivas que las genéricas.
3. El Marco KYA: Los autores presentan KYA, una plataforma autónoma de caja negra que automatiza el bucle de reconocimiento-explotación. A diferencia de trabajos anteriores, KYA modela explícitamente el objetivo y decide qué aprender antes de decidir cómo atacar.
4. Validación Empírica: El artículo proporciona una evaluación exhaustiva de KYA contra benchmarks establecidos de seguridad de agentes y un agente de codificación del mundo real (OpenHands).

Resultados

La evaluación demuestra que el red teaming impulsado por el reconocimiento supera significativamente al centrado en la carga útil:

• Rendimiento en Benchmarks: A través de diversos benchmarks de seguridad de agentes y varios modelos fundacionales, KYA superó a todos los baselines (incluyendo plantillas estáticas, generación de un solo paso y métodos de refinamiento iterativo) por hasta 67 puntos porcentuales en la tasa de éxito del ataque.
• Aplicación en el Mundo Real: KYA identificó con éxito vulnerabilidades en OpenHands, un agente de codificación del mundo real, demostrando que el enfoque es efectivo más allá de los entornos de benchmarks sintéticos.
• Análisis de Componentes: Los resultados indican que la mejora es impulsada por la adquisición estratégica de activos de conocimiento, lo que permite al sistema diseñar cargas útiles que son tanto estructuralmente válidas (explotando W1) como contextualmente coherentes (explotando W2).

Significado y Reivindicaciones

El artículo afirma que el reconocimiento es un prerrequisito para el despliegue de agentes confiables. Los autores argumentan que tratar las pruebas de seguridad de agentes como una simple tarea de generación de prompts es insuficiente. En su lugar, las pruebas efectivas deben imitar la recolección de inteligencia iterativa de las pruebas de penetración tradicionales.

Al liberar KYA, sus benchmarks y las implementaciones de referencia, los autores buscan apoyar la investigación reproducible en seguridad de IA. Postulan que comprender la "superficie de ataque" del comportamiento observable de un agente (sus herramientas, respuestas y manejo de contexto) es crítico para desarrollar defensas robustas contra la inyección de prompts indirecta. El trabajo sugiere que las defensas futuras deben abordar no solo el contenido del prompt, sino la tendencia del agente a confiar en las formas superficiales y en la coherencia contextual derivada de fuentes no confiables.