💻 computer science

Agent Against Agent: An Agentic System for Automatic Prompt Injection Red Teaming

El artículo presenta PIMiner, un sistema agéntico que construye una biblioteca de estrategias transferibles durante el entrenamiento para lograr un red-teaming de inyección de prompts altamente efectivo y de pocas consultas contra modelos de lenguaje de gran tamaño (LLM) no vistos, superando significativamente a los métodos existentes basados en el aprendizaje por refuerzo.

Autores originales: Yanting Wang, Chenlong Yin, Runpeng Geng, Jinyuan Jia

Publicado 2026-08-06

📖 3 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Yanting Wang, Chenlong Yin, Runpeng Geng, Jinyuan Jia

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un asistente robot súper inteligente que puede reservar tus vuelos, escribir tu código y gestionar tu cuenta bancaria. Es como tener un genio mágico que realmente hace el trabajo por ti. Pero aquí está el truco: este genio es un poco demasiado confiado. Si susurras una instrucción secreta dentro de un correo electrónico falso o un enlace de un sitio web sospechoso, el robot podría confundirse y pensar que eso es lo más importante que debe hacer, ignorando tus órdenes reales. Esto se llama un ataque de "inyección de prompts". Es como deslizar una nota en el libro de calificaciones de un profesor que dice: "Dame una A", y el profesor, pensando que es parte del registro oficial, realmente lo hace.

Para mantener a estos robots seguros, los expertos en seguridad juegan un juego llamado "red-teaming". Piensa en esto como un videojuego donde un jugador intenta hackear al robot y el otro intenta detenerlo. El objetivo es encontrar todas las formas astutas en que el robot puede ser engañado antes de que lo hagan los malos. Durante mucho tiempo, los mejores hackers (llamados "atacantes") eran como estudiantes que tenían que sentarse a estudiar durante miles de horas, memorizando cada truco para vencer a un robot específico. Pero si cambiabas el robot por un modelo ligeramente diferente, el estudiante tenía que empezar a estudiar todo de nuevo. Era lento, costoso y no funcionaba bien para nuevos desafíos.

Aquí entra PIMiner, un nuevo y astuto sistema diseñado por investigadores de la Universidad Estatal de Pensilvania para ser el detective definitivo del red-teaming. En lugar de solo memorizar trucos para un robot específico, PIMiner es como un maestro ladrón que mantiene un cuaderno gigante y organizado de estrategias de robos. Cuando se enfrenta a un nuevo robot, no empieza desde cero. Hojea su cuaderno, elige los mejores trucos que podrían funcionar y los pone a prueba. Si un truco funciona, lo anota en el cuaderno con una nota de por qué funcionó. Si falla, anota por qué falló para no cometer el mismo error dos veces.

El artículo muestra que este enfoque de "cuaderno" cambia las reglas del juego. Mientras que los métodos antiguos necesitaban hacerle al robot miles de preguntas para aprender cómo hackearlo, PIMiner a menudo puede descubrir cómo entrar con solo 10 preguntas por prueba. En sus pruebas, PIMiner logró engañar a robots potentes y nuevos (como las últimas versiones de GPT y Claude) con una tasa de éxito de hasta el 76.2% en algunos desafíos. Esto sugiere que, al organizar experiencias pasadas en una biblioteca de estrategias reutilizables, podemos encontrar vulnerabilidades de seguridad de manera mucho más rápida y barata que antes, ayudando a construir asistentes de IA más seguros para todos.

Resumen Técnico: PIMiner – Un Sistema Agéntico para el Red-Teaming Automático de Inyección de Prompts

Declaración del Problema

Los ataques de inyección de prompts representan un riesgo de seguridad crítico para los agentes de Modelos de Lenguaje Extensos (LLM), donde los adversarios incrustan instrucciones maliciosas en fuentes de contexto no confiables (por ejemplo, salidas de herramientas, documentos recuperados) para manipular el comportamiento del agente. El red-teaming efectivo es esencial para evaluar estas vulnerabilidades y generar datos de entrenamiento para las defensas.

Los métodos de red-teaming de vanguardia existentes se dividen en dos categorías, ambas con limitaciones significativas:

Enfoques basados en Aprendizaje por Refuerzo (RL): Métodos como RL-Hammer y PISmith entrenan modelos atacantes para generar ataques efectivos. Aunque son potentes, requieren presupuestos de interacción masivos (decenas de miles de consultas) y producen modelos con una transferencia deficiente hacia nuevos LLM no vistos previamente.
Enfoques basados en Búsqueda: Métodos como TAP y PAIR optimizan los ataques para cada muestra de forma independiente sin entrenamiento. Aunque son rentables, carecen de la capacidad de acumular conocimiento a lo largo del tiempo, lo que resulta en tasas de éxito de ataque (ASR) significativamente menores en comparación con los métodos basados en RL.

El desafío central es cerrar la brecha de rendimiento entre estos dos paradigmas: lograr la alta efectividad de los métodos basados en RL sin el costo prohibitivo y la mala transferibilidad, permitiendo al mismo tiempo que los métodos basados en búsqueda aprendan y reutilicen el conocimiento de ataque.

Metodología: PIMiner

Los autores proponen PIMiner, un sistema agéntico diseñado para acumular y reutilizar el conocimiento de ataque a través de un mecanismo de memoria jerárquica. A diferencia de los métodos de RL que entrenan un único modelo, PIMiner construye una Biblioteca de Estrategias desde cero mediante la interacción con una secuencia de pares (conjunto de datos, modelo objetivo).

Arquitectura del Sistema

PIMiner opera a través de cuatro componentes principales:

Biblioteca de Estrategias: Una memoria a largo plazo que almacena estrategias de ataque como archivos Markdown estructurados. Cada archivo define el alcance de una estrategia (LLM objetivo, tipos de tarea), plantillas de inyección, ejemplos de contexto y condiciones de fallo.
Enrutador de Estrategias: Un agente de enrutamiento que, para cada muestra de prueba, selecciona las $K$ estrategias más relevantes de la biblioteca basándose en el modelo objetivo y el contexto de la tarea. Esto evita la saturación de la ventana de contexto y reduce los costos de inferencia.
Módulo de Ataque Iterativo: Un agente atacante que refina los prompts durante un número limitado de iteraciones (por ejemplo, $N_{max}=10$ $N_{ma x} = 10$ ). Utiliza tres niveles de memoria:
- Memoria a largo plazo: Las estrategias enrutadas desde la biblioteca.
- Memoria intra-dataset: Experiencias condensadas de muestras atacadas previamente dentro del mismo par conjunto de datos-modelo.
- Memoria intra-muestra: El historial de retroalimentación inmediata de la muestra actual.
Digestor de Experiencias: Un componente de aprendizaje que analiza los resultados de una ejecución de ataque completa. Actualiza la Biblioteca de Estrategias mediante:
- La adición de nuevos ejemplos de contexto a las estrategias existentes.
- La ampliación del alcance de las estrategias si se descubren nuevos patrones.
- La creación de nuevos archivos de estrategia para mecanismos novedosos.
- El refinamiento de las condiciones de fallo basadas en ataques no exitosos.

Flujo Operativo

Durante el entrenamiento, PIMiner procesa muestras, las enruta a las estrategias relevantes, realiza ataques iterativos y luego digiere los resultados para actualizar la biblioteca. En el momento de la prueba, la biblioteca aprendida se transfiere a LLM objetivo no vistos sin entrenamiento adicional. El sistema soporta un paradigma de "entrenamiento en tiempo de prueba" donde nuevas experiencias pueden actualizar la biblioteca aún más.

Contribuciones Clave

Sistema de Red-Teaming Agéntico: Se propone PIMiner como un nuevo sistema que transforma el historial de ataques en conocimiento de ataque reutilizable y legible por humanos, cerrando eficazmente la brecha de rendimiento entre el red-teaming basado en búsqueda y el basado en RL.
Mecanismo de Memoria Jerárquica: La introducción de un sistema de memoria de tres niveles (Biblioteca de Estrategias, Intra-dataset, Intra-muestra) permite al sistema acumular conocimiento a través de conjuntos de datos y modelos, manteniendo la eficiencia de costos.
Fuerte Transferibilidad: Se demuestra que las estrategias aprendidas se transfieren eficazmente a LLM objetivo no vistos y a diversos modelos atacantes, eliminando la necesidad de un entrenamiento costoso y específico para cada objetivo.
Eficiencia de Costos: PIMiner requiere significativamente menos consultas a los agentes objetivo (por ejemplo, ~10 por muestra) en comparación con los métodos basados en RL (a menudo >10,000), lo que lo hace viable para probar modelos frontera costosos.

Resultados Experimentales

Los autores evaluaron PIMiner en dos benchmarks, IPIArena y AgentDojo, contra modelos frontera que incluyen GPT-5, GPT-5.1, Claude-Sonnet-4.5 y Gemini-2.5-Pro.

Desempeño: PIMiner logra altas Tasas de Éxito de Ataque (ASR). En IPIArena, alcanzó un 76.2% de ASR contra Gemini-2.5-Pro, 61.9% contra GPT-5.1 y 42.9% contra Claude-Sonnet-4.5. En AgentDojo, logró un 86.7% contra Gemini-2.5-Pro.
Comparación con Baselines:
- PIMiner supera sustancialmente a los ataques estáticos y de búsqueda convencional (como TAP, PAIR), que a menudo logran un ASR cercano a cero en modelos fuertes.
- PIMiner alcanza un desempeño comparable a los métodos de vanguardia basados en RL (como PISmith y RL-Hammer) pero sin la necesidad de entrenamiento específico para el objetivo. Por ejemplo, en InjecAgent, PIMier igualó el 1.0 de ASR de RL-Hammer y PISmith.
- A diferencia de los métodos de RL, las estrategias de PIMiner se transfieren directamente a objetivos no vistos (por ejemplo, aplicando el conocimiento de GPT-5-nano a GPT-5.1) sin reentrenamiento.
Estudios de Ablación: Eliminar la biblioteca de estrategias a largo plazo o la memoria intra-dataset degradó significativamente el desempeño, confirmando la naturaleza complementaria de estos componentes de memoria. Se demostró que el Enrutador de Estrategias redujo la longitud de los tokens de entrada en un 43–61% manteniendo o mejorando el ASR.
Transferencia entre Modelos: La biblioteca de estrategias aprendida por PIMiner (usando modelos Claude) mejoró significativamente el desempeño del algoritmo PAIR cuando se utilizó con diversos modelos atacantes (Gemini, GPT, DeepSeek), demostrando que el conocimiento capturado es agnóstico al modelo.

Significancia y Reivindicaciones

El artículo afirma que PIMiner representa un cambio en la metodología de red-teaming al demostrar que los agentes basados en búsqueda pueden lograr una efectividad de nivel de RL mediante la acumulación de conocimiento.

Interpretabilidad: La Biblioteca de Estrategias resultante consiste en archivos Markdown legibles por humanos, ofreciendo información sobre los mecanismos de ataque (por ejemplo, "Fabricated Procedure Gate", "Forged Chat Turn") que son útiles para auditar sistemas agénticos.
Escalabilidad: Al evitar los presupuestos masivos de cómputo requeridos para el entrenamiento de RL, PIMiner hace que el red-teaming de modelos frontera costosos sea factible.
Generación de Defensas: Los ataques exitosos y las estrategias estructuradas proporcionan datos de alta calidad para entrenar salvaguardas y mejorar el alineamiento de los LLM base.

Los autores enfatizan que su trabajo se centra en evaluar la robustez intrínseca de los LLM alineados internamente en lugar de los mecanismos de defensa externos, proporcionando un benchmark riguroso para la seguridad de los agentes autónomos.