Toward Metacognitive One-Shot Indirect Prompt Injection: Strategy Abstraction Via Outcome-Conditioned Reflection

Imagina que le estás enseñando a un robot mayordomo a cocinar. Le das una receta, pero el robot también tiene que leer las noticias, consultar el clima y escuchar informes de radio mientras trabaja. Así es como funcionan los agentes de IA modernos: utilizan "herramientas" para interactar con el mundo real, como navegar por la web o consultar bases de datos. Pero aquí está el truco: si un hacker astuto esconde una nota secreta dentro de uno de esos artículos de noticias o informes de radio, el robot podría confundirse. En lugar de terminar la receta, de repente podría decidir borrar tus archivos o enviar dinero a un extraño. Este truco se llama "Inyección de Prompt Indirecta". Es como un mago que desliza una instrucción falsa en el bolsillo de un espectador; el robot la lee, piensa que es parte del espectáculo y sigue las órdenes equivocadas.

Durante mucho tiempo, los hackers que intentaban engañar a estos robots tenían que jugar al juego de "adivinar y comprobar". Intentaban un truco, veían si el robot caía en la trampa y luego ajustaban su truco basándose en lo que el robot hacía. Pero en el mundo real, un hacker a menudo solo tiene una oportunidad para deslizar una nota en el camino del robot. No pueden quedarse esperando a ver cómo reaccionaba el robot; tienen que acertar a la primera. La gran pregunta que se hicieron los investigadores fue: ¿Puede un hacker aprender de los fracasos y éxitos pasados para crear un "truco maestro" que funcione en un robot nuevo que nunca han conocido, usando un solo intento?

Aquí entra SAVOR, un nuevo método que actúa como un maestro chef que aprende de una biblioteca de desastres y triunfos culinarios. En lugar de intentar engañar a un robot específico en tiempo real, SAVOR pasa tiempo fuera de línea, estudiando miles de intentos pasados donde los hackers intentaron secuestrar diferentes robots. Observa qué funcionó y, lo que es más importante, qué no funcionó. Se pregunta a sí mismo: "¿Por qué falló ese truco?" y "¿Por qué tuvo éxito este otro?". Al reflexionar sobre estos resultados, SAVOR destila los detalles desordenados de trucos específicos en unas pocas reglas de oro, o "estrategias". Es como un estudiante que deja de memorizar problemas matemáticos específicos y, en su lugar, aprende la lógica subyacente del álgebra.

Una vez que SAVOR ha construido esta "biblioteca de estrategias", la congela. Cuando se enfrenta a un robot nuevo y desconocido, no necesita pedir ayuda ni volver a intentarlo. Simplemente extrae la mejor estrategia de su biblioteca congelada, elabora una única nota maliciosa perfecta y la desliza. El artículo muestra que este enfoque es increíblemente efectivo. En las pruebas, SAVOR tuvo éxito engañando a los robots con mucha más frecuencia que los métodos anteriores, incluso cuando los robots tenían defensas fuertes o eran completamente diferentes de los que SAVOR entrenó. No solo funcionó en pruebas simuladas; también funcionó en un entorno más realista donde el robot realmente tenía que realizar acciones, demostando que estos trucos de "un solo intento" pueden realmente cambiar el comportamiento de un robot. Los investigadores descubrieron que SAVOR podía aprender de un conjunto de herramientas y atacar con éxito un conjunto de herramientas totalmente diferente, transfiriendo esencialmente su "intuición de hacker" a nuevas situaciones sin necesidad de una segunda oportunidad.