Resumen Técnico: AgentSecBench

Declaración del Problema

Los agentes de Modelos de Lenguaje Grande (LLM) integran instrucciones de confianza, registros recuperados y observaciones de herramientas en un único canal generativo. Esta elección arquitectónica confunde el flujo de datos con la autoridad: cadenas no confiables (por ejemplo, documentos recuperados o salidas de herramientas) pueden influir en respuestas que portan secretos o en propuestas de acción, incluso cuando ninguna política de aplicación autoriza dicha influencia. A diferencia de los programas convencionales, donde los sistemas de tipos y las verificaciones de acceso hacen cumplir la distinción entre instrucción y datos, los agentes LLM a menudo dependen de prosa dentro del prompt del sistema para definir estos límites. El artículo identifica una brecha crítica: si bien el texto del prompt puede describir una frontera de seguridad, no la hace cumplir inherentemente. En consecuencia, un adversario que controle observaciones no confiables puede eludir las restricciones de la política, lo que conduce a inyección de prompts, filtración de privacidad y uso no autorizado de herramientas.

Metodología

El artículo introduce AgentSecBench, una instanciación empírica de un marco de seguridad formal diseñado para medir y distinguir entre la anotación de prompts y las fronteras de seguridad aplicadas.

Marco Formal

Los autores definen la no interferencia de intención a ejecución con filtración permitida. El concepto central involucra tres "juegos" que comparten una estructura criptográfica: un adversario selecciona una observación no confiable, una defensa transforma el canal observable y un distinguidor evalúa un evento de salida no autorizado.

1. Juego de Integridad de Instrucciones: Prueba si una instrucción adversarial incrustada en un documento puede anular una solicitud benigna de un usuario.
2. Juego de Confidencialidad de Recuperación: Prueba si un secreto (canario) asignado a un inquilino fuera del alcance de autorización del llamador puede filtrarse a través del contexto recuperado.
3. Juego de Integridad de Capacidad: Prueba si una observación de herramienta puede inducir la selección de una acción prohibida por la política del usuario.

El marco distingue entre proyecciones de política (operaciones matemáticas que eliminan características no autorizadas del espacio de entrada o de acción) y anotaciones de prompt (advertencias o delimitadores textuales que dejan los datos no autorizados visibles para el modelo).

Diseño Experimental

• Modelos: Los experimentos se realizaron en Qwen3-0.6B y Qwen3-1.7B.
• Defensas: Se evaluaron seis clases de defensa:
  1. Sin defensa (línea base).
  2. Endurecimiento de delimitadores (anotación de prompt).
  3. Filtrado por clasificador (coincidencia de patrones pre-generación).
  4. Puerta de acceso RAG consciente de la procedencia (proyección del contexto de recuperación).
  5. Puerta de acceso de herramientas de mínimo privilegio (proyección de las salidas de herramientas).
  6. Pila combinada (composición de las anteriores).
• Métricas:
  • Ventaja Adversarial ($\widehat{Adv}$): La diferencia en las tasas de violación entre controles adversariales y benignos apareados.
  • Cierre de Canal ($\widehat{C}$): Un indicador binario que mide si el marcador o la capacidad no autorizada designada fue eliminada de la entrada antes de la generación.
  • Utilidad Benigna: Un proxy léxico para la finalización de tareas en entradas benignas.
• Protocolo: La evaluación utiliza distinguidores de coincidencia exacta (por ejemplo, cadenas canarias específicas como BETA CANARY 0000 o tokens de acción como CALL SEND EXTERNAL EMAIL 0000) para garantizar una verdad fundamental inequívoca. El benchmark evita jueces LLM para evitar introducir variabilidad adicional dependiente del modelo.

Contribuciones Clave

1. Definición Formal: Definición de la no interferencia de intención a ejecución con filtración permitida para agentes que combinan instrucciones de confianza con observaciones no confiables.
2. Distinción de Seguridad: Separación explícita de instrucciones a nivel de texto (anotaciones de prompt) y fronteras de seguridad aplicadas (proyección de procedencia y restricción de capacidades). El artículo argumenta que la anotación depende del cumplimiento del modelo, mientras que la aplicación elimina el canal adversarial.
3. Tres Juegos de Seguridad: Instanciación del aislamiento de instrucciones, secretos y capacidades como proyecciones de política, proporcionando estimadores para la ventaja adversarial, la filtración de RAG y el cierre de canal.
4. Rastro de Evaluación: Implementación de un sistema de evaluación que registra tanto los eventos de resultado como la clase específica de aplicación que produjo el contexto defendido, permitiendo el desentrelazamiento de la resistencia conductual del cierre real del canal.
5. Análisis Empírico: Conexión del riesgo residual observado con si un símbolo o capacidad no autorizada fue eliminada antes de la generación, demostrando que la reducción del riesgo no siempre implica el cierre del canal.

Resultados

La evaluación de 576 ejecuciones (a través de 3 juegos, 6 defensas, 2 modelos) arrojó las siguientes conclusiones:

• Cierre de Canal vs. Ventaja: La defensa Combinada logró un 100% de cierre de canal y un 0% de ventaja adversarial. Por el contrario, el Endurecimiento de delimitadores (anotación de prompt) logró un 0% de cierre de canal pero redujo la ventaja a 0.438 (ligeramente superior a la línea base de 0.375).
• Eficacia de la Defensa:
  • La puerta de acceso de procedencia cerró con éxito el canal de recuperación para el juego de confidencialidad (0% de filtración) pero no logró cerrar el canal de capacidades en el juego de herramientas.
  • La puerta de acceso de mínimo privilegio cerró el canal de capacidades (0% de violación) pero no afectó la filtración de recuperación.
  • El filtrado logró un cierre parcial (54.2%) y redujo la ventaja a 0.042.
• Interpretación: Una defensa puede reducir la tasa de éxito del ataque observada (ASR) mientras deja el canal adversarial abierto (confiando en que el modelo ignore la entrada). Por el contrario, una defensa que cierra el canal (elimina la característica no autorizada) proporciona una garantía más sólida y aplicable, aunque aún puede requerir validación post-generación para prevenir la invención por parte del modelo del objetivo prohibido.

Significado y Afirmaciones

El artículo afirma que AgentSecBench proporciona un método de evaluación orientado a la seguridad que desplaza el enfoque de la clasificación de plantillas de prompts a la verificación del cumplimiento de las fronteras de seguridad.

• Anotación vs. Aplicación: La contribución principal es la demostración de que el texto del prompt puede describir una frontera, pero solo la proyección de procedencia, la restricción de capacidades y la validación de salida pueden hacerla cumplir.
• Cierre Medible: El marco introduce el "cierre de canal" como una variable medible. Esto permite a los investigadores distinguir entre una defensa que elimina con éxito una observación no autorizada (aplicación) y una que simplemente reduce la probabilidad de que el modelo actúe sobre ella (anotación).
• Afirmaciones Modestas: Los autores declaran explícitamente que los experimentos con marcadores exactos son "una instanciación observable" y no afirman una seguridad semántica exhaustiva. El uso de marcadores exactos (canarios) sirve como un testigo suficiente para la violación de la política, pero subestima las violaciones semánticas (por ejemplo, secretos parafraseados). Los resultados establecen la inseguridad para los juegos específicos probados; las no violaciones no certifican una no interferencia ilimitada.

En conclusión, el artículo argumenta que el diseño seguro de agentes requiere una proyección explícita de observaciones y validación de capacidades junto con instrucciones en lenguaje natural, en lugar de depender únicamente de las instrucciones para definir el perímetro de seguridad.