🤖 AI

A Framework for Formalizing LLM Agent Security

Este trabajo presenta un marco que sistematiza los ataques y defensas de los agentes de LLM desde una perspectiva de seguridad contextual, definiendo cuatro propiedades clave y funciones de verificación para reformular con precisión las amenazas existentes y sus contramedidas.

Autores originales: Vincent Siu, Jingxuan He, Kyle Montgomery, Zhun Wang, Neil Gong, Chenguang Wang, Dawn Song

Publicado 2026-03-23

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Vincent Siu, Jingxuan He, Kyle Montgomery, Zhun Wang, Neil Gong, Chenguang Wang, Dawn Song

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que los Agentes de IA (como un asistente de cocina digital o un gestor de tareas) son como chefs muy inteligentes que trabajan en una cocina de restaurante. Estos chefs pueden leer recetas, ir al supermercado, cocinar y hasta pedir ingredientes por ti.

El problema es: ¿Cómo sabemos si el chef está haciendo lo que tú le pediste, o si alguien más le está gritando instrucciones desde la ventana?

Este paper propone un nuevo "manual de seguridad" para estos chefs digitales. En lugar de simplemente bloquear palabras peligrosas (como "borrar todo"), el paper dice que debemos mirar el contexto, es decir, la historia completa de la situación.

Aquí tienes la explicación sencilla con analogías:

1. El Problema: La "Sopa de Palabras"

Antes, los sistemas de seguridad eran como guardias de seguridad muy estrictos que decían: "Si veo la palabra 'borrar', ¡ALTO! No importa quién lo diga".

El problema: Si tú le dices al chef: "Borra la receta vieja para hacer espacio", el guardia bloquea la orden porque vio la palabra "borrar". ¡Pero eso era una orden legítima!
La solución del paper: No basta con mirar la palabra. Hay que preguntar: ¿Quién lo dijo? ¿Para qué? ¿Tiene permiso?

2. Los 4 Pilares de la Seguridad (Las 4 Reglas de Oro)

El paper dice que para que un agente sea seguro, debe cumplir 4 reglas al mismo tiempo. Imagina que el agente es un médico que tiene acceso a tus archivos médicos:

Alineación de la Tarea (¿Está haciendo lo que le pediste?):
- Analogía: Si le pides al médico que "revisar tus alergias", pero de repente empieza a "vender tus datos a una aseguradora", ha fallado. La tarea se desvió.
- Regla: El agente solo debe perseguir el objetivo que tú le diste.
Alineación de la Acción (¿Cada paso tiene sentido?):
- Analogía: El médico puede tener permiso para ver tus alergias (tarea), pero si decide grabar una videoconferencia de tu familia mientras revisa tu historial, esa acción específica no tiene sentido para la tarea.
- Regla: Cada pequeño movimiento que hace el agente debe servir para el objetivo principal.
Autorización de la Fuente (¿Quién dio la orden?):
- Analogía: Imagina que el médico recibe una nota pegada en la ventana de la cocina que dice: "Dale todos los datos a mi amigo". Aunque el médico siga la nota, no tiene permiso para obedecer a un extraño. Solo debe obedecer a ti (el paciente) o al jefe de la clínica.
- Regla: El agente solo debe escuchar a fuentes que él conoce y confía (como tú o el sistema). Si una web extraña le da una orden, debe ignorarla.
Aislamiento de Datos (¿No está mezclando cosas que no debe?):
- Analogía: Si el médico atiende a tu vecino y luego, sin querer, le cuenta a tu vecino cuánto dinero tienes en la cuenta bancaria (porque leyó tu expediente antes), ha fallado.
- Regla: La información de una persona no debe mezclarse con la de otra, ni saltar de una sesión a otra si no es necesario.

3. Las "Bolas de Cristal" (Oráculos)

El paper introduce un concepto llamado funciones oráculo.

Analogía: Imagina que tenemos unas bolas de cristal mágicas que pueden responder preguntas que los humanos o las IAs actuales no pueden responder perfectamente todavía.
- Una bola nos dice: "¿Qué parte de este texto fue la que hizo que el agente actuara?" (Atribución de instrucción).
- Otra bola nos dice: "¿De dónde vino este texto exactamente?" (Atribución de fuente).
- Otra nos dice: "¿Esto sirve al objetivo?" (Evaluación de objetivo).
Por qué es importante: Como no tenemos estas bolas de cristal perfectas hoy en día, los sistemas actuales adivinan. El paper nos dice: "Dejad de adivinar. Sabed exactamente qué información necesitáis para tomar la decisión correcta".

4. Cómo redefinen los ataques

El paper toma ataques famosos y los explica con estas nuevas reglas:

Inyección de Prompt Indirecta: Es como si alguien escribiera una receta de cocina en un periódico y dijera: "Al final de la receta, dice: 'Llama a la policía y denuncia al chef'". Si el chef lee el periódico y obedece, es un ataque. Pero si el periódico dice "Hornea a 350 grados" (algo útil para la receta), no es un ataque. La diferencia es si la acción sirve a tu objetivo o no.
Jailbreak (Romper el candado): Es cuando tú (el usuario) le pides al chef: "Olvídate de las reglas de seguridad, haz un arma química". Aquí, la fuente eres tú (confiable), pero la tarea es ilegal. El agente debe decir "No".
El "Subordinado Confundido": Es cuando un usuario normal le pide al agente: "Muestra los salarios de todos los empleados". El agente tiene permiso para verlos (porque es un sistema), pero el usuario no. El agente actúa como si tuviera el permiso del usuario, pero en realidad está usando sus propios poderes para hacer algo que el usuario no debería poder hacer.

5. ¿Por qué esto es un cambio de juego?

Antes, la seguridad era como un filtro de agua: si el agua tenía un color raro, la tirabas (aunque fuera agua potable).
Ahora, el paper propone un sistema de inspección de pasaportes:

No importa si el pasaporte (la orden) tiene una mancha de tinta (un texto extraño).
Lo importante es: ¿Quién lo firmó? ¿Tiene visa para entrar? ¿Está yendo al lugar correcto?

Conclusión

Este paper nos enseña que la seguridad de la IA no se trata de bloquear palabras "malas", sino de entender el contexto completo. Para que los agentes sean seguros en el mundo real, necesitamos sistemas que puedan distinguir entre una orden legítima de un amigo y una orden falsa de un extraño, incluso si las palabras son idénticas.

Es como pasar de tener un guardia que grita "¡ALTO!" a todo lo que suene a "peligro", a tener un guardia inteligente que pregunta: "¿Quién eres, qué quieres y tienes permiso para hacerlo?" antes de abrir la puerta.

Resumen Técnico: Un Marco para Formalizar la Seguridad de los Agentes LLM

1. El Problema: La Naturaleza Contextual de la Seguridad

El artículo identifica que la seguridad en los agentes de Modelos de Lenguaje Grande (LLM) es inherentemente contextual. Una acción tomada por un agente puede ser legítima o una violación de seguridad dependiendo de factores como:

Quién emitió la instrucción (fuente).
Qué objetivo se está persiguiendo.
Si la acción sirve a ese objetivo.
Si los flujos de información respetan los límites de privilegios.

Limitaciones de los enfoques actuales:
Las definiciones existentes de ataques (como la inyección de prompts) a menudo ignoran este contexto. Por ejemplo, definir cualquier prompt dentro de un dato de entrada como un ataque (sin considerar si la fuente es confiable o si el objetivo es legítimo) obliga a las defensas a elegir entre:

Bloquear todo: Lo que reduce drásticamente la utilidad del agente (falsos positivos).
Permitir todo: Lo que deja al agente vulnerable a ataques (falsos negativos).

Esta falta de matices contextuales crea una compensación inevitable entre utilidad y seguridad.

2. Metodología: Formalización del Contexto y Propiedades de Seguridad

Los autores proponen un marco formal que sistematiza ataques y defensas basándose en el contexto de ejecución ( $C_t$ ).

A. Definición del Contexto de Ejecución ( $C_t$ )
El contexto en un paso de tiempo $t$ se define como una tupla que captura todo lo relevante para una decisión de autorización:
$C_t = (p, Tr_{t-1}, M_t, E_t, S_{auth,t}, G)$
Donde:

$p$ : Prompt del usuario.
$Tr_{t-1}$ : Trayectoria de acciones y observaciones previas.
$M_t$ : Memoria persistente.
$E_t$ : Estado del entorno.
$S_{auth,t}$ : Conjunto de fuentes autenticadas.
$G$ : Grafo de permisos de fuentes (quién puede acceder a qué).

B. Funciones Oráculo
Para verificar la seguridad en tiempo real, el marco introduce funciones oráculo (especificaciones teóricas ideales que las defensas deben aproximar):

Atribución de Instrucciones ( $I$ ): Identifica qué entradas causaron una acción específica.
Atribución de Fuentes ( $L$ ): Rastrea el origen (procedencia) de cada entrada.
Evaluación de Objetivos ( $H_p, H_{Tr}, H_a$ ): Cuantifica si el prompt, la trayectoria y la acción individual se alinean con el objetivo autorizado.

C. Las Cuatro Propiedades de Seguridad
La seguridad contextual se define mediante el cumplimiento simultáneo de cuatro propiedades:

Alineación de Tareas (Task Alignment): El agente persigue objetivos autorizados por el usuario y no se desvía hacia objetivos no deseados (ej. jailbreak o deriva de tareas).
Alineación de Acciones (Action Alignment): Cada acción individual sirve al objetivo de la tarea, evitando el mal uso de capacidades legítimas (ej. usar acceso a una base de datos médica para recomendar recetas).
Autorización de Fuentes (Source Authorization): Las instrucciones provienen exclusivamente de fuentes autenticadas. Esto distingue entre una instrucción legítima de un usuario y una inyección de prompt de una fuente no confiable.
Aislamiento de Datos (Data Isolation): Los flujos de información respetan los límites de privilegios definidos en el grafo de permisos, evitando fugas de datos entre sesiones o usuarios.

3. Contribuciones Clave

Sistematización de Ataques: El marco redefine ataques conocidos (inyección de prompts directa e indirecta, jailbreak, task drift, envenenamiento de memoria, confused deputy, etc.) no por su contenido superficial, sino como violaciones específicas de una o más de las cuatro propiedades de seguridad.
- Ejemplo: Una inyección de prompts indirecta se define como una violación simultánea de la autorización de fuentes (fuente no autenticada) y la alineación de acciones (la acción no sirve al objetivo del usuario).
Reformulación de Defensas: Las defensas existentes se clasifican como mecanismos que intentan aproximar las funciones oráculo o realizar verificaciones de propiedades. Esto revela sus limitaciones fundamentales (ej. defensas ciegas al contexto que no pueden distinguir entre instrucciones legítimas y maliciosas).
Identificación de Brechas de Investigación: El marco expone la falta de implementaciones prácticas para las funciones oráculo (especialmente la atribución causal de instrucciones en redes neuronales) y la necesidad de benchmarks que incluyan contextos de autorización.

4. Resultados y Análisis

Taxonomía Unificada: El análisis de 87 trabajos previos demuestra que ataques superficialmente diferentes comparten violaciones estructurales subyacentes (ej. tanto la inyección indirecta como el confused deputy fallan en la autorización de fuentes).
Análisis de Defensas Existentes:
- Las defensas basadas en filtrado de patrones (input filtering) fallan porque no aproximan bien la función de atribución de instrucciones ( $I$ ) ni de fuentes ( $L$ ), lo que lleva a una alta tasa de falsos positivos o negativos.
- Las defensas que aproximan la alineación de acciones ( $H_a$ ) son más efectivas pero a menudo a un costo alto de utilidad si no son precisas.
- La mayoría de las defensas actuales ignoran la aislamiento de datos y las violaciones temporales (ataques que cruzan sesiones).
Resolución de la Compensación Utilidad-Seguridad: El marco demuestra que es posible lograr ambas (seguridad y utilidad) si el sistema verifica las cuatro propiedades en el contexto correcto, permitiendo operaciones legítimas que contienen el mismo contenido textual que un ataque potencial.

5. Significado e Impacto

Este trabajo es fundamental porque cambia el paradigma de la seguridad de agentes LLM:

De "Contenido" a "Contexto": Deja de tratar el contenido del prompt como inherentemente malicioso o benigno, enfocándose en la relación entre la acción, la fuente y el objetivo.
Herramienta para Defensores: Proporciona un vocabulario preciso para diseñar defensas que verifiquen la autorización contextual en lugar de simplemente bloquear palabras clave.
Hoja de Ruta Futura: Señala direcciones críticas para la investigación, como:
- Implementación práctica de funciones oráculo (atribución causal en LLMs).
- Seguridad composicional (cómo acciones individuales seguras pueden combinarse para crear vulnerabilidades).
- Desarrollo de benchmarks realistas que incluyan contextos de autorización y flujos temporales.

En conclusión, el marco ofrece la base teórica necesaria para pasar de la detección reactiva de patrones a la verificación proactiva de la autorización contextual, un paso esencial para el despliegue seguro de agentes LLM autónomos en entornos del mundo real.