🤖 AI

A Policy Algebra for Trust-Preserving Agentic AI Execution

Este artículo introduce un álgebra de políticas que define un sobre de fiabilidad preservador de la confianza para la IA agéntica mediante la composición formal de restricciones de seguridad y obligaciones en tiempo de ejecución, permitiendo que el sistema intervenga en casi todas las violaciones de política mientras mantiene altas tasas de finalización de tareas y garantiza la completitud de la auditoría.

Autores originales: Bhaskar Tripathi, Anurag Kumar, Ramendra Kumar, Bhavesh Gadhe

Publicado 2026-08-18

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Bhaskar Tripathi, Anurag Kumar, Ramendra Kumar, Bhavesh Gadhe

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo moderno de la inteligencia artificial, se está produciendo un cambio significativo. Durante años, el enfoque consistió en construir sistemas que pudieran generar texto, responder preguntas o resumir documentos. Estos sistemas eran como bibliotecarios muy cultos que podían leer cualquier cosa, pero a los que se les prohibía tocar los libros o mover los muebles. Hoy en día, una nueva generación de software, a menudo llamada "agentes", ha recibido las llaves del edificio. Estos agentes no solo hablan; actúan. Pueden buscar en archivos privados de la empresa, enviar correos electrónicos, actualizar bases de datos, llamar a servicios externos e incluso delegar partes de un trabajo a otros programas de software. Esta capacidad de pasar del pensar al hacer los hace increíblemente poderosos para las empresas, pero también introduce un nuevo tipo de peligro. Un error ya no es solo una frase incorrecta; es un archivo eliminado, un secreto filtrado o un presupuesto gastado en una tarea que nunca terminó.

El problema central es que un agente podría lograr su objetivo mientras rompe las reglas para conseguirlo. Imagine a un trabajador que entrega con éxito un paquete, pero lo hace entrando por la fuerza en una habitación cerrada a la que no tenía permitido entrar. En el pasado, los sistemas de seguridad verificaban principalmente si una persona tenía una credencial para entrar en un edificio. Pero para estos agentes inteligentes, la verificación de seguridad debe ocurrir en cada uno de los pasos del trayecto, no solo en la puerta principal. Si se le permite a un agente tomar una decisión, esa decisión debe ser contrastada con quién está pidiendo la acción, qué herramientas está utilizando, cuánto dinero le queda disponible y si un humano ha aprobado la acción. Sin esta supervisión constante, una herramienta poderosa puede causar daño fácilmente, incluso si la persona que inició el proceso tenía buenas intenciones.

Investigadores de Volkswagen Digital Services y Scania CV AB han desarrollado una nueva forma de gestionar este riesgo, que llaman álgebra de políticas. Piense en esto no como una lista de reglas, sino como un sistema matemático para combinar diferentes requisitos de seguridad en una única decisión inquebrantable. Los investigadores se dieron cuenta de que, para confiar en un agente, no basta con mirar la respuesta final que produce. Se debe observar todo el camino que recorrió para llegar allí. Su sistema trata cada acción que un agente desea realizar como una transición que debe pasar por una serie de puertas. Estas puertas verifican la identidad del agente, su rol, la sensibilidad de los datos que está tocando, las herramientas que utiliza, su presupuesto restante y si un humano ha autorizado el movimiento. Si una sola de estas puertas falla, la acción se detiene.

La brillantez de este enfoque reside en cómo gestiona la complejidad, especialmente cuando un agente pide a otro agente que realice una tarea. En muchos sistemas actuales, cuando se pasa una tarea hacia abajo, las reglas de seguridad pueden debilitarse accidentalmente, permitiendo que un subagente haga cosas que el agente original no tenía permitido hacer. El nuevo sistema evita esto asegurando que la autoridad nunca se expanda a medida que se desplaza por la cadena. En su lugar, el perfil de seguridad se vuelve más estricto o permanece igual. Si un gerente de alto nivel pide ayuda a un empleado junior, el empleado junior no puede obtener repentinamente acceso a los archivos privados del gerente. El sistema también gestiona el dinero cuidadosamente. Asegura que si un agente gasta mucha potencia de cómputo o dinero, debe producir un resultado tangible, como un documento guardado o un registro completado. Si un agente se queda sin presupuesto sin dejar un resultado útil, el sistema lo detiene, evitando que la empresa malgaste recursos en una tarea que no llegó a nada.

Para probar qué tan bien funciona esto, los investigadores ejecutaron miles de escenarios simulados en los que agentes intentaban completar diversas tareas. Compararon su nuevo sistema con métodos más antiguos que dependían de listas simples de herramientas permitidas y roles de usuario. Los resultados mostraron una diferencia clara en cuanto a la seguridad. El nuevo sistema detuvo el 94.8% de las acciones inseguras que el sistema anterior pasó por alto. Esto incluyó la prevención de agentes que accedían a datos que no debían ver, usaban herramientas que no tenían permitido tocar o pasaban tareas a otros agentes de una manera que eludía las reglas de seguridad. El sistema también eliminó un tipo específico de fallo donde un agente gastaba todo su dinero pero no dejaba ningún resultado útil detrás. En términos de seguimiento, el nuevo sistema registró el 98.6% de los detalles necesarios para una auditoría, en comparación con el 71.9% del método anterior, lo que hace mucho más fácil entender qué sucedió si algo salió mal.

Existe un costo para esta seguridad adicional. El nuevo sistema es ligeramente más lento para tomar decisiones, tardando en promedio unos 71 milisegundos en comparación con los 38 milisegundos del método anterior. También detiene por error una acción segura aproximadamente el 4.2% de las veces, frente al 2.1% del sistema anterior. Debido a estos controles adicionales, la tasa general con la que los agentes completaban sus tareas disminuyó ligeramente, del 90.7% al 86.9%. Sin embargo, los investigadores argumentan que este compromiso es necesario. El objetivo no es construir el agente más rápido o más capaz, sino el más fiable. Una tarea que se completa rápidamente pero que implica acceso a datos no autorizados o gasto de dinero no es un éxito.

El estudio confirma que la seguridad para los agentes inteligentes debe ser una propiedad de todo el trayecto, no solo del destino. Al utilizar este nuevo método de combinar reglas, las empresas pueden permitir que su software actúe con más libertad asegurando que cada paso sea autorizado, rastreable y económicamente sólido. El sistema no intenta adivinar qué podría hacer mal un agente; en su lugar, crea un marco donde un agente solo puede hacer lo que está explícitamente permitido en cada momento. Este enfoque convierte el poder bruto de la inteligencia artificial en una herramienta en la que las empresas realmente pueden confiar para operar en el mundo real, donde los errores tienen consecuencias reales.

Resumen Técnico: Un Álgebra de Políticas para la Ejecución de IA Agéntica que Preserva la Confianza

1. Formulación del Problema

El artículo aborda una brecha crítica en la IA Agéntica empresarial: la distinción entre capacidad (la habilidad para alcanzar un objetivo) y capacidad fiable (alcanzar un objetivo a través de un camino admisible y gobernado). Mientras que los agentes de Modelos de Lenguaje Extensos (LLM) sobresalen en el razonamiento, el uso de herramientas y la delegación, su transición del razonamiento a la acción introduce nuevos modos de falla. Un agente puede producir una respuesta final correcta mediante el acceso a datos no autorizados, la ampliación de la autoridad delegada, efectos secundarios no aprobados, el consumo irrecuperable de presupuesto o trazas de auditoría incompletas.

Los marcos existentes (por ejemplo, OWASP AISVS, NIST AI RMF) y los bancos de pruebas (como AgentDojo) identifican riesgos y proporcionan modelos de amenazas, pero carecen de una semántica de ejecución composicional para aplicar estos controles de forma dinámica. Los benchmarks actuales suelen priorizar el éxito de la tarea sobre la autorización empresarial, la auditabilidad o la preservación del perfil. El problema central es que la seguridad de un agente es una propiedad de trayectoria: una respuesta final solo es fiable si toda la secuencia de transiciones de razonamiento-a-acción satisface invariantes de gobierno respecto a identidad, perfil, datos, memoria, herramientas, presupuesto, artefactos, aprobación y auditoría.

2. Metodología: El Álgebra de Políticas

Los autores proponen un álgebra de políticas que define un "sobre de fiabilidad" (reliability envelope) dentro del cual se ejerce la capacidad del agente. Este álgebra trata los perfiles de seguridad como objetos de política ordenados y los compone para asegurar la preservación de la confianza y la sonoridad de menor restricción.

Conceptos Centrales

Capacidad Fiable: Un agente es capaz de realizar una tarea $\zeta$ de forma fiable solo si existe una traza $\xi$ donde se alcanza el objetivo y cada evento de acción $\eta_t$ satisface una conjunción de predicados: Identidad, Rol, Perfil, Datos, Memoria, Herramienta, Presupuesto, Artefacto, Intervención Humana (HITL) y Auditoría.
Estado de la Política ( $\varpi$ ): Una tupla que comprende el perfil de seguridad, el conjunto de herramientas ejecutables, el alcance de memoria/datos, el presupuesto restante, la política de materialización de artefactos, el estado de aprobación y las obligaciones de evidencia.
Composición ( $\otimes$ ): El álgebra define cómo se combinan los estados de política. Cuando dos estados interactúan (por ejemplo, durante la delegación o la invocación de una herramienta), el operador de composición $\otimes$ $\otimes$ asegura:
- Perfiles: La unión ( $\sqcup$ ) de perfiles, seleccionando el perfil más restrictivo (mayor nivel de aseguramiento).
- Autoridades: La intersección ( $\cap$ ) de los conjuntos de herramientas y los alcances de memoria, estrechando la autoridad.
- Presupuestos: El mínimo ( $\min$ ) de los presupuestos restantes.
- Obligaciones: La unión ( $\cup$ ) de los requisitos de evidencia y el OR lógico ( $\lor$ ) de los requisitos de aprobación.
- Teoremas: Se demuestra que la composición es preservadora de la confianza (nunca reduce el aseguramiento ni expande la autoridad) y de menor restricción (satisface todas las entradas sin imponer restricciones innecesarias).

Mecanismos Clave

Cascada de Perfiles: El perfil efectivo para cualquier acción es la unión de los perfiles de plataforma, equipo, usuario, agente y publicación. Ninguna capa inferior puede relajar las restricciones heredadas de las capas superiores.
Delegación que Preserva la Confianza: Cuando un agente delega a un subagente, el contexto del hijo hereda las restricciones del padre. El perfil delegado es la unión de los perfiles del llamante y el llamado; los conjuntos de herramientas y alcances de memoria se intersectan; los presupuestos se estrechan. Esto evita el "lavado de perfil" donde una llamada de alta seguridad se delega a un agente de baja seguridad para eludir restricciones.
Materialización de Artefactos Consciente del Costo: Para evitar el "agotamiento de presupuesto sin resultado" (gastar el presupuesto completo sin un resultado recuperable), el tiempo de ejecución impone un predicado de materialización. A medida que la exposición al costo crece, el conjunto de acciones admisibles se redirige hacia la producción de un artefacto duradero (borrador, checkpoint, archivo) antes de que el presupuesto se consuma por completo.
Corrección Condicional: El documento distingue entre la decisión de la política (condicionada al contexto correcto) y la exactitud del contexto mismo (por ejemplo, documentos mal clasificados). El álgebra garantiza la corrección solo si los metadatos de entrada son precisos.

Arquitectura del Sistema

El tiempo de ejecución implementa el álgebra a través de una arquitectura por capas:

Capa de Framework: Plantillas de agentes reutilizables.
Capa de Ejecución en Tiempo de Ejecución (Runtime): El sistema de registro que impone la puerta de la política.
Capa de Aplicación: Interfaces de usuario y consumidores de servicios.
Flujo de Aplicación: Antes de cualquier acción (llamada a herramienta, escritura en memoria, delegación), el runtime compila entradas heterogéneas (RBAC, modelos de amenazas, metadatos) en un estado de política monótono. Evalúa una conjunción de predicados. Si alguno falla, la acción es denegada, escalada a HITL o redirigida a la materialización.

3. Contribuciones Clave

Definición de Capacidad Fiable: Una distinción formal entre alcanzar un objetivo y alcanzarlo mediante un camino admisible, enmarcando la autonomía del agente como la maximización de la utilidad dentro de un sobre de fiabilidad.
Álgebra de Políticas: Un marco composicional para perfiles empresariales, RBCI (RBAC), herramientas, memoria, publicación, presupuesto, aprobación y evidencia. Garantiza que la composición sea preservadora de la confianza y el estado de menor restricción que satisfaga todas las entradas.
Semántica de Ejecución:
- Delegación No Amplificadora: Mecanismos (uniones de perfiles, intersecciones de autoridad) que evitan la ampliación de autoridad a través de las cadenas de llamadas.
- Materialización Consciente del Costo: Lógica que redirige la ejecución hacia salidas recuperables a medida que aumenta la exposición del presupuesto.
Camino de Ciencia del Diseño: Una metodología para mapear artefactos de seguridad (modelos de amenazas, estándares) a predicados ejecutables, un runtime de referencia y un protocolo de evaluación de conformidad.

4. Evaluación y Resultados

La evaluación se centra en la conformidad con la taxonomía de control propuesta en lugar de en el ranking de benchmarks. El runtime se probó contra un comparador de RBAC y lista de permitidos utilizando una carga de trabajo de 612 trazas (1,936 eventos) que cubrían inyección de prompts, uso indebido de herramientas, gobernanza de RAG, delegación multi-agente y escenarios de presupuesto.

Métricas Clave:

Tasa de Intervención Insegura: El álgebra de políticas interceptó el 94.8% de los eventos que violaban la política, en comparación con el 67.1% del comparador de RBAC.
Violaciones de Confianza: El álgebra eliminó el 100% de las violaciones de monotonicidad de perfil observadas (31 casos en el comparador) y el 100% de los casos de agotamiento de presupuesto sin artefacto (18 casos en el comparador).
Integridad de la Auditoría: Aumentó del 71.9% al 98.6%, asegurando que las trazas contengan datos suficientes para revisión y reparación.
Finalización de Tareas: El runtime gobernado retuvo el 86.9% de la finalización de tareas, una reducción de 3.8 puntos porcentuales respecto al 90.7% del comparador.
Sobrecarga (Overhead): La latencia de autorización mediana aumentó de 38 ms a 71 ms; la tasa de intervención falsa aumentó de 2.1% a 4.2%.

Fallos Residuales: Los fallos restantes (por ejemplo, la tasa de intervención del 79.1% para escapes de sandbox) se atribuyeron a errores de construcción de contexto (por ejemplo, intención de herramienta ambigua, documentos mal clasificados) más que a fallos de la lógica algebraica en sí.

5. Significación y Reivindicaciones

El artículo afirma proporcionar un método formal y ejecutable para convertir estándares de seguridad y modelos de amenazas en comportamiento en tiempo de ejecución sin sacrificar la utilidad de la capacidad del agente.

Cambio de Perspectiva: Mueve el enfoque de seguridad desde la "seguridad de la salida" (¿es segura la respuesta final?) hacia la "fiabilidad de la trayectoria de acción" (¿es cada transición segura?).
Confianza Composicional: Demuestra que la confianza multi-agente puede preservarse mediante operadores algebraicos (uniones e intersecciones) que evitan la amplificación de autoridad durante la delegación.
Fiabilidad Económica: Introduce un mecanismo para tratar el agotamiento del presupuesto sin un artefacto duradero como un fallo de política, asegurando la recuperabilidad económica en flujos de trabajo no supervisados.
Bucle de Reparación: El marco soporta un proceso de ciclo cerrado donde los casos de evaluación fallidos se convierten en actualizaciones de política y pruebas de regresión, permitiendo que el sistema evolucione.

Los autores afirman modestamente que esto es una formalización orientada a la implementación que conecta la agregación de estándares, la gobernanza empresarial y la propagación de la confianza multi-agente. No pretenden reemplazar los estándares o defensas existentes, sino hacerlos ejecutables. Los resultados se presentan como compromisos medidos sobre una carga de trabajo específica, demostrando que un "sobre de fiabilidad" puede aplicarse con un costo cuantificable y manejable sobre la capacidad bruta. El artículo concluye que el camino hacia "agentes que pueden actuar de forma fiable" reside en expandir el sobre de fiabilidad mediante una mejor percepción del contexto y la calibración de políticas, en lugar de debilitar los invariantes del álgebra de políticas misma.