🤖 AI

From Governance Norms to Enforceable Controls: A Layered Translation Method for Runtime Guardrails in Agentic AI

Este artículo propone un método de traducción en capas que conecta los objetivos de gobernanza derivados de estándares internacionales con controles ejecutables en cuatro niveles (objetivos, restricciones de diseño, mediación en tiempo de ejecución y retroalimentación de garantía), demostrando que las salvaguardas en tiempo de ejecución deben reservarse para controles observables, deterministas y sensibles al tiempo en sistemas de IA agénica.

Autores originales: Christopher Koch

Publicado 2026-04-08

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Christopher Koch

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que has contratado a un asistente virtual súper inteligente (un "Agente de IA") para que haga compras por tu empresa. Este asistente no solo escribe correos; puede buscar proveedores, comparar precios, firmar contratos digitales y enviar pedidos de dinero. Es como tener un empleado que trabaja a la velocidad de la luz y tiene acceso a tu cuenta bancaria.

El problema es: ¿Cómo te aseguras de que no gaste todo tu dinero en tonterías o que compre cosas prohibidas?

Aquí es donde entra este artículo. El autor, Christopher Koch, dice que tenemos un problema: las reglas actuales son como libros de leyes aburridos y generales, pero necesitamos "guardianes" que actúen en tiempo real.

Aquí tienes la explicación sencilla, usando analogías:

1. El Problema: Las Reglas vs. La Realidad

Imagina que tienes un manual de empresa (como las normas ISO o NIST) que dice: "Debemos ser justos, responsables y no gastar de más".

Lo que dicen los estándares: Es como un manual de ética para un conductor. Dice: "Conduce seguro, respeta el límite de velocidad y sé amable".
La realidad del Agente: El agente es un coche autónomo que va muy rápido. Si solo le das el manual, el coche podría chocar porque el manual no le dice exactamente qué hacer cuando ve un oso en la carretera a 100 km/h.

El autor dice: No puedes simplemente "traducir" las leyes directamente a un botón de "Detener". Algunas reglas necesitan un juicio humano, otras necesitan arquitectura segura, y solo algunas pueden ser bloqueadas automáticamente por un software en milisegundos.

2. La Solución: El Método de "Traducción en Capas"

El autor propone un método para traducir esas reglas generales en acciones concretas, dividiéndolas en 4 capas, como si fuera un castillo con diferentes tipos de seguridad:

Capa 1: El Arquitecto (Diseño)

Analogía: Antes de que el coche salga a la carretera, decides que solo puede entrar en autopistas y no en caminos de tierra.
En la IA: Limitas qué herramientas puede usar el agente. Si es un agente de compras, le quitas el acceso a la cuenta de redes sociales o a la cuenta de inversiones. Es una seguridad "de nacimiento".

Capa 2: El Guardaespaldas (Ejecución en Tiempo Real)

Analogía: Imagina un guardaespaldas que está sentado al lado del conductor. Si el conductor intenta girar hacia un callejón prohibido, el guardaespaldas toma el volante y lo detiene antes de que ocurra el accidente.
En la IA: Aquí es donde entran los "guardaespaldas" (guardrails) de tiempo real. Solo se usan para cosas que son claras y urgentes.
- Ejemplo: "Si el pedido es mayor a 5.000 euros, detente y pide permiso". Esto es fácil de programar.
- Lo que NO funciona aquí: "Si la compra parece injusta, detente". ¿Qué es "injusto"? Eso requiere un juicio humano, no un código simple.

Capa 3: El Supervisor Humano (Escalada)

Analogía: Si el guardaespaldas no está seguro de qué hacer (ej. "¿Debería comprar este coche de lujo?"), llama al jefe.
En la IA: Cuando la regla es ambigua o el riesgo es alto, el agente se detiene y le dice a un humano: "Oye, esto es raro, ¿tú qué opinas?".

Capa 4: El Auditor (Pruebas y Evidencia)

Analogía: Después del viaje, revisas la caja negra del coche para ver qué pasó, quién condujo y si se respetaron las reglas.
En la IA: Guardas registros (logs) de todo lo que hizo el agente para que, si algo sale mal, puedas investigar y demostrar que seguiste las reglas.

3. La Regla de Oro: ¿Cuándo usar el "Guardaespaldas"?

El autor da una regla muy importante para saber si algo debe ser bloqueado automáticamente por el software:

Sí, usa el guardaespaldas (Bloqueo automático): Si la regla es clara (ej. "No comprar a proveedores no listados"), si puedes ver el peligro antes de que ocurra, y si el daño sería irreversible si no actúas ya.
No, usa el auditor o el supervisor: Si la regla es subjetiva (ej. "Sé ético"), si necesitas contexto que la máquina no tiene, o si el daño se puede arreglar después.

4. El Ejemplo de la Compra (Caso Práctico)

El paper usa un ejemplo de un agente de compras:

Regla: "Solo comprar a proveedores aprobados".
- Traducción: Bloqueo automático. El agente intenta comprar a "Proveedor X", el sistema revisa la lista, si no está, ¡ZAS! Bloqueo inmediato.
Regla: "Las compras deben ser justas y explicables".
- Traducción: Auditoría y Humano. El agente hace la compra, pero luego un humano revisa por qué eligió a ese proveedor y si fue justo. No se puede bloquear automáticamente porque "justo" es difícil de definir con código.

Conclusión Simple

Este artículo nos dice: Deja de intentar convertir todas las leyes de la empresa en código de computadora.

Es un error pensar que la IA puede resolverlo todo sola. La clave es saber dónde poner cada seguridad:

Diseña bien el sistema (arquitectura).
Usa bloqueos automáticos solo para cosas claras y urgentes.
Deja que los humanos decidan en casos difíciles.
Revisa todo después con buenos registros.

Es como conducir un coche: necesitas un buen diseño de carretera, un freno automático para los peatones, un conductor atento para las decisiones difíciles y un seguro para cubrir los accidentes. ¡Todos son necesarios!

Título: De las Normas de Gobernanza a Controles Ejecutables: Un Método de Traducción por Capas para Guardarraíles de Ejecución en IA Agéntica

1. El Problema

Los sistemas de IA agéntica (agentes autónomos) representan un cambio fundamental respecto a los modelos generativos tradicionales. A diferencia de estos últimos, que se evalúan principalmente en la entrada (prompts) y la salida, los agentes planifican, utilizan herramientas, mantienen estado y ejecutan trayectorias de múltiples pasos con efectos externos.

Esto crea un problema de gobernanza distinto:

Riesgos emergentes: Los riesgos críticos a menudo no aparecen durante el desarrollo o la implementación, sino durante la ejecución cuando las acciones se componen a lo largo del tiempo.
Brecha de implementación: Estándares existentes (ISO/IEC 42001, 23894, 42005, 5338, 38507 y el Marco de Gestión de Riesgos de IA del NIST) proporcionan objetivos de gobernanza y gestión de riesgos, pero no generan automáticamente políticas de ejecución (guardarraíles) ejecutables.
Traducción insuficiente: Intentar compilar directamente estos estándares en reglas de seguridad de tiempo de ejecución es problemático debido a la falta de un lenguaje de política, esquemas de acción y modelos de ejecución definidos en los estándares. Además, no todos los requisitos normativos (como la equidad o la aceptabilidad humana) pueden reducirse a reglas deterministas sin simplificación normativa excesiva.

2. Metodología

El autor propone un método de traducción por capas diseñado para conectar los objetivos de gobernanza derivados de estándares con una arquitectura de control de cuatro niveles. El método es intencionalmente ligero y se basa en cinco pasos:

Diferenciación de Artefactos: Se distinguen cuatro tipos de elementos que a menudo se confunden:
- Objetivo de gobernanza: Meta normativa (ej. responsabilidad, reducción de riesgos).
- Control técnico: Mecanismo para operacionalizar el objetivo (ej. credenciales, registros).
- Guardarraíl de ejecución (Runtime): Subconjunto de controles que intervienen durante la ejecución (permitir, denegar, escalar, retrasar).
- Evidencia de aseguramiento: Artefactos para demostrar la existencia y efecto de los controles (logs, auditorías).
Extracción del Objetivo Normativo: Identificar la declaración del estándar o política interna.
Normalización en Tupla de Control: Cualquier control candidato se reescribe en una estructura formal:
$\kappa = \langle a, x, r, \phi, \delta, \epsilon, o \rangle$
Donde: $a$ (agente actuante), $x$ (clase de acción), $r$ (recurso protegido), $\phi$ (precondición/contexto), $\delta$ (decisión: permitir/denegar/escalar), $\epsilon$ (artefacto de evidencia) y $o$ (propietario responsable).
Puntuación de Ejecutabilidad en Tiempo de Ejecución: Se utiliza una rúbrica de ejecutabilidad (Tabla I) para evaluar si un control es apto para ser un guardarraíl de ejecución. Los criterios incluyen:
- Momento del daño: ¿Debe prevenirse antes de la ejecución?
- Observabilidad: ¿El estado y contexto son observables por la máquina?
- Determinismo: ¿La regla es operativa y clara o requiere interpretación abierta?
- Reversibilidad: ¿Es difícil deshacer el error si no se interviene?
- Carga de juicio: ¿Requiere juicio ético/social humano?
Asignación de Capas: Basándose en la puntuación anterior, el control se asigna a una de las cuatro capas:
- Capa de Objetivo de Gobernanza: Intención normativa y propiedad.
- Capa de Diseño (Design-time): Arquitectura, principio de menor privilegio, límites de herramientas.
- Capa de Ejecución (Runtime): Validación de acciones, políticas, puertas de aprobación, detección de anomalías.
- Capa de Aseguramiento (Assurance): Telemetría, auditorías, revisión de incidentes.
- Escalación Humana: Se asigna por defecto a decisiones ambiguas, de alto impacto o baja determinación.

3. Contribuciones Clave

Distinción Conceptual: Separa claramente los objetivos de gobernanza, los controles técnicos, los guardarraíles de ejecución y la evidencia de aseguramiento, asignándoles roles diferentes.
Método de Traducción: Introduce un marco práctico centrado en la tupla de control explícita, la rúbrica de ejecutabilidad en tiempo de ejecución y la lógica de asignación de capas.
Estudio de Caso Aplicado: Demuestra la metodología en un agente de compras empresariales, mostrando cómo traducir requisitos de estándares a controles específicos.
Agenda de Evaluación: Propone criterios para evaluar la calidad de la traducción, incluyendo fidelidad de la política, calidad de la intervención, cobertura de trayectorias y completitud de la evidencia.

4. Resultados y Ejemplo Práctico

En el estudio de caso del agente de compras, el método revela que:

Altamente ejecutables en tiempo de ejecución: Requisitos como "solo proveedores aprobados pueden recibir pedidos" o "compras > 5.000€ requieren aprobación humana". Estos tienen estados observables y reglas deterministas.
Baja ejecutabilidad en tiempo de ejecución: Requisitos como "el ranking de proveedores debe ser justo y contestable". Estos requieren juicio contextual y no pueden codificarse de forma segura como reglas pre-ejecución deterministas; deben manejarse mediante diseño, auditoría y revisión humana.
Importancia del Diseño: Los guardarraíles de ejecución funcionan mejor cuando el diseño previo ya ha restringido el espacio de acciones (ej. credenciales de menor privilegio). Un agente con acceso amplio no puede hacerse seguro solo con filtrado en tiempo de ejecución.

5. Significado e Implicaciones

Cambio de Paradigma: El artículo argumenta que los estándares no deben compilarse directamente en guardarraíles, sino guiar la colocación de controles a través de la arquitectura, la política de ejecución, la escalación humana y la auditoría.
Definición de Guardarraíles: Los guardarraíles de ejecución deben reservarse exclusivamente para controles que sean observables, deterministas y sensibles al tiempo (donde la intervención es urgente y necesaria antes de que ocurra el daño).
Gobernanza Holística: Reconoce que la seguridad de los agentes no es solo un problema de filtrado en tiempo de ejecución, sino un sistema que abarca el diseño, la arquitectura, la supervisión humana y la evidencia de auditoría.
Utilidad Práctica: Ofrece a las organizaciones una disciplina para decidir qué requisitos de estándares se aplican en tiempo de ejecución y cuáles deben permanecer como restricciones de diseño o obligaciones de aseguramiento, evitando la automatización insegura de conceptos normativos complejos.

En conclusión, el papel propone un enfoque moderado pero esencial: la gobernanza de la IA agéntica requiere traducir la intención normativa en una arquitectura de capas, donde los guardarraíles de ejecución son solo una parte (aunque crítica) de un sistema de control más amplio.