Governing Actions, Not Agents: Institutional Attestation as a Governance Model for Autonomous AI Systems

Resumen Técnico: Gobernar Acciones, No Agentes

Planteamiento del Problema
Los agentes de IA autónomos realizan cada vez más acciones consecuentes e irreversibles (por ejemplo, prescripción clínica, despliegue de software) sin la aprobación humana en cada paso. Los enfoques de gobernanza existentes suelen instrumentar el tiempo de ejecución del agente para interceptar llamadas a herramientas, clasificar el comportamiento y hacer cumplir la política basándose en el contexto de ejecución observado (nombres de herramientas, parámetros, formas de respuesta). Sin embargo, estos mecanismos fallan al gobernar acciones cuya corrección depende de hechos sobre el estado del mundo que residen en sistemas externos autoritativos (por ejemplo, si se verificó una interacción farmacológica, si una compilación fue exitosa o si una licencia es válida). El artículo argumenta que monitorear el razonamiento de un agente o su mecánica de invocación de herramientas es insuficiente para acciones de alto riesgo donde la validez de la acción depende de una verificación externa e independiente.

Metodología: Modelo de Atestación Institucional
El artículo propone un modelo de gobernanza computacional derivado de la gobernanza institucional de los actores humanos autónomos (por ejemplo, médicos, jueces). En lugar de gobernar la deliberación del agente, el modelo gobierna la acción en el punto de ejecución mediante la exigencia de evidencia atestada independientemente. El modelo se implementa como un "Centro de Acción de Confianza Cero" (prueba de concepto disponible en github.com/jsalfeld/zta-hub) y opera a través del "Patrón de Mensajero" (Courier Pattern):

1. Declaración de Intención: El agente solicita autorización para una acción específica. El Centro de Gobernanza emite un identificador de intención único y criptográficamente aleatorio (token de vinculación) y devuelve una lista de atestaciones requeridas definidas en contratos de habilidades legibles por máquina.
2. Recolección de Evidencia: El agente actúa como un mensajero, contactando a fuentes autoritativas independientes (oráculos) para recolectar atestaciones firmadas. Cada oráculo verifica una precondición específica y devuelve un sobre firmado (usando, por ejemplo, Ed25519) que contiene el ID de la fuente, el ID de la intención, la expiración y la carga útil (payload). El agente no puede fabricar estas firmas ya que no posee las claves privadas de los oráculos.
3. Presentación y Evaluación: El agente presenta las atestaciones recolectadas al Centro. El Centro realiza un proceso de verificación:
   • Verificación de Firma: Valida las firmas contra claves públicas pre-registradas.
   • Vinculación de Intención: Confirma que el ID de intención en cada atestación coincida con la solicitud declarada, evitando la suplantación o el reenvío (replay).
   • Frescura: Comprueba que las atestaciones estén dentro de su ventana de validez.
   • Integridad: Asegura que todas las atestaciones requeridas estén presentes.
   • Ensamblaje de Contexto: Fusiona las cargas útiles verificadas en un contexto de política.
4. Evaluación de Política Determinista: El Centro evalaza una política declarativa (usando, por ejemplo, Cedar o Rego) contra el contexto ensamblado. La postura por defecto es "denegar".
5. Autorización Condicional: Si la política lo permite, el Centro ejecuta la acción o emite un token de capacidad de alcance estrecho y firmado.
6. Auditoría: La decisión, toda la evidencia de soporte y la regla aplicada se añaden a un registro de auditoría a prueba de manipulaciones (utilizando técnicas de cadena de hashes o árboles de Merkle), lo que permite la reverificación independiente por parte de terceros.

Contribuciones Clave

• Formalización de la Gobernanza Institucional: El artículo formaliza el patrón de gobernar acciones en lugar de agentes, traduciendo los precedentes institucionales humanos (separación de funciones, atestación independiente) en una arquitectura computacional para la IA.
• El Patrón de Mensajero: Un mecanismo donde el agente retiene la plena autonomía sobre la planificación y el razonamiento, pero no posee autoridad de ejecución para las acciones gobernadas, actuando únicamente para ensamblar evidencia de fuentes independientes.
• Vinculación de Intención e Integridad de la Transacción: Un marco criptográfico donde las atestaciones están vinculadas a una intención de acción específica, evitando ataques de reenvío y asegurando que la evidencia no pueda ser desprendida de su contexto.
• Composición de Acciones: El modelo permite que la gobernanza se componga; una acción exitosa genera un recibo de ejecución firmado que puede servir como una precondición (evidencia verificada) para acciones subsecuentes.
• Descubrimiento Escalable de Gobernanza: Los requisitos de gobernanza se publican como contratos de habilidades legibles por máquina, lo que permite introducir nuevas acciones, atestadores y oráculos sin modificar el agente o la lógica de evaluación del Centro.

Resultados e Ilustraciones
El artículo presenta una implementación de prueba de concepto e ilustra el modelo con dos ejemplos:

1. Despliegue de Software: Un agente que busca desplegar código debe recolectar atestaciones firmadas de un pipeline de CI (pruebas superadas), un oráculo de revisión de código (aprobaciones) y un oráculo de escaneo de seguridad (verificaciones de vulnerabilidades). El Centro verifica estos elementos contra una política de Cedar antes de autorizar el despliegue.
2. Prescripción Clínica: Un agente que prescribe medicación debe recolectar atestaciones de un EHR (estado del paciente), un oráculo de interacción de fármacos y un oráculo de licencia de la DEA. La política incluye lógica para la composición de acciones, requiriendo evidencia de que una acción previa (por ejemplo, la liberación de registros médicos para pacientes en transferencia) se ejecutó exitosamente bajo el mismo régimen de gobernanza.

Significancia y Reivindicaciones
El artículo afirma articular una composición de primitivas bien establecidas (verificación de confianza cero, seguridad de capacidades, evaluación de política determinista, registros a prueba de manipulaciones) en un modelo de gobernanza institucional unificado. Su significancia radica en abordar un modo de falla específico de las capas de seguridad actuales: acciones que son localmente bien formadas (herramienta correcta, parámetros plausibles) pero sustantivamente incorrectas porque dependen de hechos externos no verificados.

El modelo es particularmente relevante para el problema del "agente rebelde" (rogue agent), donde un agente comprometido opera dentro de alcances autorizados pero persigue objetivos adversarios; el monitoreo del comportamiento en tiempo de ejecución es estructuralmente ineficaz aquí porque las acciones individuales se ajustan a los patrones esperados. Al requerir el filtrado por evidencia basado en hechos atestados independientemente, el modelo asegura que las acciones consecuentes solo se permitan cuando las precondiciones del mundo real estén verificadas.

Los autores declaran explícitamente que el problema abierto no es primordialmente técnico sino organizacional: determinar qué acciones ameritan este nivel de gobernanza y qué evidencia es requerida. El modelo garantiza la ejecución fiel de una política establecida, pero no asegura la corrección de la política misma ni la alineación de la intención declarada del agente con los objetivos humanos. Está diseñado para complementar, no para reemplazar, los mecanismos de gobernanza en tiempo de ejecución, abordando el "límite" de la acción en lugar del "camino" del razonamiento.