Resumen Técnico: Agentes de LLM Probablemente Auditables y Seguros a partir de Ontologías Autoradas por Humanos

1. Declaración del Problema

Los agentes de Modelos de Lenguaje de Gran Escala (LLM) exhiben un comportamiento no determinista y alucinaciones, lo que plantea riesgos significativos en dominios de seguridad crítica que requieren auditabilidad lineal, como el cumplimiento sanitario y la seguridad financiera. Los enfoques actuales para la seguridad de agentes dependen de "barreras de protección" operativas (por ejemplo, intercambiar arneses de agentes o utilizar LLMs como jueces) que carecen de garantías semánticas. Específicamente, los sistemas multi-agente suelen sufrir anomalías de "Sesgo de Escritura" (Write Skew), donde los agentes que actúan sobre porciones locales de estado disjuntas proponen acciones de forma independiente que, al combinarse, violan los invariantes globales del sistema (por ejemplo, exceder un presupuesto o violar restricciones regulatorias). Los marcos existentes tienen dificultades para proporcionar una garantía matemática de que las transiciones de estado global preservarán siempre estos invariantes, independientemente del comportamiento del agente o de entradas externas adversarias.

2. Metodología

2.1 Arquitectura Agentic Redux

El artículo introduce Agentic Redux, una arquitectura de agentes inspirada en el patrón de gestión de estado Redux. Separa el sistema en tres capas:

1. Sub-agentes: Cada agente opera en una "porción" (slice) aislada del estado global. Los agentes proponen acciones basadas en su visión local, pudiendo utilizar LLMs o herramientas. No pueden modificar directamente el estado global ni observar las porciones de estado de otros agentes.
2. Meta-agente: Un adjudicador central con visibilidad total del estado global. Recibe propuestas de los sub-agentes y las evalúa frente a un conjunto de invariantes declarados (reglas que siempre deben ser ciertas sobre el estado global).
3. Disciplina de Compromiso (Commit Discipline): El meta-agente es la única entidad permitida para cambiar el estado global. Solo realiza el compromiso de una transición de estado si el estado resultante preserva todos los invariantes. Si una propuesta viola un invariante, es rechazada o escalada.

2.2 Diseño de Agentes Basado en Ontología (Ontology-First)

Para aplicar Agentic Redux a dominios específicos, los autores proponen una metodología llamada Diseño de Agentes Basado en Ontología:

1. Ontologización: Un experto humano construye una "ontología inferior" del dominio del problema utilizando la Ontología Formal Básica (BFO). Esto define continuantes independientes (por ejemplo, Pacientes, Vulnerabilidades), procesos y roles.
2. Derivación de Roles: Se asigna un LLM para analizar la ontología y derivar los roles de agente. Esto implica agrupar procesos con huellas de estado superpuestas y asignarlos a roles. El objetivo son roles finos que se adhieran al Principio de Menor Privilegio (PoLP), asegurando que los agentes solo vean el estado necesario para sus tareas específicas.
3. Derivación de Invariantes: Un LLM extrae los invariantes del sistema de la ontología, clasificándolos como locales (ejecutables por la porción de estado de un solo agente) o transversales (que requieren la visión global del meta-agente).
4. Construcción del Módulo de Dominio: La ontología y los roles/invariantes derivados se convierten en un Módulo de Dominio tipado, que luego se ejecuta en el núcleo (kernel) de Agentic Redux.

2.3 Verificación Formal

El artículo utiliza el cálculo lambda tipado para modelar formalmente la arquitectura Agentic Redux. El sistema se define como un "Functor de Arquitectura" que toma un Módulo de Dominio como entrada. Los autores demuestran que para cualquier ejecución bien tipada:

• Preservación de Invariantes: Si el estado inicial satisface los invariantes, cada estado alcanzable en cualquier ejecución (incluyendo aquellas con salidas de LLM no deterministas o programación adversaria) preserva dichos invariantes.
• Confinamiento de Agentes: Los agentes están matemáticamente restringidos a observar y afectar únicamente las porciones de estado asignadas.
• Auditabilidad Lineal: El sistema mantiene un libro de contabilidad de solo adición donde cada decisión (aprobación, rechazo o escalada) se registra con una prueba de por qué se tomó la decisión.

3. Contribuciones Clave

• Arquitectura Agentic Redux: Un nuevo marco de agentes que proporciona una garantía semántica de seguridad mediante la imposición de la preservación de invariantes a través de un meta-agente centralizado, eliminando eficazmente las anomalías de Sesgo de Escritura.
• Pruebas Formales: La primera aplicación del cálculo lambda tipado para demostrar que las ejecuciones de agentes de LLM están garantizadas semánticamente para ser correctas (preservación de invariantes) y linealmente auditables, incluso cuando los sub-agentes son defectuosos, maliciosos o alucinan.
• Diseño de Agentes Basado en Ontología: Una metodología para derivar semi-automáticamente marcos de agentes a partir de ontologías autoradas por humanos, aprovechando los LLM para la extracción de roles e invariantes mientras se mantiene la construcción de la ontología crítica en manos humanas.
• Extensión de Cola de Consejeros (Counselor Queue): Un mecanismo para manejar casos de borde donde se requiere la intervención humana. El sistema permite que un "Consejero" humano anule decisiones, pero el sistema rastrea formalmente estas anulaciones en el registro de auditoría, distinguiendo entre "Compromisos de Consejero Seguros" (que preservan los invariantes) y violaciones de política.
• Casos de Estudio de Grado de Producción: Los autores demuestran la arquitectura en dos dominios distintos:
  1. Cumplimiento de Facturación Médica (UDT): Asegurar que la facturación de Pruebas de Detección de Drogas en Orina (Urine Drug Test) cumpla con regulaciones complejas y dependientes del tiempo (por ejemplo, niveles de abstinencia) donde agentes clínicos y de facturación independientes podrían causar errores de cobertura.
  2. Divulgación de Vulnerabilidades de Seguridad: Gestionar el flujo de divulgación de vulnerabilidades de software, asegurando la coordinación entre el desarrollo de parches, el cumplimiento de embargos y la atribución de CVE sin filtrar información sensible entre divulgaciones concurrentes.

4. Resultados

• Garantías Teóricas: El artículo presenta el Teorema 1 (Preservación de Invariantes), demostrando que las ejecuciones de Agentic Redux nunca alcanzan un estado que viole los invariantes declarados, siempre que el estado inicial sea válido. El Teorema 2 (Integridad del Registro de Auditoría) demuestra que el sistema genera un registro lineal y de solo adición de todas las decisiones con plena procedencia. El Corolario 1 establece que las ejecuciones de Sesgo de Escritura son estructuralmente imposibles bajo esta arquitectura.
• Implementación: Se proporciona el código funcional para el núcleo de Agentic Redux y los dos ejemplos de dominio (Cumplimiento de UDT y Divulgación de Vulnerabilidades de Seguridad) en un repositorio de apoyo. El código demuestra la auto-derivación de agentes a partir de ontologías BFO.
• Comparación con Patrones Existentes: Se muestra que la arquitectura es isomórfica al marco de "Agentes de Riesgo" utilizado por CashApp, lo que sugiere que Agentic Redux captura un patrón arquitectónico "natural" para flujos de trabajo complejos y regulados.

5. Significación y Reivindicaciones

El artículo afirma que Agentic Redux desplaza la carga de la seguridad del monitoreo operativo en tiempo de ejecución al diseño arquitectónico. Al utilizar propiedades de la teoría de tipos, la arquitectura asegura que "los malos comportamientos nunca pueden suceder" a nivel semántico, independientemente de la imprevisibilidad de los LLM que actúan como sub-agentes.

Los autores enfatizan que este enfoque permite a los ingenieros construir sistemas donde el "arnés" (el mecanismo de seguridad) no necesita ser reemplazado a medida que los LLM evolucionan, porque la seguridad está garantizada por el sistema de tipos de la arquitectura, no por la salida de un modelo específico. La metodología de Diseño de Agentes Basado en Ontología se presenta como una forma escalable de traducir la experiencia de dominio humano en marcos de agentes provablemente seguros, centrando el esfuerzo humano en la ontología (la "verdad") y aprovechando los LLM para la derivación mecánica de roles y código.

El artículo delimita explícitamente sus reivindicaciones a la seguridad (prevenir cosas malas) y la auditabilidad, señalando que la vitalidad (liveness - asegurar que las cosas buenas eventualmente sucedan) y las métricas de complejidad se abordan en trabajos futuros. Reconoce que, si bien la arquitectura evita las violaciones de invariantes, no evita que el sistema se comporte mal si los invariantes mismos están mal especificados; por lo tanto, la calidad de la ontología autorada por el humano sigue siendo el factor crítico.