Position: A Three-Layer Probabilistic Assume-Guarantee Architecture Is Structurally Required for Safe LLM Agent Deployment

Resumen Técnico: Una Arquitectura Probabilística de Tres Capas de Suposición–Garantía para el Despliegue Seguro de Agentes LLM

1. Declaración del Problema

El despliegue de agentes de Modelos de Lenguaje Grande (LLM) en entornos críticos para la seguridad presenta un desafío estructural para la garantía en tiempo de ejecución que no puede resolverse mediante mecanismos de aplicación de una sola capa. A diferencia de la generación de texto estática, los agentes LLM participan en una ejecución de bucle cerrado donde los planes generados influyen en el mundo físico y en las observaciones futuras. El artículo argumenta que la operación segura requiere la satisfacción simultánea de tres dimensiones distintas:

1. Intención Semántica y Cumplimiento de Políticas: Alineación con las instrucciones del usuario, restricciones éticas y reglas del dominio.
2. Validez Ambiental: Verificación de que el estado actual del mundo se encuentra dentro del Dominio de Diseño Operativo (ODD).
3. Factibilidad Dinámica: Aseguramiento de que la trayectoria de ejecución satisface las restricciones de seguridad física (por ejemplo, evitación de colisiones, límites de fuerza).

El problema central es que estas tres dimensiones dependen de conjuntos de información estrictamente distintos que se vuelven disponibles en diferentes etapas de la ejecución. La intención semántica es conocida a priori; la validez ambiental requiere datos de sensores en el momento de la ejecución; y la factibilidad dinámica depende de la trayectoria del bucle de control durante la ejecución. El artículo postula que cualquier arquitectura que colapse estas dimensiones en una sola capa de abstracción necesariamente deja al menos una dimensión sin certificación, ya que ninguna única barrera de seguridad puede acceder a la información necesaria para las tres simultáneamente. La evidencia empírica de puntos de referencia (por ejemplo, AgentSafetyBench) respalda esto, mostrando que los fallos de seguridad se concentran en las dimensiones ambiental y física más allá del alcance de los controles puramente semánticos.

2. Metodología: La Arquitectura de Contratos Probabilísticos de Tres Capas

Para abordar esta insuficiencia estructural, el artículo propone una Arquitectura Probabilística de Suposición–Garantía (A/G) de Tres Capas. Este marco trata la seguridad no como una prueba determinista, sino como una composición de contratos probabilísticos, donde cada capa hace cumplir una dimensión de seguridad específica basada en la información disponible en esa etapa.

La arquitectura consta de tres capas compuestas secuencialmente, cada una definida por un contrato $\Sigma_i = (A_i, \Gamma_i)$, donde $A_i$ es una suposición sobre las entradas y $\Gamma_i$ es una garantía probabilística sobre las salidas:

• Capa 1: Capa de Garantía del Usuario ($\Sigma_U$)

  • Conjunto de Información ($I_U$): Intención del usuario, política, metadatos de rol y reglas éticas. No hay observación del mundo disponible.
  • Función: Valida el plan generado $p$ frente a la alineación semántica (cognitiva, regulatoria, ética) y la autorización del usuario.
  • Contrato: Si la solicitud está autorizada ($A_U$), la capa garantiza que el plan apunta solo a ubicaciones autorizadas y no contiene violaciones de políticas ($\Gamma_U$). Esta garantía sirve como suposición para la siguiente capa.
  • Mecanismo: Utiliza métodos neuro-simbólicos para formalizar la intención informal y las restricciones de políticas.

• Capa 2: Capa de Garantía Operativa ($\Sigma_O$)

  • Conjunto de Información ($I_O$): Estado del mundo estimado $\hat{w}$, datos de sensores $\xi$ y especificaciones del ODD.
  • Función: Determina si el agente está certificado para actuar en el estado actual del mundo y define el envelope de autonomía (por ejemplo, límites de velocidad, acciones permitidas).
  • Contrato: Asumiendo que el plan pasó la Capa de Usuario ($A_O \equiv \Gamma_U$), la capa garantiza que la ejecución permanece dentro del ODD ($W_{ODD}$) y que los subplanes que violan las restricciones del ODD son bloqueados ($\Gamma_O$).
  • Mecanismo: Emplea verificaciones deterministas de validez sobre las estimaciones del estado del mundo para asegurar la auditabilidad, manejando la incertidumbre probabilística aguas arriba.

• Capa 3: Capa de Garantía Funcional ($\Sigma_F$)

  • Conjunto de Información ($I_F$): Trayectorias de estado completo $x(t)$, entradas de control $u(t)$ y dinámicas del sistema.
  • Función: Hace cumplir la seguridad a la frecuencia del bucle de control durante la actuación.
  • Contrato: Asumiendo la validez de la Capa Operativa ($A_F \equiv \Gamma_O$), la capa garantiza que no hay colisiones y el cumplimiento de las restricciones físicas (por ejemplo, límites de fuerza) ($\Gamma_F$).
  • Mecanismo: Combina monitoreo en tiempo de ejecución basado en especificaciones (Lógica Temporal de Señales), Funciones de Barrera de Control (CBF) para intervención mínima y síntesis basada en simulación.

Límites de Seguridad Composicional:
La probabilidad de seguridad a nivel del sistema se deriva mediante la regla de la cadena de probabilidad. Dado que $\Gamma_U \implies A_O$ y $\Gamma_O \implies A_F$, la probabilidad de seguridad del sistema es:
$$Pr(\text{seguro}) = p_U \cdot p_{O|U} \cdot p_{F|OU}$$
donde $p_{O|U}$ y $p_{F|OU}$ son probabilidades condicionales que reflejan la eficacia del filtrado aguas arriba. El artículo proporciona cuatro caracterizaciones de este límite (B1–B4), que van desde límites inferiores conservadores de Fréchet–Bonferroni (usando solo marginales) hasta la descomposición exacta de la regla de la cadena (B4), lo que permite una certificación modular por capas.

3. Contribuciones Clave

• Argumento Estructural para Tres Capas: El artículo proporciona una prueba formal (Apéndice B) de que tres etapas certificadas independientemente son estructuralmente necesarias. Demuestra que cualquier arquitectura con menos de tres capas debe violar la línea temporal causal de la disponibilidad de información (por ejemplo, certificar la seguridad operativa antes de que existan datos de sensores) o reconstruir implícitamente la estructura de tres etapas dentro de un solo componente, perdiendo así la verificabilidad composicional.
• Descomposición Basada en Información: A diferencia de taxonomías anteriores basadas en artefactos de la tubería (por ejemplo, objetivos, planes, herramientas), esta arquitectura está impulsada por el orden temporal de la disponibilidad de información ($I_U \subset I_O \subset I_F$). Esta distinción asegura que las certificaciones dependan del dominio de información correcto en cada etapa.
• Marco Probabilístico de Suposición–Garantía: El artículo adapta los contratos A/G a la naturaleza no estacionaria y no i.i.d. de los agentes LLM. Va más allá de las garantías binarias hacia límites probabilísticos, reconociendo que las salidas de los LLM son inherentemente estocásticas y que los entornos son inciertos.
• Bucle de Garantía Bidireccional: La arquitectura está diseñada como un bucle en vivo donde las señales de seguridad ($s_F, s_O$) se propagan de abajo hacia arriba. Si una capa inferior detecta una violación (por ejemplo, un riesgo de colisión), desencadena el recálculo del plan en la Capa de Usuario, en lugar de simplemente detener la ejecución.

4. Resultados y Análisis

Como artículo de posición, el trabajo no presenta nuevos puntos de referencia empíricos, sino que sintetiza la literatura existente para respaldar sus afirmaciones estructurales:

• Consistencia de los Puntos de Referencia: El artículo señala que los agentes actuales (por ejemplo, en AgentSafetyBench) fallan significativamente en la seguridad conductual y ambiental (30,4 %) en comparación con la seguridad de contenido (68,4 %), lo que se alinea con el argumento de que las barreras de seguridad semánticas de una sola capa son insuficientes.
• Límites Teóricos: El artículo deriva los límites matemáticos (B1–B4) para la seguridad del sistema. Ilustra, mediante un ejemplo en curso (un robot cuidador), que el límite de la regla de la cadena (B4) puede producir probabilidades de seguridad significativamente más altas (por ejemplo, 0,857) en comparación con un producto ingenuo de marginales (0,787) si el filtrado aguas arriba es efectivo.
• Análisis de Sensibilidad: El análisis muestra que el sistema es sensible a la capa más débil; una degradación en la probabilidad de una capa degrada el límite de todo el sistema de forma multiplicativa, y ningún fortalecimiento de otras capas puede compensar una brecha en una de ellas.

5. Significado y Problemas Abiertos

El artículo afirma que la arquitectura propuesta de tres capas es la estructura de certificación mínimamente viable para el despliegue seguro de agentes LLM. Argumenta que el campo está produciendo mecanismos de seguridad más rápido que la infraestructura teórica para componerlos y certificarlos.

El artículo identifica explícitamente tres problemas abiertos que deben resolverse para transitar de este marco teórico a un estándar desplegable:

1. Estimación de Límites a partir de Rastros No I.I.D.: Los métodos estadísticos estándar (como los límites PAC) fallan porque los rastros de LLM son no estacionarios y dependientes. Se necesitan nuevos métodos (por ejemplo, límites de martingala, predicción conformada para datos no intercambiables) para estimar las probabilidades condicionales $p_{O|U}$ y $p_{F|OU}$.
2. Degradación Elegante bajo Deriva de Despliegue: Los contratos actuales son frágiles; si las suposiciones se violan, las garantías se vuelven vacías. El artículo propone "contratos robustos" que permitan una degradación proporcional de las garantías cuando las suposiciones se violan ligeramente, permitiendo una operación controlada durante cambios distribucionales.
3. Extensión a Entornos Multiagente: El marco actual aborda agentes individuales. Los sistemas multiagente introducen nuevos modos de fallo (por ejemplo, manipulación de creencias entre agentes) que requieren un cuarto dominio de información (procedencia de mensajes entre agentes) y una estructura de certificación revisada.

En conclusión, el artículo afirma que el despliegue seguro de agentes LLM no es meramente un desafío de ingeniería de construir barreras de seguridad más fuertes, sino un requisito estructural para una arquitectura escalonada basada en contratos que respete el orden causal de la información. El marco propuesto proporciona la base teórica necesaria para la certificación de seguridad modular y composicional en entornos dinámicos e inciertos.