Resumen Técnico: Blindaje Composicional Basado en Contratos para el Aprendizaje por Refuerzo Multi-Agente Seguro

Declaración del Problema

En el aprendizaje por refuerzo multi-agente (MARL) cooperativo, garantizar la seguridad durante el entrenamiento y el despliegue es un desafío cuando las restricciones de seguridad globales no pueden ser impuestas unilateralmente por ningún agente individual. En los "problemas de coordinación segura", la admisibilidad de la acción de un agente depende de las políticas no estacionarias de sus compañeros de equipo. Los enfoques estándar suelen depender del blindaje centralizado, que computa una relación de acción segura global, o del enmascaramiento unilateral (factorizado), donde cada agente restringe independientemente sus acciones basándose en suposiciones de peor escenario.

El artículo identifica una limitación crítica en el enmascaramiento unilateral: este a menudo descarta comportamientos seguros óptimos que requieren coordinación. Como ilustra el ejemplo motivador del artículo (Figura 1), si la acción segura del Agente A depende de que el Agente B elija una acción específica, un enmascaramiento puramente unilateral prohibirá la acción del Agente A para permanecer seguro contra todas las posibles acciones del Agente B. Esto conduce a una "descomposición cartesiana conservadora" que excluye acciones conjuntas coordinadas seguras y de alta recompensa. El objetivo es lograr una ejecución descentralizada (donde los agentes actúan basados en información local) mientras se recupera el comportamiento seguro óptimo para el equipo sin revertir al control centralizado en tiempo de ejecución.

Metodología

Los autores proponen el Blindaje Composicional Basado en Contratos, un marco que descompone una especificación de seguridad global compartida en contratos temporales locales. La metodología consta de tres fases principales:

1. Marco Formal y Supuestos

• Especificación Global: La seguridad se define mediante una única fórmula global $\Phi_{safe}$ en el fragmento de seguridad de la Lógica Temporal Lineal ($LTL_{safe}$).
• Contratos Locales: La especificación global se descompone en una tupla de obligaciones locales $C = \langle \phi_i \rangle_{i=1}^n$, donde cada $\phi_i$ es una fórmula $LTL_{safe}$ sobre el alfabeto local del agente $i$.
• Asunción-Garantía Circular: A diferencia de trabajos previos que requieren estructuras de dependencia acíclicas, este enfoque permite suposiciones circulares. El agente $i$ asume que todos los demás agentes $j \neq i$ cumplen con sus obligaciones $\phi_j$. Esta circularidad se resuelve no mediante un orden fijo, sino certificando la tupla completa simultáneamente.

2. Síntesis de Blindaje (Fuera de línea / Offline)

El proceso de síntesis construye una biblioteca de contratos certificados:

• Construcción de Autómatas: Cada obligación local $\phi_i$ se compila en un autómata de seguridad determinista $A^C_i$ con un conjunto de "estados malos" que representan violaciones.
• Producto de Contratos: Se construye un autómata producto global sobre el espacio de estados $S \times Q_1 \times \dots \times Q_n$.
• Certificación de Punto Fijo: Los autores computan un punto fijo mayor (la "región ganadora rectangular" $Win^\square_C$) utilizando un operador de predecesor de asunción-garantía. Esta región representa estados desde los cuales se puede mantener un producto cartesiano no vacío de máscaras de acción locales (un "rectángulo") tal que:
  1. La acción conjunta permanece dentro de la región ganadora.
  2. No se alcanzan estados malos.
• Criterios de Certificación: Una tupla de contratos se considera "certificada" si:
  1. La conjunción de las obligaciones locales implica semánticamente el objetivo de seguridad global ($C \models^\uparrow \Phi_{safe}$).
  2. El estado inicial del sistema se encuentra dentro de la región ganadora computada.
• Proyección: Una vez certificado, la región ganadora se proyecta para generar máscaras de acción locales para cada agente. Estas máscaras son "identificables por máscara localmente", lo que significa que un agente puede determinar sus acciones permitidas utilizando solo su historial de observación local y el identificador de contrato activo, sin necesidad de reconstruir las máscaras de los otros agentes.

3. Aprendizaje y Selección (En línea / Online)

• Construcción de la Biblioteca: Antes del entrenamiento, una búsqueda acotada enumera candidatos a tuplas de contratos (limitada por la profundidad de la fórmula y un lenguaje finito). Cada candidato es probado para su certificación. El conjunto de tuplas exitosas forma la Biblioteca Certificada ($\mathcal{L}_{cert}$).
• Selector de Bandidos: Durante el entrenamiento, un algoritmo de bandidos multi-armas no estacionario selecciona qué contrato de la biblioteca aplicar para un bloque de entrenamiento dado.
  • Cada contrato actúa como un "brazo".
  • El selector optimiza el retorno del equipo mientras garantiza la seguridad.
  • Utiliza una estrategia de Upper Confidence Bound con Descuento (D-UCB) para adaptarse a la naturaleza no estacionaria del proceso de aprendizaje (a medida que las políticas mejoran, el valor de diferentes contratos cambia).
• Garantía de Seguridad: El Teorema 3 garantiza que, siempre que el selector cambie de contrato solo en los límites de los episodios y siempre elija de la biblioteca pre-certificada, el sistema permanecerá seguro de extremo a extremo.

Principales Contribuciones

El artículo detalla cuatro contribuciones primarias:

1. Descomposición y Compilación: Un método para descomponer una especificación global compartida de $LTL_{safe}$ en obligaciones locales candidatas y compilarlas en autómatas de seguridad deterministas para la síntesis de blindaje.
2. Solidez Formal y Recuperabilidad: Garantías formales para el blindaje descentralizado basadas en el razonamiento de asunción-garantía circular y puntos fijos de producto de contratos. Los autores demuestran que, si la política determinista segura óptima es representable por un contrato en la biblioteca, el marco puede recuperarla.
3. Optimización bajo Certificación: Un mecanismo que utiliza la búsqueda de perfiles certificados acotados y la selección D-UCB para reducir el conservadurismo. Esto permite al sistema seleccionar contratos que exponen comportamientos coordinados de alto retorno sin sacrificar la seguridad determinista.
4. Evaluación Empírica: Evaluación extensiva en 6 entornos cooperativos multi-agente (incluyendo Flatland, RWARE y Pressure Plate) y 15 variantes algorítmicas, demostrando la efectividad del enfoque.

Resultados

La evaluación empírica compara los algoritmos propuestos Contract-IPPO y Contract-IQL contra algoritmos MARL estándar (IPPO, IQL, MAPPO) y varios baselines de blindaje (escudos unilaterales, escudos centralizados).

• Rendimiento: En entornos donde las máscaras factorizadas unilaterales son demasiado conservadoras (por ejemplo, RWARE, Pressure Plate, Connector), el blindaje basado en contratos mejora significativamente el retorno del equipo, convergiendo hacia el rendimiento de los escudos centralizados (como Shielded-Joint-PPO).
• Seguridad: La seguridad se impone estructuralmente; las curvas en la Figura 4 miden el retorno retenido, lo que implica que las violaciones de seguridad son prevenidas por las propias máscaras.
• Escalabilidad: En los entornos más grandes, la búsqueda acotada consideró hasta 12,001 perfiles, con hasta 390 certificados como seguros, demostrando la viabilidad del enfoque de enumeración fuera de línea.
• Hallazgos Específicos: En el entorno "Pressure Plate", los escudos factorizados estándar obligaban al corredor a mantenerse fuera de las regiones protegidas de las puertas para estar seguro contra cualquier comportamiento del poseedor de la placa. El enfoque basado en contratos permitió al corredor cruzar al confiar en el compromiso certificado de los poseedores de mantenerse en sus placas, recuperando el comportamiento coordinado óptimo.

Significado y Reivindicaciones

El artículo afirma abordar el compromiso fundamental en el MARL seguro entre la ejecución descentralizada y la coordinación óptima.

• Recuperación de la Coordinación: Los autores aseveran que su método recupera el "comportamiento seguro óptimo para el equipo" que suele perderse con los escudos puramente factorizados (unilaterales). Al permitir que los agentes confíen en supuestos circulares que son certificados simultáneamente, el sistema evita la "descomposición cartesiana conservadora" que descarta acciones conjuntas seguras.
• Seguridad de Extremo a Extremo: El marco separa la adaptación de la recompensa (aprendizaje) de la imposición de la seguridad (blindaje). El proceso de aprendizaje puede explorar y optimizar dentro de los límites de los contratos pre-certificados, asegurando que ningún comportamiento inseguro sea admitido durante el entrenamiento o el despliegue.
• Alcance Modesto: El artículo es modesto respecto a sus limitaciones. Reconoce que la capacidad de recuperar el óptimo global depende de la representabilidad de la política óptima dentro de la biblioteca finita de contratos locales. Si el lenguaje de contratos no es lo suficientemente expresivo (por ejemplo, si la profundidad $D$ es demasiado baja) para capturar la coordinación necesaria, el sistema no puede recuperar el óptimo global. Además, el enfoque actual depende de la enumeración exhaustiva (aunque acotada) de contratos, y se sugiere como trabajo futuro explorar heurísticas para encontrar contratos cercanos al óptimo sin la enumeración completa.

En resumen, el artículo presenta un enfoque riguroso y formalmente verificado para el MARL seguro que permite a los agentes descentralizados coordinarse eficazmente sin control centralizado en tiempo de ejecución, cerrando la brecha entre la verificación formal y la optimización del aprendizaje por refuerzo.