Bayesian Ego-graph Inference for Networked Multi-Agent Reinforcement Learning

Resumen Técnico: BayesG para MARL en Redes

1. Planteamiento del Problema

El Aprendizaje por Refuerzo Multiagente (MARL) en entornos de red (Networked-MARL) enfrenta un desafío fundamental: los agentes descentralizados deben tomar decisiones autónomas basándose en observaciones locales y comunicación restringida a través de grafos físicos fijos (como intersecciones de tráfico o sensores).

• Limitaciones de los métodos existentes:
  • Los enfoques actuales suelen asumir vecindarios estáticos, donde los agentes interactúan con todos sus vecinos físicos independientemente de la relevancia contextual. Esto genera ineficiencias, intercambio de mensajes innecesario y degradación del rendimiento en entornos dinámicos (ej. congestión de tráfico variable).
  • Los métodos que aprenden grafos dinámicos (como CTDE - Entrenamiento Centralizado con Ejecución Descentralizada) dependen del acceso a un estado global y una infraestructura centralizada, lo cual es impráctico en sistemas reales descentralizados donde la información global no está disponible.
• La pregunta clave: ¿Pueden los agentes descentralizados aprender a adaptar dinámicamente su estructura de interacción utilizando solo observaciones locales y retroalimentación de la tarea?

2. Metodología: BayesG

Los autores proponen BayesG, un marco de trabajo de actor-crítico descentralizado que aprende estructuras de interacción latentes y dispersas mediante inferencia variacional bayesiana.

Componentes Clave:

• Política Basada en Grafos Estocásticos:
  En lugar de usar una observación fija de todos los vecinos, cada agente $i$ condiciona su decisión en un subgrafo muestreado sobre su vecindario físico. El agente opera sobre un "grafo ego" (una subred local) y muestrea una máscara de comunicación latente binaria ($Z_i$) para guiar el paso de mensajes y el cálculo de la política.

• Inferencia Variacional Bayesiana:
  El aprendizaje de la estructura del grafo se formula como un problema de inferencia bayesiana.

  • Variable Latente: La máscara de bordes $Z_i$ se trata como una variable latente.
  • Distribución Posterior: Se busca aproximar la distribución posterior $p(Z_i | G^{env}_{V_i}, D_i)$, donde $G^{env}_{V_i}$ es el grafo físico y $D_i$ son los datos locales del agente (estados de vecinos, trayectorias, políticas).
  • Aproximación Variacional: Se utiliza una distribución variacional $q(Z_i; \phi_i)$ (parametrizada por logits aprendibles) para aproximar la posterior. Se emplea la reparametrización Gumbel-Softmax para permitir el aprendizaje basado en gradientes a través del muestreo discreto de bordes.

• Objetivo de Entrenamiento (ELBO):
  El marco integra la inferencia del grafo con el aprendizaje de la política mediante la maximización del Límite Inferior de Evidencia (ELBO). La función de pérdida total combina:

  1. Pérdida del Actor (Política): Optimizada bajo el subgrafo muestreado.
  2. Regularización KL: Minimiza la divergencia entre la distribución variacional aprendida y una distribución previa (Bernoulli), fomentando la dispersidad (pruning) de la red.
  3. Entropía: Se añade entropía tanto a la selección de acciones como a la selección de bordes para evitar el colapso prematuro a grafos deterministas y fomentar la exploración.

• Arquitectura Descentralizada:
  Cada agente infiere su propia estructura de comunicación local sin supervisión global. El entrenamiento es end-to-end, optimizando simultáneamente los parámetros de la política ($\theta$), el valor crítico ($\omega$) y los parámetros de inferencia del grafo ($\phi$).

3. Contribuciones Principales

1. Política Estocástica Basada en Grafos: Propone un nuevo paradigma donde cada agente condiciona sus decisiones en un subgrafo muestreado de su vecindario físico, permitiendo una adaptación contextual.
2. Formulación Bayesiana: Plantea el aprendizaje de grafos latentes como inferencia variacional, tratando las máscaras de bordes como distribuciones posteriores restringidas por la topología del entorno y datos locales.
3. Algoritmo End-to-End: Desarrolla un algoritmo que integra la inferencia de grafos variacionales con el aprendizaje actor-crítico, optimizando conjuntamente la topología de interacción y la estrategia de decisión.

4. Resultados Experimentales

Los autores evaluaron BayesG en cinco escenarios de control adaptativo de semáforos (ATSC) utilizando el simulador SUMO, desde redes sintéticas hasta escenarios de gran escala basados en Manhattan.

• Escenarios:
  • Medium-scale: ATSC_Grid (5x5) y Monaco (28 intersecciones).
  • Large-scale: NewYork33, NewYork51 y NewYork167 (hasta 167 agentes).
• Comparativa: Se comparó contra 6 líneas base (IA2C, ConseNet, FPrint, LToS, CommNet, NeurComm).
• Rendimiento:
  • BayesG superó consistentemente a todas las líneas base en términos de recompensa acumulada (menor longitud de cola de vehículos).
  • Mostró una convergencia más rápida, especialmente en entornos grandes, al reducir el ruido de las comunicaciones irrelevantes.
  • Demostró una escalabilidad superior en escenarios con 167 agentes, donde los métodos basados en comunicación fija o sin comunicación sufrieron de inestabilidad o estancamiento.
• Interpretabilidad y Análisis de Casos:
  • Las visualizaciones muestran que BayesG aprende a priorizar la comunicación desde intersecciones de baja congestión hacia zonas congestionadas, actuando de manera proactiva para aliviar la presión aguas abajo.
  • El análisis de ablación confirmó que el uso de una máscara aprendida (en lugar de aleatoria o sin máscara) y la combinación de características de estado, trayectoria y política son cruciales para el éxito.

5. Significado e Impacto

El trabajo de BayesG es significativo por varias razones:

• Viabilidad en Entornos Reales: Aborda la brecha entre los métodos teóricos que requieren estado global y la realidad de los sistemas descentralizados con restricciones de comunicación física.
• Eficiencia de Comunicación: Al aprender dinámicamente qué vecinos son relevantes, el método reduce el ancho de banda y el ruido computacional, lo cual es vital para sistemas a gran escala como redes de tráfico o redes eléctricas inteligentes.
• Robustez y Adaptabilidad: La naturaleza estocástica y bayesiana permite a los agentes manejar la incertidumbre y adaptarse a dinámicas no estacionarias (como cambios repentinos en el tráfico) mejor que los enfoques deterministas.
• Nueva Dirección en MARL: Establece un precedente para el aprendizaje de estructuras de coordinación "conscientes de la topología" sin depender de infraestructuras centralizadas, abriendo nuevas oportunidades para el aprendizaje escalable en sistemas de agentes en red.

En conclusión, BayesG ofrece un enfoque principiado para la cooperación estructurada en entornos descentralizados, demostrando que la inferencia bayesiana de grafos latentes puede mejorar significativamente la eficiencia, el rendimiento y la interpretabilidad en tareas de coordinación multiagente complejas.