Bayesian Ego-graph Inference for Networked Multi-Agent Reinforcement Learning

1. 문제 정의 (Problem Statement)

네트워크형 다중 에이전트 강화학습 (Networked MARL) 은 자율주행, 도시 교통 제어, 스마트 그리드 등 분산 시스템에서 중요한 역할을 합니다. 기존 연구들은 주로 중앙 집중식 훈련과 분산 실행 (CTDE) 패러다임을 사용하지만, 이는 전역 상태 (Global State) 에 대한 접근과 중앙 인프라를 전제합니다. 이는 실제 세계의 분산 시스템 (지리적 제약, 통신 대역폭 제한, 국소 관측성) 에 비현실적입니다.

또한, 기존 네트워크형 MARL 방법론들은 정적인 (Static) 통신 그래프를 가정합니다. 에이전트가 물리적으로 연결된 모든 이웃과 무조건 정보를 교환하도록 설계되어 있어, 다음과 같은 문제가 발생합니다:

• 비효율적인 조정: 맥락과 무관한 이웃과의 불필요한 메시지 교환.
• 성능 저하: 동적 환경 (예: 교통 혼잡 변화) 에서 불필요한 노이즈가 학습을 방해함.
• 적응성 부재: 환경의 변화에 따라 상호작용 구조를 동적으로 조정하지 못함.

따라서, 국소 관측 데이터와 작업 피드백을 기반으로 에이전트가 상호작용 구조를 동적으로 학습하고 적응할 수 있는 방법이 필요합니다.

---

2. 제안 방법론: BayesG (Methodology)

저자들은 BayesG라는 새로운 분산형 에이전트 - 크리틱 (Actor-Critic) 프레임워크를 제안합니다. 이 방법은 베이지안 변분 추론 (Bayesian Variational Inference) 을 통해 **잠재적 상호작용 그래프 (Latent Interaction Graph)**를 학습합니다.

핵심 개념 및 메커니즘

1. 확률적 그래프 기반 정책 (Stochastic Graph-based Policy):

   • 각 에이전트는 물리적 이웃 (Physical Neighborhood) 에서 샘플링된 서브그래프에 기반하여 결정을 내립니다.
   • 에이전트 $i$는 자신의 '이그노그래프 (Ego-graph, 즉 자기 자신과 이웃으로 구성된 국소 서브그래프)' 내에서 잠재적인 통신 마스크 $Z_i$를 추론합니다.
   • 이 마스크는 이진 벡터로, 특정 이웃과의 통신을 유지 ($1$) 하거나 차단 ($0$) 하는지 결정합니다.

2. 베이지안 변분 추론 (Bayesian Variational Inference):

   • 통신 마스크 $Z_i$를 잠재 변수 (Latent Variable) 로 간주합니다.
   • 물리적 그래프 $G^{env}_{V_i}$와 에이전트 국소 데이터 $D_i$ (이웃 상태, 궤적, 정책 등) 가 주어졌을 때, 사후 확률 $p(Z_i | G^{env}_{V_i}, D_i)$를 근사합니다.
   • 변분 분포 $q(Z_i; \phi_i)$를 학습하여 이 사후 확률을 근사하며, Gumbel-Softmax 재파라미터화 기법을 사용하여 이산적인 엣지 샘플링을 통해 그래디언트 전파가 가능하게 합니다.

3. ELBO 목적 함수 (Evidence Lower Bound Objective):

   • 정책 학습과 그래프 추론을 통합하기 위해 **ELBO (Evidence Lower Bound)**를 최적화합니다.
   • 목표 함수 구성:
     • 가능도 항 (Likelihood): 그래프 조건부 정책 손실 ($L_{\theta, \phi}$). 에이전트가 샘플링된 서브그래프를 통해 얻은 보상을 최대화하도록 유도.
     • 사전 분포 항 (Prior): 엣지 마스크의 희소성을 유도하는 베르누이 사전 분포.
     • 엔트로피 항 (Entropy): 변분 분포의 엔트로피 ($-\log q$). 이는 최대 엔트로피 강화학습 (SAC) 과 유사하게, 결정론적 그래프로의 조기 수렴을 방지하고 불확실성을 고려한 탐색을 가능하게 함.
   • 최종 목적 함수는 정책 손실과 그래프 구조 추론 (KL 발산) 을 동시에 최적화합니다.

4. 분산 실행:

   • 훈련 시에는 각 에이전트가 국소 데이터와 변분 분포를 기반으로 마스크를 샘플링하고, 이를 통해 메시지 전달을 수행합니다.
   • 실행 시에는 학습된 분포를 기반으로 실시간으로 필요한 이웃만 선택하여 통신합니다.

---

3. 주요 기여 (Key Contributions)

1. 네트워크형 MARL 을 위한 확률적 그래프 기반 정책 제안:
   • 에이전트가 물리적 이웃 환경에서 샘플링된 서브그래프에 조건부로 결정을 내리는 새로운 정책 형식을 정의했습니다.
2. 베이지안 변분 추론으로서의 잠재 그래프 학습:
   • 엣지 마스크를 환경 토폴로지와 에이전트 국소 데이터에 의해 제약받는 사후 분포로 모델링하여, 불확실성을 고려한 적응형 상호작용 구조 학습을 가능하게 했습니다.
3. ELBO 기반의 엔드 - 투 - 엔드 학습 알고리즘:
   • 변분 그래프 추론과 에이전트 - 크리틱 학습을 통합한 단일 목적 함수를 개발하여, 상호작용 토폴로지와 의사결정 전략을 동시에 학습하는 프레임워크를 제시했습니다.

---

4. 실험 결과 (Results)

저자들은 적응형 교통 신호 제어 (ATSC) 벤치마크 (SUMO 시뮬레이터 사용) 에서 BayesG 의 성능을 평가했습니다.

• 실험 환경:
  • ATSC_Grid (5x5), Monaco (28 교차로): 중규모 시나리오.
  • NewYork33, NewYork51, NewYork167: 대규모 시나리오 (최대 167 에이전트).
• 비교 대상 (Baselines):
  • 비통신 기반: IA2C, ConseNet, FPrint, LToS.
  • 통신 기반: CommNet, NeurComm.
• 성과:
  • 성능 우위: 모든 환경에서 BayesG 는 기존 SOTA 방법들보다 더 높은 누적 보상 (Return) 을 달성했습니다. 특히 대규모 환경 (NewYork167) 에서 수렴 속도가 빠르고 안정적이었습니다.
  • 확장성 (Scalability): 에이전트 수가 증가할수록 성능이 저하되지 않고 오히려 더 효과적으로 조정되었습니다.
  • 효율성: 불필요한 통신을 차단하여 통신 효율성을 높였으며, 학습된 그래프가 실제 교통 혼잡 패턴 (예: 혼잡 지역으로의 정보 흐름 집중) 을 잘 반영함을 시각적으로 확인했습니다.
  • 해석 가능성 (Interpretability): 학습된 잠재 그래프를 시각화한 결과, 에이전트들이 혼잡한 교차로로 향하는 유입량을 조절하기 위해 상류 (Upstream) 에이전트들과의 통신을 동적으로 강화하는 등 맥락 인식형 (Context-aware) 협조가 이루어짐을 확인했습니다.

---

5. 의의 및 결론 (Significance)

이 논문은 분산형 다중 에이전트 시스템에서 다음과 같은 중요한 통찰을 제공합니다:

1. 동적 상호작용 구조의 필요성: 고정된 통신 그래프는 동적 환경에서 비효율적이며, 에이전트가 국소 관측을 기반으로 **맥락에 따라 통신 상대를 선택 (Pruning)**하는 것이 성능 향상에 필수적입니다.
2. 불확실성 기반 학습: 베이지안 추론을 도입함으로써 에이전트가 "누구와 통신할지"에 대한 불확실성을 정량화하고, 이를 통해 더 강건한 (Robust) 정책을 학습할 수 있음을 보였습니다.
3. 실용성: 전역 상태나 중앙 집중식 인프라 없이도, 물리적 제약 (도로 네트워크 등) 을 준수하면서 대규모 네트워크 시스템을 효율적으로 제어할 수 있는 실용적인 솔루션을 제시했습니다.

결론적으로, BayesG는 네트워크형 MARL 의 확장성과 적응성을 크게 향상시켰으며, 특히 교통 제어와 같은 복잡한 실세계 문제에 적용 가능한 새로운 패러다임을 제시했습니다.