Decentralized Collective World Model for Emergent Communication and Coordination

논문 요약: 탈중앙화 집단 세계 모델 (Decentralized Collective World Model) 을 통한 창발적 의사소통 및 조정

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 인간 사회는 공유된 기호 (상징) 시스템을 통해 집단적 목표를 달성합니다. 인공지능 시스템과 인간이 공존하는 환경에서, 중앙 집중식 제어 없이 분산된 다중 에이전트 시스템이 공유된 기호 시스템을 개발함과 동시에 **효과적인 조정 (Coordination)**을 이루는 것은 중요한 과제입니다.
• 기존 연구의 한계:
  • 의사소통 연구: 주로 신호 게임 (Signaling Games) 등 일방향 통신에 초점을 맞추어, 동적 환경에서의 다단계 행동 결정 (조정) 을 다루지 못함.
  • 세계 모델 (World Model) 연구: 환경 역학을 학습하고 잠재 상태 (latent state) 를 추론하지만, 분산된 기호 시스템을 통한 집단 지식 형성 메커니즘이 부족함.
  • 집단 예측 코딩 (CPC): 정적인 관측에 기반하여 기호를 형성하지만, 환경의 역동성 (시간적 의존성) 을 포착하지 못함.
• 핵심 문제: 부분 관측 가능 마르코프 의사결정 과정 (Dec-POMDP) 환경에서, 에이전트가 서로의 내부 상태에 직접 접근할 수 없는 제약 하에 어떻게 환경 역학을 반영하는 의미 있는 기호 시스템을 창발적으로 학습하고, 이를 통해 조정된 행동을 수행할 수 있는가?

2. 제안 방법론 (Methodology)

저자는 **전체적 예측 코딩 (Collective Predictive Coding, CPC)**과 **세계 모델 (World Model)**을 통합한 완전 탈중앙화 다중 에이전트 세계 모델을 제안합니다.

• 핵심 아키텍처:
  • RNN 기반 세계 모델: 각 에이전트는 관측 (Observation) 과 행동 (Action) 을 기반으로 잠재 상태 (Latent State) 를 추론하고 미래 상태를 예측합니다.
  • 메시지 교환: 에이전트 간에 연속적인 확률 분포를 따르는 메시지 ($m_t$) 를 교환하며, 이를 통해 부분 관측을 보완하고 전체 환경 상태를 추론합니다.
  • 자유 에너지 최소화 (Variational Free Energy Minimization):
    • 개인적 VFE: 관측 재구성 및 내부 표현 형성.
    • 집단 정규화 항 (Collective Regularization, CR): 에이전트 간 메시지 일치를 유도하여 공유 기호 시스템을 형성.
• 탈중앙화 학습을 위한 근사화 (Approximation for Decentralization):
  • 문제: 이상적인 CPC 모델은 모든 에이전트의 내부 상태를 알 수 있어야 하지만, 실제 분산 시스템에서는 불가능함.
  • 해결책 (Product-of-Experts, PoE):
    • 공유 메시지 $m_t$의 사전 분포와 사후 분포를 각 에이전트의 독립적인 추정치 ($m^A_t, m^B_t$) 의 곱으로 근사.
    • 상호 학습 메커니즘: 한 에이전트의 사전 분포를 상대방의 사후 분포로 정의하여 피드백 루프 형성.
  • InfoNCE Loss 적용: 에이전트가 분포 파라미터가 아닌 샘플된 메시지만 교환할 수 있는 현실적 제약 하에서, Noise Contrastive Estimation (NCE) 프레임워크를 활용하여 메시지 정렬 (Alignment) 을 학습. 이를 통해 서로 다른 에이전트가 동일한 환경 상태를 의미하는 동일한 메시지를 생성하도록 유도.
• 행동 결정 알고리즘:
  • 에이전트는 과거 관측과 행동 히스토리, 그리고 상대방으로부터 수신한 메시지 시퀀스를 기반으로 내부 표현을 추론.
  • 최소 VFE 선택: 자기 생성 메시지와 상대방 메시지 중 관측을 가장 잘 설명하는 (VFE 가 최소인) 메시지 시퀀스를 선택하여 행동을 결정.

3. 주요 기여 (Key Contributions)

1. 완전 탈중앙화 세계 모델 구현: CPC 기반 기호 창발과 시간적 역동성 학습을 통합한 2 에이전트 세계 모델을 탈중앙화 방식으로 구현.
2. 환경 일반적 기호의 유효성 증명: 특정 작업에 국한된 통신 프로토콜이 아닌, 세계 모델 예측을 통해 학습된 환경 일반적 (Environment-general) 기호가 부분 관측 환경에서 조정 수행에 효과적임을 입증.
3. 분산 제약의 긍정적 효과: 에이전트가 서로의 내부 상태에 직접 접근하지 못하는 제약이 오히려 전체 환경 상태를 더 정확하게 반영하는 의미 있는 기호 시스템의 창발을 촉진함을 발견.

4. 실험 결과 (Results)

• 실험 설정: 2 에이전트가 2 차원 공간에서 점 P 를 움직여 특정 궤적 (Hypotrochoid) 을 그리도록 하는 협력 과제. 각 에이전트는 x 축 또는 y 축 중 하나만 관측하며, 관측의 이산화 정도 (Bin 수) 를 조절하여 부분 관측성을 제어.
• 비교 조건:
  • EC (Proposed): 탈중앙화 + InfoNCE Loss 사용 (제안 방법).
  • BC (Brain Connected): 중앙 집중식 메시지 추론 (상대방 내부 상태 직접 접근) + InfoNCE Loss 없음.
  • NC (No Communication): 통신 없음, 독립적 세계 모델 학습.
• 주요 결과:
  • 조정 성능: 관측 정보가 제한될수록 (Bin 수 감소) EC 와 BC 가 NC 보다 월등히 우수한 조정 성능을 보임. 특히 관측이 완전히 다른 경우 (Bin=1) 에 통신의 이점이 극대화됨.
  • 기호의 의미성 (RSA 분석): EC 가 BC 보다 더 높은 환경 상태 표현 유사성을 보임. 즉, 직접적인 내부 상태 접근이 불가능한 EC 조건에서 오히려 환경의 전역적 상태를 더 잘 반영하는 기호가 창발됨.
  • 통신의 효과: 통신을 사용하는 조건 (w/ com) 이 통신을 사용하지 않는 조건 (w/o com) 보다, 특히 관측 모달리티가 상이할 때 조정 성공률이 높음.

5. 의의 및 결론 (Significance & Conclusion)

• 학문적 의의: CPC 연구의 시간적 확장을 통해 정적 관측이 아닌 동적 환경의 역학을 포착하는 기호 형성 프레임워크를 제시함.
• 실용적 의의: 중앙 집중식 제어가 불가능하거나 비현실적인 실제 다중 에이전트 시스템 (로봇 군집, 분산 IoT 등) 에서, 에이전트 간 제한된 정보 교환만으로 복잡한 협업을 달성할 수 있는 이론적 토대를 마련함.
• 결론: 본 연구는 분산된 에이전트들이 세계 모델을 통해 환경 역학을 예측하고, 상호 메시지 교환을 통해 공유된 기호 시스템을 창발시킴으로써, 부분 관측 환경에서도 효과적인 조정이 가능함을 입증했습니다. 특히, "정보의 격차"와 "분산 제약"이 오히려 더 강력한 공유 표현의 형성을 유도할 수 있음을 보여주었습니다.

향후 과제: 강화 학습 (Reinforcement Learning) 과 능동 추론 (Active Inference) 을 정책 학습에 통합하고, 더 많은 에이전트와 고차원 관측을 가진 복잡한 작업으로 확장할 계획입니다.