기술 요약: HiComm: 다중 에이전트 강화 학습을 위한 계층적 통신

문제 정의

협력적 다중 에이전트 강화 학습(MARative MARL)은 종종 에이전트가 제한된 로컬 뷰를 바탕으로 협력해야 하는 부분 관측성(partial observability) 환경에서 작동합니다. 통신은 이를 완화하기 위한 표준적인 메커니즘이지만, 기존 프로토콜은 일반적으로 메시지를 **평면적인 밀집 벡터(flat, dense vectors)**로 취급합니다. 이러한 벡터는 에이전트의 전체 관측치를 학습된 투영(learned projections)으로 나타내며, 해당 관측치의 내재적 구조와는 분리되어 있습니다.

많은 협력 환경(예: 사이버 방어, 팀 스포츠 또는 마이크로매니지먼트)은 자연스러운 계층적 관측 구조(예: 서브넷을 포함하는 호스트 그룹, 특정 클래스의 유닛 등)를 가지고 있습니다. 현재의 방법들은 메시지 본체 내에서 이러한 구조를 활용하지 못합니다. 대신, 이들은 구조화되지 않은 요약을 전송하거나, 데이터가 교환되는 내용 자체보다는 통신 그래프나 에이전트의 역할에 계층 구조를 부여합니다(예: 페이달 아키텍처). 이러한 간과는 에이전트가 중복되거나 구조화되지 않은 정보를 전송하게 만들어 효율적인 통신을 저해합니다.

방법론: HiComm

저자들은 송신자의 계층적 관측치에 메시지를 직접 결합하는 플러그인 통신 모듈인 HiComm을 제안합니다. 전통적인 송신자 주도형 프로토콜이 에이전트의 전체 상태를 인코딩하는 것과 달리, HiComm은 **수신자 주도형(receiver-driven)**이며 통신을 **구조화된 정보 검색(structured information retrieval)**으로 취급합니다.

핵심 메커니즘

각 에이전트 $i$의 관측 공간은 세 축의 텐서 $z_i \in G \times E \times F$로 모델링됩니다:

• $G$: 조밀한 그룹 축 (예: 서브넷, 유닛 클래스).
• $E$: 미세한 엔티티 축 (예: 서브넷 내의 호스트, 특정 유닛).
• $F$: 특징 벡터 축.

HiComm은 통신을 송신자의 관측 텐서로부터 특정 주소-값 쌍(address-value pair) $((g, \ell), F)$를 검색하는 과정으로 변환합니다. 이 과정은 이산적 선택을 위한 **Straight-Through Gumbel-Softmax (ST-GS)**를 사용하여 세 가지 미분 가능한 단계로 진행됩니다:

1. 1단계: 쿼리 생성 (수신자 측)
   수신자는 자신의 로컬 관측 컨텍스트와 관측 가능성 마스크(observability mask)를 요약하여 쿼리 벡터 $q_i$를 생성합니다. 이 쿼리는 수신자의 정보 요구를 나타냅니다.

2. 2단계: 계층적 송신자 선택 (수신자 측)
   수신자는 계층 구조를 따라 내려가며 송신자를 선택합니다:

   • 1단계 (그룹 선택): 수신자는 쿼리 $q_i$를 학습 가능한 그룹 키 $\kappa_g$에 대해 스코어링하여 토픽 그룹 $g^*$를 선택합니다.
   • 2단계 (에이전트 선택): $g^*$가 결정되면, 수신자는 컨텍스트 조건부 친화도 함수 $\Phi(j, g^*; h_i)$를 기반으로 팀 내에서 특정 송신자 $j^*$를 선택합니다(자기 자신 제외).
   • 참고: 이 2단계 하강 방식은 이산적 결정 공간을 $|G| \cdot |E| \cdot (N-1)$에서 $|G| + (N-1) + |E|$로 줄여 신용 할당(credit assignment)을 국소화합니다.

3. 3단계: 엔티티 검색 (송신자 측)
   수신자는 $(q, g^*)$를 선택된 송신자 $j^*$에게 전달합니다. 그러면 송신자는 다음을 수행합니다:

   • 자신의 로컬 관측 $z_{j^*}$ 내에서 그룹 $g^*$에 속한 특정 엔티티 $\ell^*$을 선택하며, 이때 관측되지 않은 항목은 마스킹합니다.
   • 원문 특징 벡터(verbatim feature vector) $F = z_{j^*}[g^*, \ell^*, :]$를 수신자에게 반환합니다.
   • 결정적으로, 메시지는 학습된 압축체가 아니라 가공되지 않은 관측치 항목 그 자체입니다.

훈련 및 통합

HiComm은 기본 정책이나 크리틱 아키텍처를 변경하지 않고도 표준 MARL 파이프라인(예: IPPO, MAPPO)에 통합될 수 있는 경량의 상태 비저장(stateless) 변환 장치로 설계되었습니다.

• 최적화: 통신 파라미터 $\theta_{comm}$은 단일 역전파 과정을 통해 정책 파라미터 $\theta_{pol}$과 함께 업데이트됩니다.
• 손실 함수: 목적 함수는 표준 PPO 대리 손실(surrogate loss)과 스칼라 정보 이득 형성 프라이어(information-gain shaping prior)를 결합합니다. 이 프라이어는 선택된 좌표가 현재 상태 대비 높은 정보 이득을 제공하도록 유도하여 송신자 붕괴(sender collapse)를 방지합니다.
• 대역폭: 프로토콜은 전체 관측 요약 대신 주소(그룹 및 엔티티 인덱스)와 원문 특징 벡터만을 전송하므로 대역폭을 크게 절감합니다.

주요 기여

1. HiComm 프로토콜: 송신자의 내재적 그룹-엔티티 계층 구조를 활용하는 수신자 주도형 통신 모듈입니다. 이는 구조화되지 않은 벡터 전송을 특정 관측 슬라이스의 구조화된 검색으로 대체합니다.
2. 미분 가능한 구현: ST-GS를 사용한 이산 선택과 공유 프로젝션 헤드를 갖춘 경량 플러그인 설계로, 핵심 정책 아키텍처를 수정하지 않고도 표준 MARL 알고리즘에 매끄럽게 부착할 수 있습니다.
3. 실증적 검증: 세 가지 다양한 벤치마크(CAGE Challenge 4, SMACv2, Google Research Football)에서 HiComm이 대표적인 학습된 통신 베이스라인(CACOM, T2MAC)과 대등하거나 이를 능가함을 입증했습니다.

실험 결과

저자들은 IPPO(분산 크리틱) 및 MAPPO(중앙 집중형 크리틱) 백본을 사용하여 세 가지 서로 다른 관측 구조와 협력 요구를 가진 벤치마크에서 HiComm을 평가했습니다.

• 성능 (RQ1): HiComm은 부분 관측(통신 없음)과 완전 관측(전체 상태 공유) 사이의 성능 격차를 상당 부분 좁힙로 보여주었습니다. 10개의 알고리즘-시나리오 셀 중 9개에서 HiComm은 베이스라인과 대등하거나 베이스라인을 능가했습니다. 특히 MAPPO를 사용한 CAGE Challenge 4 환경에서, HiComm은 완전 관측과의 격차를 약 85%까지 회복하며 CACOM 및 T2MAC을 크게 앞질렀습니다.
• 대역폭 효율성 (RQ2): HiComm은 이러한 결과를 달성하는 동시에 베이스라인 대비 에피소드당 수신자당 통신 볼륨을 5배에서 23배 감소시켰으며, 전체 상태 공유와 비교하면 1000배 이상 감소시켰습니다. 이는 전체 관측의 평면적 투영을 전송하는 대신 관련 특징 슬라이스만을 전송함으로써 가능했습니다.
• 일반성 (RQ3): 성능 향상과 대역폭 효율성은 서로 다른 크리틱 아키텍처(IPPO vs. MAPPO)와 계층을 정의하는 방법(네이티브 서브넷, 의미론적 유닛 클래스, 의미론적 플레이어 역할) 전반에 걸쳐 유지되었습니다.

의의 및 한계

이 논문은 HiComm이 MARL 통신에 **관측 공간의 계층 구조(observation-space hierarchy)**라는 새로운 차원을 도입했다고 주장합니다. 수신자가 송신자의 관측 구조 내 특정 좌표를 능동적으로 쿼리할 수 있게 함으로써, HiComm은 기존의 평면적 인코딩 방식에 내재된 "손실이 큰 투영(lossy projection)" 문제를 피합니다. 결과는 관측의 자연스러운 구조를 활용하는 것이 더 효율적이고 효과적인 협력을 이끌어낼 수 있음을 시사합니다.

한계:
저자들은 본 연구에 통신 효율성에 대한 공식적인 이론적 분석이 부족함을 명시했습니다. 입증된 대역폭 이점은 계층적 주소가 왜 일치하는 성능 수준에서 평면적 인코딩보다 이론적으로 더 효율적인지에 대한 정보 이론적 경계에 기반한 것이 아니라 실증적 비교에 기반한 것입니다. 이러한 이론을 확립하는 것이 향후 연구의 주요 방향으로 식별되었습니다.

결론:
HiComm은 구조화된 관측 공간으로부터의 구조화된 검색을 전통적인 학습된 통신 프로토콜의 실행 가능한 효율적인 대안으로 제시하며, 협력 성능을 희생하지 않으면서도(때로는 오히려 향상시키면서) 상당한 대역폭 절감을 제공합니다.