기술 요약: 협력적 다중 에이전트 강화학습을 위한 LLM 기반 통신

문제 제기

협력적 다중 에이전트 강화학습 (MARL) 에서 에이전트들은 종종 전역 상태에 접근할 수 없는 부분 관측 하에서 작동합니다. 중앙 집중식 훈련과 분산 실행 (CTDE) 프레임워크는 훈련 중 이를 완화하지만, 에이전트들은 실행 중에도 여전히 정보 격차에 직면합니다. 기존 통신 방법들은 이러한 격차를 해소하려 시도하지만, 주로 두 가지 주요 비효율성에 시달립니다:

1. 비효율적인 정보 교환: 브로드캐스트 통신 (예: MASIA) 이나 전체 관측 공유 (FullComm) 와 같은 방법들은 중복 데이터를 전송하여 상태 재구성에 필수적인 특정 상태 차원을 분리하지 못합니다.
2. 상태 재구성 실패: 에이전트 단위 방법들 (예: TarMAC, SMS, T2MAC) 은 에이전트들이 어떻게 정확하고 균일하게 잠재된 전역 상태를 재구성할 수 있는지에 대해 명시적으로 다루지 못하는 경우가 많습니다. 이로 인해 실제 상태를 충분히 포착하지 못하거나 에이전트 간 상태 인식에 상당한 편차가 발생하여 협조가 저해됩니다.

상태 복구에 필요한 필수 메시지를 식별하는 것은 과업 목표와 국소 관측 및 전역 상태 간의 복잡한 관계를 깊이 있게 이해해야 하므로 어렵습니다.

방법론: LMAC

저자들은 대규모 언어 모델 (LLM) 의 추론 능력을 활용하여 통신 프로토콜을 설계하고 반복적으로 정제하는 프레임워크인 LLM 기반 다중 에이전트 통신 (LMAC) 을 제안합니다. 온라인 LLM 상호작용이나 고정된 메시지 구조에 의존하는 이전 접근법과 달리, LMAC 은 오프라인 프로토콜 설계와 온라인 MARL 훈련이라는 두 가지 명확한 단계로 운영됩니다.

1. 반복적 정제를 통한 오프라인 프로토콜 설계

LMAC 은 LLM 을 활용하여 국소 관측을 에이전트별 메시지로 매핑하는 실행 가능한 코드 기반 통신 프로토콜 ($f_C$) 을 생성합니다. 이 과정은 Reflexion 프레임워크에 기반하지만, 프로토콜 설계에 맞게 복구 강화와 불균형 완화라는 두 가지 특정 목표를 위해 적응되었습니다.

• 입력 프롬프트 ($x$): LLM 은 협력적 목표를 상세히 설명하는 과업 설명 ($I_T$) 과 상태 및 관측 차원에 대한 자연어 설명을 받으며, 실행 가능한 Python 코드 출력을 의무화하는 프로토콜 설계 지시 ($I_P$) 를 함께 받습니다.
• 기준 기반 피드백: 고정된 피드백 대신, LMAC 은 기본 RL 에이전트로부터 수집된 오프라인 전이 데이터셋 ($\mathcal{B}$) 을 사용하여 동적인 기준 기반 피드백 루프를 적용합니다.
  • 상태 인식 지표 (SAI): 보조 디코더 ($D_\phi$) 는 에이전트의 국소 궤적로부터 전역 상태를 재구성하도록 훈련됩니다. 재구성 오차는 특정 상태 차원이 현재 통신 프로토콜 유무로 재구성 가능한지 여부를 정량화하는 SAI($\chi$) 를 계산하는 데 사용됩니다.
  • 단계별 정제: 프로토콜은 두 단계의 정제 과정을 거칩니다:
    1. 복구 강화 ($k=1$): LLM 은 복구 성공률 ($E_t[\chi]$) 을 분석하여 에이전트들이 재구성하지 못하는 상태 차원을 식별합니다. 그리고 프로토콜에 누락된 정보를 추가하기 위한 피드백을 생성합니다.
    2. 불균형 완화 ($k=2$): LLM 은 SAI 의 에이전트 간 분산 ($\text{Var}_i[\chi]$) 을 분석하여 정보 비대칭을 식별합니다. 그리고 정보 부족 에이전트들을 위한 메시지를 보완하여 균일한 상태 인식을 보장하는 피드백을 생성합니다.
• 출력: 그 결과는 정확하고 균일한 상태 재구성을 위해 필요한 메시지만 점진적으로 추가하는 정제된 프로토콜 시퀀스 $f_C = (f^{(0)}_C, f^{(1)}_C, f^{(2)}_C)$ 입니다.

2. 메타인지 표현 학습

온라인 MARL 훈련 단계 동안, LLM 이 설계한 프로토콜은 CTDE 프레임워크 (특히 QMIX) 에 통합됩니다.

• 잠재 표현: 에이전트에게 원시 메시지를 직접 입력하는 대신, 인코더 - 디코더 쌍 ($\text{Enc}_\psi, \text{Dec}_\psi$) 이 궤적과 메시지를 처리하여 잠재 표현 $z^i_t$ 를 생성합니다.
• 메타인지 감독: 시스템은 SAI 를 동적 감독 신호로 재사용합니다. 디코더는 전역 상태를 재구성하고 SAI($\hat{\chi}^i_{d,t}$) 를 예측하도록 훈련되어, 잠재 표현이 신뢰할 수 있는 지식과 불확실성을 구분하도록 장려합니다.
• 사이클 일관성: 관련 없는 정보를 억제하기 위해 사이클 일관성 손실이 도입됩니다. 잠재 표현을 디코딩하고 다시 인코딩함으로써, 보존될 수 없는 정보에 대해 모델이 패널티를 받도록 하여 $z^i_t$ 가 재구성 가능하고 과업 관련 특징만 유지하도록 강제합니다.

주요 기여

1. LLM 기반 프로토콜 설계: 이 논문은 LLM 을 정책 네트워크가 아닌 프로토콜 설계자로 사용하는 새로운 접근법을 제시합니다. LLM 은 과업 목표와 관측 구조에 대해 추론하여 통신을 위한 실행 가능한 코드를 생성함으로써, 온라인 LLM 상호작용의 높은 비용을 회피합니다.
2. 기준 기반 반복적 정제: 이 프레임워크는 오프라인 RL 데이터에서 도출된 정량적 지표에 의해 안내되는 두 단계의 정제 과정 (복구 강화 및 불균형 완화) 을 제안합니다. 이는 프로토콜이 특정 재구성 실패와 지식 격차를 해결하도록 진화하도록 보장합니다.
3. 메타인지 잠재 모듈: 메타인지 표현 학습 모듈의 통합은 에이전트들이 상태 추정의 신뢰도를 보정하고, 중복 정보를 필터링하며 협조를 개선할 수 있게 합니다.
4. 포괄적인 벤치마킹: 이 방법은 다양한 벤치마크 (SMAC-Comm, SMACv2, Level-Based Foraring, Google Research Football) 에서 검증되어 최첨단 통신 베이스라인보다 우수한 성능을 입증했습니다.

실험 결과

실험은 다양한 복잡성과 확률성을 가진 네 가지 벤치마크 환경에서 수행되었습니다:

• SMAC-Comm 및 SMACv2: LMAC 은 베이스라인 (TarMAC, SMS, T2MAC, MASIA 포함) 을 일관되게 능가했으며 오라클 상한선 (QMIX+State) 의 성능에 근접하거나 초과했습니다. 특히, 매우 확률적인 SMACv2 환경에서 LMAC 은 QMIX+State 를 능가했는데, 이는 LLM 이 설계한 프로토콜이 원시 전역 상태 입력보다 과업 관련 특징을 더 효과적으로 필터링함을 시사합니다.
• Level-Based Foraging (LBF) 및 Google Research Football (GRF): LMAC 은 모든 통신 베이스라인에 비해 더 빠른 수렴과 더 높은 최종 승률을 달성했습니다. GRF 에서는 고차원 관측을 컴팩트하고 과업 관련 잠재 특징으로 압축했기 때문일 가능성이 높지만, QMIX+State 를 능가했습니다.
• Ablation 연구:
  • 정제 단계: 성능은 $k=0$(초기) 에서 $k=2$까지 꾸준히 향상되었으며, $k=2$ 이후에는 체감 효과가 있었습니다.
  • LLM 변형: 이 방법은 다양한 LLM 백본 (GPT-4.1, Gemini, Claude) 에서 견고하게 유지되어, 성공의 주된 동인이 특정 모델이 아닌 정제 과정임을 나타냈습니다.
  • 구성 요소: 일관성 손실이나 SAI 감독을 제거하면 성능이 크게 저하되어, 중복 억제와 신뢰도 보정의 필요성을 확인했습니다.
  • 프롬프트 민감도: 이 방법은 단순화된 프롬프트로도 효과적이었으며, 상세한 의미 주석에 크게 의존하지 않음을 시사합니다.

중요성과 주장

이 논문은 LMAC 이 부분 관측 하에서 전역 상태를 재구성하는 기존 통신 프로토콜의 비효율성이라는 MARL 의 중요한 병목 현상을 해결한다고 주장합니다. 상태 복구와 균일성을 위해 명시적으로 최적화된 프로토콜을 설계하기 위해 LLM 추론을 활용함으로써, LMAC 은 온라인 LLM 추론의 계산 오버헤드 없이 에이전트들이 더 효과적으로 협조할 수 있게 합니다.

저자들은 그들의 접근법이 다음과 같음을 강조합니다:

• LLM 비용 절감: 전이 데이터를 사용하여 오프라인에서 프로토콜 설계 및 정제를 수행함으로써, 매 시간 단계마다 LLM 을 호출하는 지연과 비용을 회피합니다.
• 상태 인식 향상: 이전 연구에서 종종 간과되었던 에이전트 간 지식 불균형 감소를 명시적으로 목표로 합니다.
• 일반화: 이 프레임워크는 다양한 CTDE 백본 (QMIX, VDN, QPLEX) 에 적용 가능하며, 더 많은 수의 에이전트와 더 높은 확률성을 가진 환경으로 확장됩니다.

이 논문은 LMAC 이 상태 재구성에 필요한 특정 정보 요구 사항과 통신 프로토콜을 정렬함으로써 협력적 다중 에이전트 시스템을 강화하는 견고하고 일반화 가능한 프레임워크를 제공한다고 결론지었습니다.