Agent Q-Mix: Selecting the Right Action for LLM Multi-Agent Systems through Reinforcement Learning

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 기반 다중 에이전트 시스템 (MAS) 은 복잡한 문제 해결에 탁월한 성능을 보이지만, 에이전트 간의 통신 토폴로지 (Communication Topology) 를 어떻게 효과적으로 설계하고 동적으로 조정할 것인지에 대한 근본적인 과제가 존재합니다.

• 기존 방법의 한계:
  • 정적 (Static) 방법: 체인, 스타, 완전 연결 그래프 등 고정된 통신 구조를 사용합니다. 이는 작업 난이도에 따라 적응하지 못해, 쉬운 작업에서는 불필요한 토큰 소모를 유발하거나 어려운 작업에서는 협력이 부족할 수 있습니다.
  • 적응형 (Adaptive) 방법: 기존 연구 (G-Designer, TopoDIM 등) 는 중앙 집중식 생성기를 통해 전체 그래프를 한 번에 생성합니다. 이는 개별 에이전트가 실행 중 독립적인 통신 결정을 내리지 못하게 하여 중앙 병목 현상을 초래하고, 에이전트의 실시간 적응 능력을 제한합니다. 또한, 공동 토폴로지 목표를 개별 에이전트의 기여도로 분해 (Factorization) 하는 메커니즘이 부족하여 분산 의사결정을 정당화하기 어렵습니다.

2. 방법론 (Methodology)

저자들은 Agent Q-Mix를 제안하며, 통신 토폴로지 학습을 협력형 다중 에이전트 강화학습 (Cooperative MARL) 문제로 재정의하고 QMIX 알고리즘을 적용합니다. 핵심 구성 요소는 다음과 같습니다.

가. 네트워크형 다중 에이전트 마르코프 결정 과정 (Networked MMDP)

• 에이전트들이 동적인 통신 그래프를 통해 상호작용하는 시스템을 모델링합니다.
• 통신 행동 공간 (Action Space): 각 에이전트는 매 라운드에서 6 가지 이산적 (Discrete) 인 통신 행동을 선택합니다. 이는 메시지 내용 자체가 아니라 그래프 구조 (연결성) 를 결정합니다.
  1. solo process: 다른 에이전트와 연결 없음 (독립 작업).
  2. broadcast all: 모든 에이전트에게 메시지 전송.
  3. selective query: 특정 이웃에게 타겟 쿼리 전송.
  4. aggregate refine: 모든 이웃으로부터 정보 수집.
  5. execute verify: 다음 에이전트로 최소한의 연결을 통해 검증 요청.
  6. debate check: 파트너와 양방향 연결을 통한 논쟁.
• 각 에이전트의 행동 조합이 전체 통신 그래프 (인접 행렬) 를 형성합니다.

나. 토폴로지 인식 에이전트 Q-네트워크 (Topology-Aware Agent Q-Network)

각 에이전트는 중앙 집중식 학습 (Centralized Training) 과 분산 실행 (Decentralized Execution, CTDE) 패러다임을 따릅니다.

• GNN 인코더: 현재 통신 그래프 구조를 고려하여 에이전트 관측치를 인코딩하는 토폴로지 인식 그래프 신경망 (GNN) 을 사용합니다.
• GRU 메모리: 통신 라운드 간의 시간적 의존성을 포착하기 위해 게이트 순환 유닛 (GRU) 을 사용하여 은닉 상태를 업데이트합니다.
• MLP Q-헤드: 각 에이전트는 자신의 Q-값을 계산하기 위해 MLP 를 사용합니다.

다. QMIX 기반 가치 분해

• 단조 혼합 (Monotonic Mixing): 개별 에이전트의 Q-값을 중앙 집중식 가치 함수 ($Q_{tot}$) 로 결합할 때, 단조성 조건 ($\frac{\partial Q_{tot}}{\partial Q_i} \ge 0$) 을 만족하도록 설계합니다.
• IGM 속성 (Individual-Global-Max): 이 조건을 통해 학습된 공동 가치 함수를 최대화하는 것이, 각 에이전트가 자신의 로컬 Q-값을 독립적으로 최대화하는 것과 일치함을 보장합니다. 이를 통해 분산된 환경에서도 최적의 통신 행동을 선택할 수 있습니다.

라. 보상 함수

• 작업 정확도 (Accuracy) 와 토큰 비용 (Token Cost) 사이의 균형을 맞추는 보상 함수를 사용합니다.
  $$R = w_{acc} \cdot \text{accuracy} - w_{tok} \cdot \min\left(\frac{\text{tokens used}}{\text{max tokens}}, 1\right)$$
  이를 통해 에이전트는 쉬운 문제에서는 통신을 줄이고 (토큰 효율성), 어려운 문제에서는 협력을 강화하도록 학습됩니다.

3. 주요 기여 (Key Contributions)

1. 문제 공식화: LLM 기반 다중 에이전트 시스템의 통신 토폴로지 학습을 네트워크형 다중 에이전트 MDP 로 공식화하고, 그래프 구조를 직접 유도하는 6 가지 해석 가능한 행동 공간을 도입했습니다.
2. 알고리즘 설계: GNN-GRU-MLP 아키텍처 기반의 토폴로지 인식 Q-네트워크와 QMIX 단조 혼합 네트워크를 결합하여, CTDE 하에서 분산된 통신 행동 선택을 지원하는 알고리즘을 개발했습니다.
3. 광범위한 평가: 코딩, 추론, 수학 등 7 가지 핵심 벤치마크와 'Humanity's Last Exam (HLE)'에서 기존 방법론 및 상용 프레임워크 (AutoGen, LangGraph, Microsoft Agent Framework 등) 와 비교 평가하여 우수성을 입증했습니다.

4. 실험 결과 (Results)

• 정확도: 7 개 벤치마크에서 가장 높은 평균 정확도를 달성했습니다.
  • GPT-OSS:120B 기반: 평균 72.73% (기존 최상위 적응형 방법인 GTD 대비 +12.36%p, 상용 프레임워크 AutoGen 대비 +4.13%p 향상).
  • Gemini-3.1-Flash-Lite 기반: 수학 벤치마크 (AIME, HMMT 등) 에서 특히 뛰어난 성능을 보였습니다.
  • HLE (Humanity's Last Exam): Gemini-3.1-Flash-Lite 를 백본으로 사용할 때 **20.8%**의 정확도를 기록하여 Microsoft Agent Framework(19.2%) 와 LangGraph(19.2%) 를 능가했습니다.
• 토큰 효율성: Agent Q-Mix 는 대부분의 다중 에이전트 베이스라인보다 상당히 적은 토큰을 사용하면서도 높은 정확도를 유지했습니다. (예: MMLU-Pro 에서 단일 에이전트 기준보다 15% 만 증가한 반면, 다른 다중 에이전트 방법들은 4~24 배 더 많은 토큰을 소모함).
• 강건성 (Robustness): MMLU-Pro 에서 하나의 에이전트를 적대적 에이전트 (잘못된 답변을 제공하는) 로 교체했을 때, Agent Q-Mix 는 정확도 하락폭이 2.86%p로 가장 작았습니다. 학습된 정책이 신뢰할 수 없는 에이전트의 영향을 줄이는 통신 행동을 선택했기 때문입니다.

5. 의의 및 결론 (Significance)

• 학습된 토폴로지 최적화: Agent Q-Mix 는 고정된 구조나 중앙 집중식 제어에 의존하지 않고, 에이전트들이 분산적으로 학습된 통신 행동을 통해 작업 난이도와 상황에 맞춰 최적의 토폴로지를 동적으로 구성할 수 있음을 입증했습니다.
• 효율성과 성능의 균형: 복잡한 다중 에이전트 협업에서 정확도 향상과 동시에 토큰 비용 절감이라는 상충되는 목표를 동시에 달성할 수 있는 프레임워크를 제시했습니다.
• 확장성: 코딩, 수학, 추론 등 다양한 도메인에서 동일한 행동 집합이 서로 다른 토폴로지 정책을 학습하여 효과적으로 작동함을 보여주어, 새로운 작업 도메인으로의 확장이 용이함을 시사합니다.

이 연구는 LLM 기반 다중 에이전트 시스템의 성능 한계를 극복하기 위해 강화학습을 통한 토폴로지 최적화가 핵심 요소임을 강조하며, 분산형 의사결정 구조의 중요성을 부각시켰습니다.