기술 요약: RuleSmith – 자동화된 게임 밸런싱을 위한 멀티 에이전트 LLM

문제 정의

비대칭 전략 게임의 밸런스를 맞추는 것은 게임 디자인 및 멀티 에이전트 학습 분야에서 지속적인 과제입니다. 전통적인 방식은 인간 전문가가 수동 튜닝, 휴리스틱 조정, 주관적인 플레이테스팅의 순환 과정을 반복하는 데 의존합니다. 이 과정은 느리고 비용이 많이 들며, 특히 현대 게임처럼 조합 가능한 액션 공간, 긴 호흡의 목표, 풍부하게 매개변수화된 규칙 시스템을 가진 경우 확장하기 어렵습니다. 또한, 이 문제는 엔터테인먼트를 넘어 경제 시뮬레이션, 정책 설계, 사이버 보안과 같이 작은 파라미터 변화가 다단계 상호작용을 통해 어떻게 전파되는지 평가하는 것이 중요한 영역까지 확장됩니다. 대규모 언어 모델(LLM)이 멀티 에이전트 시스템의 "제로샷(zero-shot)" 시뮬레이터로서 능력을 입증해 왔지만, 이를 활용하여 환경의 규칙을 최적화하는 연구는 여전히 미개척 영역으로 남아 있습니다.

방법론

저자들은 게임 엔진, 멀티 에이전트 LLM 셀프 플레이(self-play), 그리고 다차원 규칙 공간에 대한 베이지안 최적화(Bayesian optimization)를 결합하여 게임 밸런싱을 자동화하는 프레임워크인 RuleSmith를 소개합니다.

1. 테스트베드: CivMini

프레임워크를 검증하기 위해 저자들은 4X 메카닉에서 영감을 받은 단순화되고 매개변수화된 턴제 비대칭 전략 게임인 CivMini를 구축했습니다.

• 진영(Factions): 두 개의 비대칭 진영인 Empire와 Nomads가 존재합니다.
  • Empire: 농부(자원 채집 전용)와 병사(전투 전용)라는 뚜렷한 유닛으로 구성된 특화된 경제 구조를 가집니다.
  • Nomads: 기동성이 높은 다재다능한 기병 유닛을 보유하며, 적 유닛을 처치함으로써 자원을 획득하는 공격적인 플레이스타일을 필요로 합니다.
• 파라미터: 게임은 경제(초기 자원, 채집 효율), 전투(데미지, HP), 생산(유닛 비용), 점수 산정(자원, 전투, 생존 유닛에 대한 가중치)을 제어하는 12개의 조절 가능한 파라미터($\theta$)를 노출합니다.
• 목표: 밸런스 손실 함수 $L(\theta) = |w_E - 0.5| + |w_N - 0.5| + 0.5 \cdot w_D$를 최소화하도록 $\theta$를 최적화합니다. 여기서 $w_E$와 $w_N$은 승률이며, $w_D$는 무승부율입니다.

2. 평가자로서의 LLM 셀프 플레이

RuleSmith는 자연어 규칙서와 구조화된 게임 상태를 기반으로 게임을 플레이하는 두 개의 LLM 에이전트(진영당 하나씩)를 활용합니다.

• 입력: 에이전트는 턴 인덱스, 진영 요약, 적 위치, 전략 가이드, 그리고 가능한 액션 목록을 전달받습니다.
• 출력: 에이전트는 모든 유닛의 동시 액션을 포함하는 구조화된 JSON 객체를 생성합니다.
• 신뢰성 메커니즘:
  • RAG (검색 증강 생성): 가벼운 시스템이 게임 문맥에 따라 규칙서에서 관련 규칙을 검색하여 환각(hallucination) 현상을 줄입니다.
  • 구조화된 출력: 명시적인 예시와 함께 JSON 출력을 강제함으로써 파싱 오류와 불법 이동 감지의 부담을 줄입니다.
• 평가: 주어진 파라미터 세트 $\theta$에 대해, $N$번의 셀프 플레이 게임을 실행하여 경험적 승률과 밸런스 지표를 추정합니다.

3. 적응형 샘플링을 통한 베이지안 최적화

이산적인(discrete) 규칙 공간을 직접 탐색하는 것은 조합 폭발로 인해 실행 불가능합니다. RuleSmith는 규칙 공간의 연속적 완화(continuous relaxation) 위에서 **베이지안 최적화(BO)**를 채택합니다.

• 대리 모델(Surrogate Model): 가우시안 프로세스(Gaussian Process)가 밸런스 손실 $L(\theta)$를 모델링합니다.
• 이산 투영(Discrete Projection): 최적화 도구가 제안하는 연속적인 후보값들을 유효한 이산 게임 설정(예: HP를 정수로 반올림)으로 결정론적으로 투영합니다.
• 획득 기반 적응형 샘플링(Acquisition-Based Adaptive Sampling): LLM 평가의 높은 계산 비용과 노이즈 문제를 해결하기 위해, 프레임워크는 평가 예산($N_t$)을 동적으로 할당합니다.
  • 높은 기대 개선(Expected Improvement, EI)(유망한 지점)을 가진 후보는 정확한 평가를 위해 더 많은 게임($N_{max}$)을 수행합니다.
  • 낮은 EI를 가진 탐색적 후보는 더 적은 게임($N_{min}$)을 수행합니다.
  • 이 전략은 중요한 구성에 자원을 집중하면서도 효율적인 탐색을 유지합니다.

주요 기여

1. 실행 가능한 제로샷 셀프 플레이: 자연어 규칙서와 구조화된 상태만을 사용하여, 실행 가능하고 검증 가능한 액션을 학습 없이 생성하며 멀티 에이전트 LLM이 실행 가능한 비대칭 전략 게임에서 제로샷 셀프 플레이를 수행할 수 있음을 입증했습니다.
2. 자동화된 밸런싱 파이프라인: 멀티 에이전트 LLM 셀프 플레이를 베이지안 최적화 및 획득 기반 적응형 샘플링과 통합한 일반적인 프레임워크를 제시했습니다. 이 파이프라인은 유망한 후보에 예산을 더 많이 할당함으로써 샘플 효율성을 높이고 규칙 파라미터를 자동으로 조정하여 균형 잡힌 결과를 달성합니다.
3. 포괄적인 경험적 검증: CivMini를 통해 다양한 모델 크기(2B 및 8B 파라미터)와 진영 구성을 대상으로 RuleSmith를 검증했습니다. 시스템은 일관되게 근접한 밸런스 결과(승률 $50\% \pm 5\%$)에 도달했으며, 모델 용량이 일치할 때 밸런스된 파라미터가 평가 설정 간에 전이됨을 보여주었습니다.

실험 결과

• 수렴: RuleSmith는 의도적으로 불균형하게 설정된 초기화 상태로부터도 승률 격차를 0%까지 줄이며 매우 균형 잡힌 구성으로 성공적으로 수렴했습니다.
• 모델 용량 효과: 실험 결과, 한 진영의 모델 크기를 키우면 해당 진영에 유리하게 승률 분포가 이동함을 보여주었습니다. 특히, 작은 모델에 최적화된 파라미터를 사용하여 더 큰 모델과 대조했을 때 성능 격차가 가장 컸으며, 이는 "더 똑똑한" 에이전트가 전략적 이점을 활용할 수 있음을 나타냅니다.
• 어블레이션 연구(Ablation Studies):
  • 최적화 방법: Random Search 및 (1+1)-Evolution Strategy와 비교했을 때, RuleSmith의 적응형 샘플링을 적용한 베이지안 최적화만이 일관되게 근접한 동일 승률(51%|49%)로 수렴했습니다. 고정 샘플링 BO 및 기타 베이스라인 모델들은 밸런스를 달성하는 데 실패했습니다.
  • 게임 디자인: RuleSmith는 다양한 맵 크기(5×5에서 11×11)와 턴 제한에 걸쳐 균형 잡힌 결과를 유지하며, 공간적 및 시간적 구성 변화에 대한 견고함을 입증했습니다.
• 해석 가능성: 발견된 파라미터들은 체력 스케일링, 자원 효율성, 생산 템포가 어떻게 공정성을 공동으로 결정하는지에 대한 해석 가능한 통찰을 제공했습니다. 시스템은 단 하나의 정형화된 설정으로 수렴하기보다, 밸런스를 달성하는 다양한 파라미터 구성을 찾아냈습니다.

의의 및 주장

본 논문은 RuleSmith가 LLM을 단순히 플레이테스팅 도구로 사용하는 것을 넘어, 복잡하고 규칙에 기반한 멀리 에이전트 환경을 최적화하는 효과적인 메커니즘으로 사용하는 패러다임의 전환을 나타낸다고 주장합니다. 게임 자체를 매개변수화된 비대칭 환경으로 취급하고 규칙 공간을 직접 최적화함으로써, 이 프레임워크는 밸런스를 맞추기 위한 확장 가능하고 해석 가능한 접근 방식을 제공합니다.

저자들은 이 패러다임이 게임 디자인을 넘어 규칙 기반의 비대칭 상호작용이 일반적인 정책 설계, 경제 모델링, 사이버 보안, 의료 의사결정 등의 도메인에도 폭넓게 적용될 수 있다고 상정합니다. 또한, 이 프레임워크는 실시간 의사결정 실행 시스템이 아니라, 규칙 기반 시스템의 더 안전하고 투명하며 체계적인 설계를 지원하기 위한 오프라인 분석 및 설계 시점의 도구로 설계되었음을 강조합니다. 본 연구는 단순화된 환경에서의 LLM 셀프 플레이가 인간의 행동을 완전히 포착하거나 분포 변화(distribution shifts) 하에서 공식적인 보장을 제공하는 데 한계가 있을 수 있음을 인정합니다.