Application of machine learning to monster level prediction in tabletop RPG game design

기술 요약: 테이블탑 RPG 게임 디자인의 몬스터 레벨 예측을 위한 머신러닝 적용

문제 정의
균형 잡힌 적(adversaries)을 설계하는 것은 테이블탑 역할 수행 게임(TTRPG) 개발에서 노동 집약적이며 매우 중요한 요소이다. *패스파인더 세컨드 에디션(Pathfinder Second Edition)*과 같은 시스템에서, 몬스터는 그들의 힘을 결정하는 수많은 수치적 속성(예: 근력, 방어도, 히트 포인트, 주문 능력 등)에 의해 정의되며, 이들은 종합적으로 '레벨'이라는 서수적(ordinal) 값으로 요약된다. 현재 몬스터의 통계치로부터 레벨을 추정하는 작업은 전문가의 인간적 판단이나 광범위한 플레이테스팅에 의존하고 있으며, 이는 오류가 발생하기 쉽고 비효율적이다. 저자들은 몬스터의 속성으로부터 레벨을 예측하는 과제를 표 형식의 서수 회귀(tabular ordinal regression) 문제로 규정한다. 여기서 타겟 변수는 이산적(discrete)이고 순서가 있으며(ordered), 불균형한(imbalanced) 특성을 가진다. 또한 클래스 간의 간격이 반드시 동일한 힘의 증가량을 나타내는 것은 아니다.

방법론
본 연구는 공개된 패스파인더 세컨드 에디션 소스북에서 추출한 6,007마리의 몬스터 데이터셋을 활용한다. 데이터는 게임 메커니즘의 시간적 진화를 대리하는 출판일을 기준으로 하여, 연대기적 설계 과정을 반영하도록 큐레이션되었다.

• 특성 공학(Feature Engineering): 세 가지 특성 세트가 구축되었다:
  1. 기본(8개 특성): 핵심 속성(근력, 민첩, 건강, 지능, 지혜, 매력), 히트 포인트(HP), 방어도(AC).
  2. 확장(20개 특성): 인지(Perception), 내성 굴림, 공격 보너스, 예상 데미지 계산, 주문 관련 지표(최대 주문 레벨, 주문 난이도(DC), 주문 공격 수정치)를 추가함.
  3. 전체(33개 특성): 이동 속도, 면역/저항 횟수, 그리고 9개의 각 주문 레벨별 가용 주문 수에 대한 세밀한 분류를 포함함.
• 평가 프로토콜: 데이터 누수(data leakage)를 방-지하고 실제적인 설계 워크플로우를 시뮬레이션하기 위해, 저자들은 무작위 분할(random splitting) 대신 다음 방식들을 채택했다:
  1. 연대기적 분할(Chronological Split): 오래된 데이터로 학습하고 새로운 몬스터로 테스트함.
  2. 확장 윈도우(Expanding Window): 시계열 접근 방식으로, 초기 서브셋으로 모델을 학습시킨 후 다음 배치를 테스트하고, 다시 새 데이터를 추가하여 재학습하는 과정을 모든 데이터를 사용할 때까지 반복함.
• 평가된 모델: 본 연구는 네 가지 범주에 걸쳐 16개의 모델을 벤치마킹했다:
  • 반올림을 적용한 회귀(Regression with Rounding): 선형 모델(Ridge, SVM) 및 트리 기반 모델(Random Forest, LightGBM)과 사후 처리 반올림.
  • 전용 서수 회귀(Dedicated Ordinal Regression): Ordered Random Forest (ORF), Simple Approach to Ordinal Classification (SAOC), Ordered Logistic Regression (ORD), 그리고 임계값 기반 모델(Immediate-Threshold).
  • 확률적 모델(Probabilistic Models): Gaussian Process Ordinal Regression (GPOR).
  • 신경망(Neural Networks): 서수 인식 손실 함수와 구조를 적용하여 변형된 다층 퍼셉트론(MLP), 여기에는 CLM, NNRank, OR-CNN, CORAL, CORN, CONDOR가 포함됨.
• 지표: 성능은 평균 절대 오차(MAE)와 평균 제곱근 오차(RMSE)를 기준으로 평가되었으며, 클래스 불균형을 고려하여 매크로 평균 버전(MAEM, RMSEM)을 사용하였다. 추가로 정확도(accuracy), Acc@1(±1 레벨 오차 허용), 그리고 서수 순위 상관관계인 Somers' D가 사용되었다.

주요 결과

• 트리 기반 앙상블의 우수성: 트리 기반 앙상ble 방법, 특히 Random Forest, LightGBM, SAOC(Random Forest를 기반으로 함), 그리고 ORF가 다른 모든 접근 방식보다 일관되게 우수한 성능을 보였다. 이들은 완벽에 가까운 서수 순위(Somers' D ≈ 0.99)와 높은 예측 정확도(Acc@1 ≈ 99%)를 달ien했다.
• 신경망의 한계: 특정 서수 유도 편향(예: CORAL, CORN, CONDOR의 순위 일관성 제약)을 포함했음에도 불구하고, 신경망 모델은 일반적으로 트리 기반 앙상블에 비해 낮은 성능을 보였다. 이들은 확장 윈도우 프로토콜 하에서 더 높은 분산과 낮은 안정성을 보였으며, 이는 해당 표 형식 데이터셋의 크기와 구조에서 앙상블이 더 견고함을 시사한다.
• 특성 중요도: 확장 및 전체 특성 세트의 포함은 전반적으로 성능을 향상시켰다. 상관관계 분석 결과, 방어 능력(AC, HP, 내성 굴림)과 공격/주문 지표 사이의 강력한 상호 의존성이 드러났으며, 이는 특성 공학의 선택을 검증한다.
• 평가 전략의 영향: 확장 윈도우 프로토콜은 무작위 분할에 비해 더 비관적이고(pessimistic) 현실적인 성능 추정치를 제공했으며, 이는 기존 메카니즘을 바탕으로 새로운 콘텐츠가 구축되는 게임 디자인 맥주에서 시간적 검증의 중요성을 강조한다.

주요 기여

1. 데이터셋 구축: 저자들은 허용적인 오픈 소스 라이선스 하에 공개된 패스파인더 세컨드 에디션에서 추출한, TTRPG 몬스터 레벨 예측을 위한 최초의 공개 가능한 데이터셋을 제시한다.
2. 문제 정식화: 본 연구는 몬스터 레벨 예측을 표 형식의 서수 회귀 과제로 공식 정의하며, 16개의 뚜렷한 모델에 대한 포괄적인 벤치마크를 제공한다.
3. 도메인 특화 평가: 저자들은 무작위 분할을 넘어, 반복적인 게임 디자인의 특성에 맞춘 연대기적 및 확장 윈도우 평가 프로토콜을 도입하고 검증했다.
4. 설명 가능성: 특성 중요도 분석과 오차 분포 연구를 통해, 저자들은 최상위 성능을 보이는 모델들이 인간의 직관 및 게임 시스템의 근본 규칙과 일치함을 입증한다.

의의 및 주장
본 논문은 머신러닝이 몬스터 밸런싱을 위한 디자이너의 판단을 신뢰성 있게 근사할 수 있으며, 게임 디자인을 위한 효과적인 컴퓨터 보조 도구로 기능할 수 있다고 주장한다. 결과는 ML 모델이 몬스터의 힘을 설계 단계에서 즉각적으로 피드백함으로써 균형 잡힌 적을 만드는 과정을 가속화할 수 있음을 시사한다. 저자들은 이 작업을 게임을 플레이하는 데 사용되는 AI와는 구별되는, 게임 디자인에서의 예측적 ML의 참신한 응용 사례로 위치시킨다. 결론적으로, 정확도를 높일 여지는 남아 있으나 현재의 모델은 실무적인 애플리케이션에서 게임 디자이너와 게임 마스터를 지원하기에 충분히 견고하다. 본 연구는 이러한 접근 방식이 몬스터 컴펜디움 제작의 노동 집약적인 성격을 줄이고, 독특한 몬스터의 신속한 프로토타이핑을 가능하게 하는 데 특히 가치 있다고 강조한다.