기술 요약: 클래시 로얄에서의 전환 품질 예측

1. 문제 제기

클래시 로얄과 같은 경쟁적 온라인 게임에서 플레이어들은 연패 후 자주 전략 (덱) 을 변경합니다. 이전 연구들은 이를 합리적인 대처 기제로 보았으나, 34,619 명의 플레이어가 기록한 926,334 경기 데이터를 분석한 결과 역설적인 패턴이 드러났습니다: 빈번하게 전략을 변경하는 플레이어들이 전략적 일관성을 유지하는 플레이어들보다 낮은 승률을 기록한다는 것입니다.

본 논문은 기존 추천 시스템의 근본적인 결함인 **전환 비용 제로 가정 (Zero Switching Cost Assumption)**을 지적합니다. 이 가정은 모든 플레이어가 즉시 그리고 비용 없이 새로운 전략으로 전환할 수 있다고 전제합니다. 저자들은 이 가정이 두 가지 중요한 행동적 비용을 간과한다고 주장합니다:

1. 숙련도 손실 (Mastery Loss): 플레이어가 새로운 전략에 능숙해지기 전까지 발생하는 일시적인 성과 저하.
2. 틸트 (Tilt) 유사 반응성: 패배에 대한 감정적 반응으로 인해 유발되는 비자발적이고 불규칙한 전환으로, 이는 종종 비최적의 결과를 초래합니다.

따라서 핵심 연구 질문은 "최고의 전략은 무엇인가?"에서 **"누가, 언제, 어떤 전략으로 전환할 때 순이익이 발생하는가?"**로 재정의되었습니다. 목표는 현재 전략을 유지했을 때 기대되는 승률 회복분 대비 전환으로 인한 승률 증가분인 **전환 품질 ($\Delta WR_{net}$)**을 예측하는 것입니다.

2. 방법론: TQP 파이프라인

저자들은 **TQP(전환 품질 예측기)**를 제안합니다. 이는 **누구 (WHO) $\rightarrow$ 언제 (WHEN) $\rightarrow$ 무엇 (WHAT)**으로 구조화된 3 단계 파이프라인입니다. 이 프레임워크는 해로울 가능성이 높은 전환을 추천하지 않도록 행동적 제약 하에 작동합니다.

2.1 데이터 및 행동 하위 유형

이 연구는 일관성, 역동성, 반응성 (특히 loss_reactivity, 패배 후와 승리 후 전환율의 차이) 을 기반으로 플레이어를 세 가지 distinct 한 행동 하위 유형으로 클러스터링했습니다:

• 원덱 로열리스트 (One-deck Loyalist, 48.1%): 매우 일관적이며 전환이 거의 없습니다. 이들은 가장 높은 승률 (0.53~0.56) 을 보입니다.
• 패배 반응형 전환자 (Loss-Reactive Switcher, 16.0%): 전환 빈도가 높으며, 특히 패배 후 전환율이 7.6 배 높습니다. 이들은 가장 낮은 승률 (0.48~0.53) 을 보입니다.
• 플렉스 플레이어 (Flex Player, 35.9%): 핵심 전략을 기반으로 선택적으로 전환합니다. 이들은 안정적인 승률 (0.51~0.55) 을 유지합니다.

2.2 플레이어 상태 인코더

파이프라인을 위한 공유 백본인 이 인코더는 최근 10 경기의 데이터를 처리하기 위해 양방향 GRU를 사용합니다. 이는 다음을 통합합니다:

• 시퀀스 모델링: 전략 상태, 승/패, 덱 변경, 그리고 크라운 차이에 대한 임베딩.
• 숙련도 특징 주입 (Mastery Feature Injection): 윈도우 수준의 요약을 포착하기 위해 전역 통계 (예: 평균 승률, 틸트 신호, 승률 추세) 를 포함한 7 차원 벡터.
• 멀티태스크 사전 학습: 인코더는 행동적 정체성과 전환 품질을 모두 포착하는 표현을 학습하기 위해 5 가지 작업 (덱 변경 예측, 전환 유형 분류, 승/패 예측, 행동 하위 유형 분류, 크라운 차이 회귀) 으로 훈련됩니다.

2.3 세 단계

1. PersonaGate (누구): 커버리지 제어 메커니즘입니다. 행동적 일관성이 경험적으로 우수한 결과와 연결되어 있으므로, 원덱 로열리스트를 추천 대상에서 제외합니다. 이 그룹에 대한 전환은 증거에 의해 지지되지 않는 것으로 간주됩니다. 오직 '패배 반응형 전환자'와 '플렉스 플레이어'만 다음 단계로 진행합니다.
2. TimingGate (언제): 현재 시점이 유익한 전환에 적합한지 여부를 결정하는 이진 분류기입니다.
   • 레이블링: $\Delta WR_{net} > 0$일 때 (전환이 유지보다 우월할 때) 만 양의 레이블을 할당합니다.
   • 훈련: 비전환 컨텍스트의 특징 분포를 학습하도록 '유지 (Stay)' 사례의 언더샘플링을 사용합니다.
3. ScoreFusion (무엇): 승인된 플레이어/시점에 대한 후보 전략을 순위 매깁니다.
   • 적용 가능성 (Adoptability): CatBoost Ranker 가 과거 패턴을 기반으로 플레이어가 특정 덱을 채택할 확률을 예측합니다.
   • 품질 (Quality): TQP MLP 가 전환 후의 원시 승률 증가분 ($\hat{y}_{tq}$) 을 예측합니다.
   • 퓨전 (Fusion): 최종 점수는 이러한 신호들을 결합합니다: $score(s') = \alpha \cdot \text{norm}_{CB}(s') + (1-\alpha) \cdot \tanh(\text{TQP}(s')/0.1)$.

2.4 평가 지표: SwitchGap

이 논문은 빈번한 전환자들이 성적이 좋지 않기 때문에 관찰된 플레이어 선택을 기준 (ground truth) 으로 간주하지 않고 정책의 품질을 평가하기 위해 SwitchGap을 도입했습니다.
$$\text{SwitchGap} = E[\Delta WR | \hat{a}=\text{sw}, a=\text{sw}] - E[\Delta WR | \hat{a}=\text{stay}, a=\text{sw}]$$
이 지표는 테스트 세트의 실제 전환자들 중에서 정책이 추천한 전환과 거부한 전환 사이의 실제 승률 변화 차이를 측정합니다.

3. 주요 결과

• 예측기 성능: TQP-GRU 모델은 승률 변화를 예측하는 데 있어 방향 정확도 **76.9%**와 MAE 0.0517을 달성하여 로지스틱 회귀 및 트랜스포머 기반 인코더를 포함한 베이스라인을 능가했습니다.
• 정책 성능: 전체 TQP 파이프라인은 추천 비율이 **5.4%**에 불과할 때 **SwitchGap +10.4%p(백분율 포인트)**를 달성했습니다.
  • 이는 '승률 임계값' (+5.2%p) 및 '협업 필터링' (+4.7%p) 과 같은 베이스라인을 크게 상회합니다.
  • Prec@1(승인된 전환 중 실제 양의 $\Delta WR$을 낳은 비율) 은 **70.4%**에 달했으며, 이는 '무조건 전환' 베이스라인 대비 31%p 개선된 수치입니다.
• 하위 유형 분석: 파이프라인은 비생산적인 전환에 가장 취약한 그룹인 패배 반응형 전환자에게 가장 높은 이득 (+10.55%p SwitchGap) 을 제공했습니다. 이는 시스템이 가장 도움이 필요한 플레이어를 효과적으로 타겟팅함을 확인시켜 줍니다.
• Ablation 연구: zcls(순차적 컨텍스트) 표현을 제거하면 방향 정확도가 70.3% 로 하락하여, 경기 역사가 예측 품질의 주요 동인임을 확인시켜 주었습니다.

4. 의의 및 주장

이 논문은 경쟁적 게임에서의 효과적인 전략 추천은 단순히 '최고의' 전략을 식별하는 것이 아니라, **행동적 제약 하의 의사결정 중심적 공식화 (decision-centric formulation)**가 필요하다고 주장합니다.

• 문제 재정의: 저자들은 '전환 비용 제로 가정'이 이전 연구들의 중요한 한계점이라고 주장합니다. 전환 비용 ( stay_baseline 및 행동 하위 유형을 통해) 을 명시적으로 모델링함으로써 시스템은 성과를 저하시키는 불필요한 전환을 유도하지 않습니다.
• 처방적 가치: 빈번한 전환자들이 가장 낮은 승률을 보인다는 발견은 단순히 기술적인 것이 아니라 처방적입니다. 이는 충동적으로 전환할 가능성이 가장 높은 플레이어가 충동적 전환을 억제하고 전략적 숙고를 장려하는 시기적절하고 잘 해결된 가이드로부터 가장 큰 혜택을 받는다는 것을 시사합니다.
• 방법론적 기여: SwitchGap의 도입은 관찰된 플레이어 행동이 체계적으로 비최적인 환경에서 추천 정책의 평가를 가능하게 하여, "플레이어가 무엇을 하는가"를 "플레이어가 무엇을 해야 하는가"로 간주하는 편향을 피합니다.

저자들은 누구 $\rightarrow$ 언제 $\rightarrow$ 무엇 파이프라인이 전환 결정을 성공적으로 운영화하여, 특정 플레이어 유형, 특정 시점, 그리고 고품질 후보로만 추천을 제한함으로써 균일하거나 빈도 기반 전략보다 상당한 성능 개선을 달성함을 입증했다고 결론지었습니다.