When accuracy does not improve decisions: a decision-outcome validation framework for cross-regional box office forecasting

기술 요약: 정확도가 의사결정을 개선하지 못할 때

문제 제기
교차 지역 박스오피스 예측은 전통적으로 무작위 분할 샘플을 사용한 예측 정확도 지표(예: RMSE, MAE)로 평가됩니다. 그러나 본 논문은 평균 오차를 최소화하는 것이 반드시 더 나은 시장 선택 결정으로 이어지지는 않는다고 주장합니다. 중국 영화의 해외 배급 맥락에서 경제적 이해관계는 비대칭적입니다. 배급사는 제한된 수의 프로모션 대상 국가($k$)를 선정하기 위해 예산 제약 하에 움직입니다. 모델이 모든 시장에 대해 평균적으로는 정확할 수 있지만, 수익의 대부분을 창출하는 소수의 고수익 국가들을 제대로 순위 매기지 못할 수 있습니다. 핵심 문제는 모든 시장을 동일한 가중치로 다루는 오차 통계가 고가치 단위의 올바른 순위 결정이라는 의사결정 관련 가치를 포착하지 못하는 데서 발생하는 "정확도의 환상(accuracy illusion)"입니다.

방법론 및 프레임워크
저자들은 평가 기준을 오차 최소화에서 의사결정 페이오프(payoff) 극대화로 전환하는 **의사결정 결과 검증 프레임워크(decision-outcome validation framework)**를 제안합니다.

1. 정식 의사결정 문제:

   • 입력값: 영화 집합 $F$와 각 영화별 해외 시장 $M_f$.
   • 정책: 누적 예상 총수익이 가장 높은 상위 $k$개 시장을 선택하는 예산 제약 선택 정책 $\pi_k$.
   • 지표: Top-$k$ 페이오프(선택된 시장에서의 실제 총수익), 후회(regret)(오라클 선택과의 차이), 수익 점유율(revenue share), 적중률(hit rate)(실제 top-$k$와의 중복도)을 기준으로 평가합니다.
   • 명제: 본 논문은 이종 분산성을 가진 시장 오차(시장 규모에 따라 오차 분산이 다른 경우) 하에서, RMSE를 최소화하는 모델이 반드시 의사결정 페이오프를 극대화하는 모델은 아님을 정식으로 증명합니다.

2. 검증 프로토콜:
   모델 순위의 견고성을 테스트하기 위해 연구는 네 가지 별도의 검증 프로토콜을 사용합니다.

   • 시계열 전방향 검증 (Temporal Walk-Forward): 과거 출시작으로 모델을 학습시키고 미래 출시작으로 테스트합니다(시간적 누수 방지).
   • 지역 제외 일반화 (Region-Out Generalization): 한 지역을 제외한 모든 영토에서 모델을 학습시키고, 제외된 지역에서 테스트합니다(문화적/구조적 전이 가능성 테스트).
   • 영화 제외 일반화 (Film-Out Generalization): 한 편의 영화를 제외한 모든 영화로 모델을 학습시키고, 제외된 영화에 대해 테스트합니다(신규 제품에 대한 일반화 테스트).
   • 무작위 분할 대조군 (Random Split Control): "정확도의 환상"을 입증하기 위해 전통적인 무작위 분할을 베이스라인으로 사용합니다.

3. 비교 모델:
   다섯 가지 이질적인 모델이 평가되었습니다:

   • M0: 평균 모델 (베이스라인).
   • M1: 시장 고정 효과를 포함한 패널 모델 (더미 변수를 통해 구조적 시장 차이를 포착).
   • M2: 엘라스틱 넷(Elastic Net) 회귀 (규제화된 선형 모델).
   • M3: 그래디언트 부스팅 (유연한 비선형 학습기).
   • M4: 의사결정 인지형 순위 모델 (영화 내 시장 간 쌍체 순위를 최적화한 후 점 예측값으로 보정).

실증 적용
본 프레임워크는 2023년에서 2025년 사이에 출시된 14편의 중국 영화를 대상으로 한 웹 소스 패널 데이터에 적용되었으며, 이는 18개 해외 영토에 걸친 76개의 영화-시장 쌍을 포함합니다. 데이터에는 주간 총수익(12주로 제한)과 국내 개봉 수익, 러닝타임, 장르, 속편 여부, 시장 수준의 GDP/인구와 같은 공변량이 포함됩니다.

주요 결과

• 순위의 괴리: 30개의 검증 폴드 중 22개에서, 가장 높은 정확도(최저 RMSE)를 보인 모델과 가장 높은 의사결정 페이오프를 보인 모델이 서로 달랐습니다.
• 특정 사례 (2025년 출시작): 2025년 출시작을 다룬 시계열 폴드에서, **패널 모델(M1)**이 의사결정에 최적인 모델이었으며, 달성 가능한 수익 점유율의 **89.3%**를 확보했습니다. 정확도 최적 모델(의사결정 인지형 모델, M4)은 **88.7%**를 확보했으며, 주간 정확도 순위에서 선호되었던 부스팅 모델(M3)은 78.9%를 기록했습니다. 의사결정 최적 선택과 정확도 최적 선택 사이의 페이오프 격차는 $152,746였습니다.
• 괴리의 메커니즘: 패널 모델(M1)이 의사결정 페이오프에서 뛰어났던 이유는 고정 효과가 안정적인 상대적 시장 구조를 인코딩했기 때문입니다. 이를 통해 절대적인 로그 스케일 예측은 부정확하더라도(높은 RMSE를 초래하더라도) 고가치 영토의 순위를 올바르게 매길 수 있었습니다. 반면, 유연한 학습기(M3, M4)는 평균 오차를 최소화했지만, 고가치 시장의 순위를 일관되게 매기는 데 실패했습니다.
• 통계적 유의성: 적은 폴드 수로 인해 통계적 검정력이 제한적이었으나(Wilcoxon p-값이 종종 0.05보다 큼), 페이오프 격차의 방향성은 모든 프로토콜에서 일관되게 양수였습니다. 붓스트랩 구간(Bootstrap intervals)은 무작위 및 영화 제외 설계에서 0을 포함하지 않았습니다.
• 시뮬레이션 결과: 몬테카를로 연구를 통해 시장 규모가 이질적이고 모델 간 오차 분산이 균형을 이룰 때 이러한 괴리가 체계적으로 발생함을 확인했습니다. 괴리는 한 모델이 두 기준 모두에서 압도적일 때만 사라집니다.

의의 및 주장
본 논문은 다음과 같은 완곡하지만 중대한 주장을 합니다: 무작위 분할을 이용한 정확도 중심의 검증은 교차 지역 예측을 위한 중립적인 프로토콜이 아닙니다.

• 방법론적 기여: 저자들은 검증 연구를 정확도 지향, 보정(calibration) 지향, 의사결정 지향의 세 가지 라인으로 분류합니다. 이들은 서로 다른 질문을 던지며 종종 상충하는 "최적의" 모델을 도출한다고 주장합니다.
• 실무적 시사점: 연구에서는 전통적인 오차 지표와 함께 의사결정 결과(페이오프, 후회)를 보고하는 것이 필수적임을 보여줍니다. 무작위 분할에서 RMSE로 인증된 모델이 실제 자원 배분 결정에서는 더 단순한 대안보다 성능이 떨어질 수 있습니다.
• 범위: 저자들은 패널 모델(M1)이 모든 박스오피스 예측에 보편적으로 우월하다고 주장하거나, 의사결정 지향 검증이 항상 다른 모델을 선택한다고 주장하는 것이 아닙니다. 대신, 이러한 괴리가 이질적인 시장의 데이터 생성 과정에서 나타나는 체계적인 특징이며, 의사결정 결과가 명시적으로 측정되지 않으면 그 격차를 볼 수 없다는 점을 주장합니다.

결론적으로, 본 논문은 검증 프로토콜이 단순히 외부 심판 역할을 하는 것이 아니라 모델링 결정의 일부로 취급되어야 한다고 강조하며, "정확도의 환상"을 피하기 위해 연구자와 실무자가 의사결정 페이오프를 보고할 것을 권고합니다.