기술 요약: PIT-SUN

문제 정의

가치 중심 추천 시스템(Value-driven recommender systems)에서 체류 시간(Dwell time), 총 상품 판매액(GMV), 생애 가치(LTV)와 같은 연속적인 비즈니스 지표를 예측하는 것은 랭킹 및 할당의 핵심입니다. 이러한 타겟들은 본질적으로 희소성(sparse), 두꺼운 꼬리(heavy-tailed), 다봉성(multimodal), 그리고 영-과잉(zero-inflated) 특성을 가집ates.

본 논문에서 식별된 핵심 딜레마는 **최적화 안정성(optimization stability)**과 기댓값 일관성(expectation consistency) 사이의 트레이드오프입니다:

1. 원래 공간의 MSE (Original-Space MSE): 원래 공간에서 평균 제곱 오차(MSE)를 최소화하는 것은 이론적으로 조건부 기댓값 $m(x) = E[Y|X=x]$를 목표로 하지만, 극단적인 값과 제로 플래토(zero plateaus)로 인해 유한 샘플 그래디언트(finite-sample gradients)가 불안정합니다. 이는 "평균 붕괴(mean collapse)" 또는 "꼬리 수축(tail shrinkage)" 현상을 초래합니다.
2. 변환된 공간 (Transformed Space): 단조 변환(예: log, sqrt, Box-Cox)을 적용하면 학습 좌표는 안정화되지만, **재변환 편향(retransformation bias)**이 발생합니다. 변환된 예측값 $T^{-1}(E[T(Y)|x])$를 직접 역전시키는 것은 $T^{-1}$가 아핀(affine) 변환이 아닌 한 원래의 기댓값 $E[Y|x]$와 일치하지 않습니다. 그러나 아핀 변환은 두꺼운 꼬리를 가진 데이터에 필요한 유계된 꼬리 압축(bounded tail compression)을 제공할 수 없습니다.

기존의 복구 방법들(예: TranSUN/GTS)은 조건부 선형 복구(conditionally linear recovery)를 통해 기댓값 일관성을 복구하지만, 변환(transform)과 복구 기저(recovery bases)를 수동으로 선택해야 하는 데 의존합니다. 본 논문은 단순히 수동 변환을 경험적 확률 적분 변환(PIT)으로 교체하는 것만으로는 좌표, 역함수 조회, 복구 기저 및 드리프트 모니터링을 위한 통합된 프레임워크 없이는 불충분하다고 주장합니다.

방법론: PIT-SUN

저자들은 PIT-SUN(Probability-Integral-TranSformed Unbiased recovery)을 제안합니다. 이는 배포 가능한 경험적 주변부 복구(empirical marginal recovery) 프레임워크입니다. 이 방식은 경험적 주변 분포 테이블(empirical marginal table)을 단순한 변환이 아니라, 좌표, 역함수 조회, 복구 기저 및 모니터링 메커니즘을 동시에 정의하는 통합된 "클로저(closure)"로 취급합니다.

1. 이론적 토대

논문은 두 가지 핵심적인 불가능성 결과(impossibility results)를 확립합니다:

• 비선형 직접 역전 불가 (Nonlinear Direct Inversion): 비선형의 꼬리 압축 변환은 직접 역전을 통해서는 보편적으로 기댓값을 보존할 수 없습니다.
• PIT 전용 편향 (PIT-Only Bias): 완벽한 PIT 좌표를 사용하더라도, 직접 역전 $C^{-1}(E[C(Y)|x])$은 역분위수 함수(inverse quantile function)의 곡률로 인해 체계적인 테일러 편향(Taylor bias)을 나타냅니다.

2. PIT-SUN 클로저 (The PIT-SUN Closure)

이 프레임워크는 단일 경험적 누적 분포 함수(CDF) 테이블에서 파생된 세 가지 결합된 구성 요소로 이루어져 있습니다:

• 경험적 PIT 좌표 (Scale-Bounded Learning):
  수동 변환 대신, 모델은 유계된 정규 점수 공간(bounded normal-score space)에서 학습합니다. 타겟은 $[\delta, 1-\delta]$로 클리핑된 경험적 CDF $\hat{F}_Y$를 통해 변환되어 표준 정규 분위수로 매핑됩니다:
  $$C(y) = \Phi^{-1}(\text{clip}(\hat{F}_Y(y), \delta, 1-\delta))$$
  이는 두꺼운 꼬리를 가진 진폭을 유계된 좌표로 변환하여 그래디언트를 안정화합니다.

• 역분위수 기저 (Inverse-Quantile Base, Stabilized Recovery):
  예측된 PIT 좌표는 원래 스케일로 매핑되어 복구 기저 $b(x)$를 형성합니다:
  $$b(x) = \max(C^{-1}(\bar{f}(x)), b_{min}) + \epsilon$$
  여기서 $C^{-1}$은 경험적 역분위수 조회입니다. 결정적으로, 양수 타겟의 분위수에 기반한 하한값 $b_{min}$은 제로-과잉 영역에서의 분모 붕괴를 방지하고 복구 레이블의 분산을 제어합니다.

• SUN 복구 (Conditionally Linear):
  두 번째 브랜치는 스톱-그래디언트(stop-gradient) 연산자를 사용하여 비례 타겟 $z(x) \approx E[Y/b(x) | x]$를 학습합니다. 손실 함수는 다음과 같습니다:
  $$L_{SUN} = E\left[ \left( z_\psi(x) - \frac{y}{\text{sg}[b(x)]} \right)^2 \right]$$
  이는 복구 경로가 고분산 잔차(high-variance residuals)로 인해 PIT 기하학을 손상시키지 않으면서, 고정된 기저에 대해 조건부 선형성을 갖도록 보장하여 기댓값 일관성을 복구합니다.

• 최종 예측:
  $$\hat{y}(x) = z_\psi(x) \cdot b(x)$$

3. 희소 및 제로-과잉 타겟 처리

극단적인 제로-과잉(예: GMV)을 가진 타겟을 위해, 논문은 문제를 분해하는 PIT-SUN-ZI를 도입합니다:

1. 허들 브랜치(hurdle branch)가 $P(Y > 0 | x)$를 추정합니다.
2. PIT-SUN은 양수 샘플에 대해 $E[Y | x, Y > 0]$를 추정합니다.
3. 최종 예측은 발생 확률과 양수 금액의 곱입니다.

주요 기여

1. 불가능성 가이드 수식화 (Impossibility-Guided Formulation): 논문은 비선형 안정 좌표가 직접 역전을 통해 기댓값을 보존할 수 없음을 공식적으로 증명하며, 이는 단순한 스칼라 변환보다 별도의 복구 경로가 필요함을 시사합니다.
2. PIT-SUN 클로저: 단일 경험적 CDF 테이블이 안정적인 좌표, 역함수 조회, 분산 제어 복구 기저 및 드리프트 모니터를 정의하는 통합된 프레임워크를 도입합니다. 이는 수동 휴리스틱 선택을 데이터 기반의 배포 가능한 클로저로 대체합니다.
3. 경험적 검증: 이 방법은 다양한 주변 형태(두꺼운 꼬리, 제로-과잉, 다봉성)에 대해 합성 분포, 공개 벤치마크(CIKM16, DTMart), 대규모 산업 데이터셋(체류 시간, GMV) 및 온라인 A/B 테스트를 통해 검증되었습니다.

실험 결과

• 합성 및 공개 벤치마크: PIT-SUN은 다양한 주변 형태(heavy-tailed, zero-inflated, multimodal)에 대해 견고한 캘리브레이션(SRE, TRE, MRE로 측정)과 랭킹 품질(xAUC, Gini)을 보여줍니다. 이는 분포 모델(ZILN, EGMN), 이산 모델(TPM, CREAD), 수동 복구 베이스라인(TranSUN)을 능가합니다.
• 산업 규모 오프라인 결과: 대규모 체류 시간 및 제로-과잉 GMV 데이터셋에서 PIT-SUN은 가장 낮은 지점 오차(NMAE, NRMSE)와 최상의 종합 캘리브레이션을 달성했습니다. 진단 변형 모델(예: PIT-SUN-w/o SUN, PIT-TranSUN)은 전체 클로저(유계 좌표 + 안정화된 기저 + 그래디언트 격리)가 필수적임을 확인시켜 줍니다. 단순히 기존 프레임워크에 경험적 PIT를 삽입하는 것만으로는 열등한 결과를 낳습니다.
• 온라인 A/B 테스트: 인센티브 할당 시스템에 배포된 PIT-SUN은 체류 시간, 동영상 조회수, 깊은 참여 사용자(deeply engaged users) 측면에서 통계적으로 유의미한 개선을 보였습니다. 일일 활성 사용자 수(DAU)와 광고 수익은 안정적으로 유지되어, 이 모델이 다른 비즈니스 지표를 해치지 않으면서 참여도를 개선함을 나타냈습니다.
• 효율성: PIT-SUN은 2단계 베이스라인에 비해 훈련 시간과 추론 지연 시간(P50/P99)을 줄여, 높은 QPS를 요구하는 프로덕션 환경에 적합하게 만듭로.

의의 및 주장

본 논문은 PIT-SUN이 타겟 변환을 휴리스틱한 전처리 단계에서 배포 가능한 경험적 주변부 클로저로 재정의한다고 주장합니다. 그 의의는 복잡한 분포 가정이나 변환을 위한 수동 하이퍼파라미터 튜닝 없이도 "안정성 vs 기댓값" 딜레마를 해결한다는 점에 있습니다.

저자들은 이 프레임워크가 **모델 불가지론적(model-agnostic)**이며 해석 가능하여, 이질적인 연속 타겟(체류 시간, GMV, LTV)을 위한 실용적인 스케일 얼라이너(scale-aligner) 역할을 한다고 강조합니다. 이 연구는 좌표, 기저, 복구를 통합하는 완전한 데이터 기반 클로저가 복잡한 실제 세계의 회귀 작업에서 지점 정확도(point accuracy)와 기댓값 일관성을 모두 달 achieve하는 데 필수적임을 입증합니다.