기술 요약: 강건한 랭킹 및 할당을 위한 표현 커리큘럼 (Representation Curriculum)

1. 문제 정의

현대의 디지털 마켓플레이스 랭킹 시스템은 동적인 노출 할당 메커니즘으로서 작동한다. 이러한 시스템은 로그된 결과(logged outcomes)의 상당한 분산을 설명하고, 대략적으로 정체된 수요 하에서 높은 예측력을 가지는 내생적이고 노출에 의해 혼입된 신호(예: 인기도 추정치, 과거 CTR/CVR, ID 기반 표현)에 크게 의존한다.

그러나 이러한 예측력은 학습 과정에서 다음과 같은 학습 병리 현상을 야기한다:

• 지름길 학습 (Shortcut Learning): 훈련 초기 단계에서 노출 의존적인 신념 신호에 조기에 접근함으로써, 최적화 역학이 이러한 신호에 과도하게 의존하도록 유도된다.
• 그래디언트 기아 (Gradient Starvation): 쌍체(pairwise) 또는 리스트와이즈(listwise) 랭킹 학습(LTR)에서, 강력한 예측 변수(과거의 신념)는 훈련 초기에 큰 점수 격차를 만들어내어 손실 함수를 포화시킨다. 이는 약하지만 필수적인 단서, 즉 노출 독립적인 가치 신호(예: 콘텐츠 기반의 경쟁력, 의미론적 의도 적합성)에 대한 그래디언트를 억제한다.
• 결과: 학습된 정책은 기존의 우점자(incumbents)를 고착화하고, 콜드 스타트(cold-start) 일반화 성능을 저하시키며, 분포 변화에 대한 강건성을 감소시킨다. 이는 발견(discovery), 공정성 및 장기적인 플랫폼 건전성을 해치는 자기 강화적 노출 루프로 이어진다.

기존의 완화 전략들(counterfactual learning, supervision shaping, shrinkage, architectural constraints, stochastic masking 등)은 의미론적 관점을 고려하지 않거나, 시간이 흐름에 따라 특징 그룹 간에 학습 용량이 어떻게 할당되는지를 제어하는 데 실패한다.

2. 방법론: 표현 커리큘럼 (Representation Curriculum, RC)

저자들은 **표현 커리큘럼 (RC)**을 제안한다. 이는 노출 의존적 신호에 대한 지름길 의존을 방지하기 위해 특징 활용을 시간적으로 단계화하는, 의미론을 고려한 훈련 시점의 개입 방식이다.

핵심 메커니즘

RC는 특징을 두 가지 의미론적 그룹으로 분할한다:

1. 콘텐츠 기반 가치 신호 ($x_C$): 과거의 노출 여부와 관계없이 사용 가능 (예: 아이템 속성, 쿼리-아이템 적합도).
2. 노출 의존적 과거 신념 신호 ($x_H$): 과거 상호작용으로부터 도출됨 (예: 안정화된 CTR, 과거 거래 기록).

RC는 2단계 훈련 커리큘럼을 구현한다:

• 1단계 (콘텐츠 전용): 모델은 콘텐츠 기반 신호($x_C$)로만 훈련되며, 과거 신호는 마스킹 처리된다 ($x_H = 0$). 이는 학습자가 과거의 지름길에 의존하지 않고 레이블 변동을 설명할 수 있는 견고한 "콘텐츠 경로(content pathway)"를 개발하도록 강제한다.
• 2단계 (전체 + 앵커링): 과거 신호($x_H$)가 도입된다. 그러나 학습된 콘텐츠 표현을 보존하기 위해 최적화 과정은 1단계 솔루션에 **앵커링(anchoring)**된다. 이는 다음 두 가지 상호 보완적인 앵더링 전략을 통해 달성된다:
  1. 예측 앵커링 (마스크 일관성): 마스킹된 입력($x_H=0$)에 대한 2단계 모델의 예측이 1단계 모델과 일관되도록 강제한다.
  2. 파라미터 앵커링 (콘텐츠 경로 보호): 콘텐츠 경로 파라미터($\theta_C$)가 1단계의 값($\theta_C^{(1)}$) 근처에 머물도록 명시적으로 규제한다.

2단계 목적 함수는 기본 태스크 손실, 표준 규제항, 그리고 앵커링 항들을 결합한다:
$$\mathcal{L}_{total} = \mathbb{E}[\mathcal{L}(f_\theta(x_C, x_H); y)] + \lambda \Omega(\theta) + \mu_1 \mathcal{L}_{pred}(\theta) + \mu_2 \mathcal{L}_{par}(\theta)$$

모델 불가지론성 (Model Agnosticism)

RC는 다양한 가설 클래스에 적용 가능하다:

• 신경망 (Neural Networks): 아이템-콘텐츠 타워(item-content tower)가 앵커링되는 투 타워(two-tower) 구조에서 구현된다.
• 그래디언트 부스팅 결정 트리 (GBDTs): 오직 콘텐츠 특징만을 사용하여 초기 트리 세트($M$)를 적합시킨 후, 나머지 트리($T-M$)를 모든 특징을 사용하여 계속 부스팅하며, 이때 1단계 출력을 고정된 베이스 마진(base margin)으로 취급한다.

3. 이론적 보장

저자들은 폐쇄형 해(closed-form solution)와 검증 가능한 충분 조건을 도출하기 위해 가우시안 선형 리지 회귀(Gaussian linear ridge regression) 설정에서 RC를 정식화한다.

• 파레토 트레이드오프 (Pareto Tradeoff): 분석 결과, RC는 로그된 소스 분포($P$)에서의 성능과 콜드 스타트 또는 노출이 적은 세그먼트를 강조하는 전략적 타겟 분포($Q$) 사이의 정량화된 트레이드오프를 허용함을 보여준다.
• 리스크 경계 (Risk Bounds):
  • 소스 성능: RC는 모든 특징을 사용하여 훈련된 표준 풀 모델(full model) 대비 로그된 분포 $P$에서의 레그렛(regret)을 유계(bounded)로 유지한다.
  • 타겟 강건성: RC는 타겟 분포 $Q$(특히 $x_H$가 없거나 신뢰할 수 없는 "frozen-start" 시나리오)에서의 모집단 리스크를 유의미하게 감소시킨다.
• 개선 조건: 논문은 RC가 소스에서 경쟁력을 유지하면서도 타겟 분포에서의 리스크를 엄격하게 감소시키는 충분 조건을 제공한다. 이 조건들은 공분산 행렬의 슈어 보수(Schur complement)의 컨디셔닝(conditioning)과 풀 모델 및 콘텐츠 전용 모델 사이의 마진에 달려 있다.

4. 실험 결과

RC의 효용성은 공개 벤치마크와 대규모 온라인 배포를 통해 검증되었다:

• MSLR-WEB (Learning-to-Rank): RC는 매우 예측력이 높은 과거 신념 신호의 특징 중요도를 성공적으로 낮추었다. 이러한 변화는 전체적인 성능 저하를 최소화하면서 콜드 아이템에 대한 랭킹 품질을 개선했다.
• MovieLens (Recommendation): 신경망 투 타워 설정에서, RC는 모델이 콘텐츠 특징에 더 강하게 의존하도록 형성하였다. 이는 "frozen-start" 성능(과거 신호를 사용할 수 없는 시나리오를 시뮬레이션)을 크게 향상시키는 결과를 낳았다.
• eBay Sponsored Search (온라인 A/B 테스트): 실제 이커머스 시스템에서의 무작위 실험 결과, RC로 훈련된 정책은 다음과 같은 성과를 보였다:
  • 신규 리스팅(콜드 스타트 아이템)의 노출 및 판매 속도를 증가시켰다.
  • 종합 KPI를 중립적으로 유지함으로써, 콘텐츠 기반의 가치로의 전환이 전체 마켓플레이스 효율성을 해치지 않았음을 입증했다.

5. 의의 및 주장

본 논문은 표현 커리큘럼이 단순히 최종 목적 함수나 데이터 분포를 조절하는 것을 넘어, **학습의 시간적 궤적(temporal trajectory of learning)**을 명시적으로 제어한다는 점에서 기존 방법론과 차별화되는 이점을 가진다고 주장한다.

• 메커니즘 디자인: RC는 학습 과정을 (과거 데이터를 활용하면서도) 새로운 공급자를 지원하는 것과 같은 복지 친화적인 목표와 정렬시키는 메커니즘 디자인 도구로서 작을 한다.
• 강건성: 내생적 신호에 과도하게 의존하는 "지름길"을 방지함으로써, RC는 분포 변화에 더 강건하고 전략적 하위 집단(콜드 스타트)에 더 잘 일반화되는 정책을 생성한다.
• 실용성: 이 방법은 모델 불가지론적이며, 최소한의 아키텍처 변경만으로 기존의 훈련 파이프라인(신경망 및 트리 기반)에 원활하게 통합될 수 있다(단계적 훈련 스케줄과 앵커링 제약 조건만 필요함).

저자들은 RC가 과거의 신념 신호로부터 콘텐츠 기반의 가치 신호로의 의존도를 효과적으로 이동시켜, 헤드(head) 성능과의 통제된 트레이드오프를 유지하면서 콜드 집단에 대한 일관된 이득을 제공한다고 결론짓는다.