기술 요약: DeGRe: 추천을 위한 밀집 감독 생성 재순위화

1. 문제 정의

다단계 추천 시스템에서 재순위화 (reranking) 단계는 리스트 내 컨텍스트적 종속성을 모델링하여 전체 효용을 최적화하는 데 결정적입니다. 그러나 지수적으로 큰 순열 공간 내에서 최적의 시퀀스를 찾는 것은 기존 생성식 재순위화 방법에게 두 가지 근본적인 과제를 제시합니다:

1. 휴리스틱 라벨 편향: 현재 방법들은 종종 클릭된 항목을 최상위로 이동시키는 것과 같은 단순한 휴리스틱 규칙에 기반하여 학습 타겟을 구성합니다. 이러한 접근법은 리스트 컨텍스트 내의 인과적 종속성을 무시하며, 클릭된 항목이 위치와 관계없이 항상 우월하다는 것을 암묵적으로 가정합니다. 결과적으로 모델들은 진정한 전역 최적 순위가 아닌 편향된 데이터 분포에 적합하여, 노출되지 않은 공간의 고가치 시퀀스를 탐색하지 못합니다.
2. 신용 할당 문제: 전체 CTR 이나 GMV 와 같은 리스트 수준의 사후 보상에 의존하는 기존 접근법들은 희소 피드백을 제공합니다. 이러한 거시적 스칼라 신호는 시퀀스 생성 중 특정 중간 단계에 가치를 귀속시키지 못하여 모호한 최적화 방향으로 이어지고 성능 상한을 제한합니다.

2. 방법론: DeGRe 프레임워크

이러한 문제들을 해결하기 위해 저자들은 **DeGRe(밀집 감독 생성 재순위화)**를 제안합니다. 이는 오프라인 - 온라인 분리 설계를 통해 오프라인 탐색과 온라인 효율성을 연결하는 프레임워크입니다.该系统은 **Lookahead 평가기 (DeGRe-E)**와 **온라인 생성기 (DeGRe-G)**라는 두 가지 핵심 구성 요소로 이루어져 있습니다.

2.1 오프라인 단계: Lookahead 평가기 및 밀집 감독 구성

순열 공간의 계산 집약적인 탐색은 오프라인 단계로 위임됩니다.

• Lookahead 평가기: 이 구성 요소는 누적 회귀를 활용하는 Causal Transformer 기반 모델입니다. 단일 스칼라 값을 예측하는 대신, 임의의 단계 $t$에서 누적 값 $V$가 임계값 $k$에 도달하거나 초과할 확률을 예측함으로써 (예: 클릭 수) 이산적 메트릭의 분포를 모델링합니다. 이를 통해 임의의 부분 시퀀스에 대한 기대 누적 값을 세밀하게 추정할 수 있습니다.
• Lookahead 시퀀스 마이닝: 훈련된 평가기를 사용하여 시스템은 **빔 서치 (beam search)**를 통해 노출되지 않은 공간의 고가치 시퀀스를 능동적으로 마이닝합니다. 평가기는 후보 항목을 추가할 때의 누적 값을 추정하여 탐색을 안내함으로써, 과거 노출 데이터가 놓칠 수 있는 잠재적 최적 해를 식별합니다.
• 밀집 감독 구성: 평가기로부터의 단계별 가치 추정치는 생성기를 위한 밀집 감독 신호로 변환됩니다:
  • 하드 라벨: 마이닝된 Lookahead 시퀀스 내 각 단계에서 선택된 특정 항목은 결정론적 타겟으로 작용합니다.
  • 소프트 라벨: 평가기의 가치 추정치에 기반하여 남은 후보들에 대한 확률 분포가 구성되며, 이는 비최적 대안에 대한 세밀한 순위 정보를 보존합니다.
  • 시퀀스 가중치: 시퀀스는 추정된 누적 값으로 가중치가 부여되어, 생성기가 고신뢰도 및 고가치 경로에 집중하도록 보장합니다.

2.2 훈련 단계: 하이브리드 증류

온라인 생성기는 저지연 추론을 위해 설계된 경량 인코더 - 디코더 아키텍처입니다.

• 아키텍처: 이는 후보 집합을 인코딩하기 위해 양방향 Transformer 를 사용하여 (경쟁/상호보완적 관계 포착) 그리고 자기회귀 생성을 위해 사용자 유도 Causal 디코더를 사용합니다. 생성된 항목이 엄격하게 입력 후보 집합에서 나오도록 보장하기 위해 후보 제약 디코딩 메커니즘 (포인터 네트워크 스타일) 을 사용합니다.
• 목적: 생성기는 하이브리드 증류를 통해 훈련되며, 다음을 결합한 손실 함수를 최소화합니다:
  • Lookahead 모방 ($L_{CE}$): 마이닝된 시퀀스에서의 하드 라벨 (타겟 결정) 에 적합합니다.
  • 가치 정렬 ($L_{KL}$): 소프트 라벨 분포와 정렬하여 평가기의 세밀한 가치 추정을 내부화합니다.

2.3 온라인 단계: 효율적 추론

온라인 서비스 중에는 무거운 Lookahead 평가기가 배포되지 않습니다. 경량 온라인 생성기는 추천 리스트를 생성하기 위해 단일 효율적 탐욕적 디코딩 패스를 수행합니다. 훈련 중 Lookahead 계획 능력을 내부화함으로써, 생성기는 2 단계 생성 - 평가 프로세스의 계산 오버헤드 없이 전역 최적에 근사할 수 있습니다.

3. 주요 기여

1. DeGRe 프레임워크: 오프라인 - 온라인 분리 전략을 채택한 새로운 생성식 재순위화 프레임워크입니다. 풍부한 오프라인 리소스를 활용하여 고가치 시퀀스를 마이닝함으로써 휴리스틱 라벨로 인한 편향을 효과적으로 완화합니다.
2. 밀집 감독 메커니즘: Lookahead 평가기에 기반한 방법으로, 단계별 가치 추정을 제공합니다. 희소 사후 보상과 달리, 이 접근법은 시퀀스 생성 중 신용 할당 문제를 효과적으로 완화하는 밀집 가이드를 제공합니다.
3. 실증적 검증: 공개 벤치마크 (ML-1M, Taobao Ad) 와 산업용 데이터셋 (Taobao Flash Shopping) 에 대한 광범위한 실험을 통해 DeGRe 가 효율적인 추론을 유지하면서 최첨단 방법들을 능가함을 입증했습니다.

4. 실험 결과

오프라인 성능

• 생성기: Taobao Flash Shopping 데이터셋에서 DeGRe(빔 크기 $B=8$) 는 **HR@1% 가 88.72%**를 기록하여, 가장 강력한 베이스라인 (GoalRank) 대비 **53.19%**의 절대적 개선을 달성했습니다. 약한 감독 ($B=1$) 으로도 기존 베이스라인을 능가했습니다.
• 평가기: Lookahead 평가기는 Taobao Flash Shopping 데이터셋에서 R-AUC 0.7090과 PCOC 0.9932를 달성하여 포인트 - 와이즈 및 리스트 - 와이즈 베이스라인을 능가했으며, 시퀀스 가치 추정을 위한 누적 회귀의 유효성을 검증했습니다.

온라인 A/B 테스트

DeGRe 는 Taobao Flash Shopping 홈 페이지 추천 시나리오에 8 일 동안 2% 의 라이브 트래픽으로 배포되었습니다.

• 비즈니스 지표: 기본 전략 대비 DeGRe 는 CTR 에서 +2.85%, ORDER 에서 +2.14%, **GMV 에서 +3.75%**의 개선을 달성했습니다.
• PRM 과의 비교: 업계 표준 단일 단계 모델인 PRM 과 비교하여 DeGRe 는 ORDER 를 1.0%, GMV 를 2.99% 추가로 개선했습니다.
• 지연 시간: 평균 추론 지연 시간은 14.8 ms만 증가하여 대규모 실시간 시스템의 저지연 요구 사항을 충족했습니다.
• 견고성: 모델은 다양한 사용자 그룹 (기존: +3.73%, 신규: +2.72%) 과 클라이언트 시나리오 (Taobao 앱: +3.75%, Alipay 앱: +4.14%) 에서 일관된 GMV 개선을 보여주었습니다.

5. 중요성 및 주장

본 논문은 DeGRe 가 생성식 재순위화에서 탐색 깊이와 추론 효율성 사이의 트레이드오프를 성공적으로 해결했다고 주장합니다. 비용이 많이 드는 탐색 (오프라인) 과 추론 (온라인) 을 분리함으로써, 이 프레임워크는 생성기가 Lookahead 계획 능력을 "내부화"할 수 있게 합니다. 이를 통해 시스템은 2 단계 생성 - 평가 패러다임의 목표 불일치와 높은 지연 시간을 피하면서 단일 탐욕적 디코딩 패스로 전역 최적에 근사할 수 있습니다. Taobao Flash Shopping 에서의 성공적인 배포와 상당한 GMV 성장은 산업용 추천 시스템에서 밀집 감독과 오프라인 마이닝의 실용적 유효성을 검증합니다.