기술 요약: DRIVE (Distributional and Retrieval-Augmented Bidding with Value Evaluation)

1. 문제 정의

본 논문은 오프라인 강화 학습(Offline Reinforcement Learning, RL)과 트랜스포머 기반 시퀀스 모델링(예: Decision Transformer)을 실제 광고 입찰 시스템에 적용할 때 발생하는 결정적인 한계점들을 다룹다. 광고 경매에서의 온라인 탐색(Online Exploration)은 위험 부담과 비용이 매우 크기 때문에 오프라인 RL이 필수적이지만, 기존 방식들은 두 가지 주요 과제에 직면해 있다:

1. "평균 행동(Average Action)"의 함정: 표준적인 트랜스포머 기반 접근 방식은 일반적으로 단봉형 회귀 목적 함수(예: 평균 제곱 오차, MSE)를 채택한다. 입찰 환경에서는 유사한 시장 상태에서도 서로 다르지만 효과적인 여러 전략(예: 공격적인 고가 입찰 vs. 보수적인 저가 입찰)이 존재할 수 있다. 단봉형 모델링은 이러한 다양한 행동들을 하나의 차선책인 '평균값'으로 붕괴시켜 버리며, 이는 경매에서 승리할 만큼 공격적이지도 않고 비용을 제어할 만큼 보수적이지도 않은 결과를 초래한다.
2. 희소(Sparse) 및 롱테일 데이터에서의 신뢰성 문제: 순수 파라미터 모델은 고품질의 과거 결정을 명시적으로 유지하는 메커니즘이 부족하다. 결과적으로, 로그 데이터셋 내에 고품질의 결정이 존재함에도 불구하고, 데이터 밀도가 낮은 영역이나 롱테일 트래픽 조건 하에서는 신뢰할 수 없는 행동을 생성한다.

2. 방법론: DRIVE 프레임워크

저자들은 후보 행동 생성(Candidate Action Generation)과 의사결정(Decision-making)을 분리하는 통합 트랜스포머 기반 프레임워크인 DRIVE(Distributional and Retrieval-Augmented Bidding with Value Evaluation)를 제안한다. 이 프레임워크는 세 가지 핵심 구성 요소로 통합된다:

A. 분포적 행동 모델링 (GMM Head)

DRIVE는 결정론적 회귀 헤드 대신, 행동 공간을 모델링하기 위해 **가우시안 혼합 모델(Gaussian Mixture Model, GMM)**을 사용한다.

• 메커니즘: 정책은 각 혼합 성분의 혼합 계수($\alpha_m$), 평균($\mu_m$), 분산($\sigma^2_m$)으로 정의되는 $M$개의 혼합 성분을 예측한다.
• 목적 함수: 모델은 과거 행동의 로그 가능도(Log-likelihood)를 최대화하도록 학습된다. 이를 통해 정책은 다봉형 밀도(Multi-peaked density)를 표현할 수 있으며, 단일 점 추정치로 붕괴되지 않고 다양한 입찰 모드를 동시에 포착할 수 있다.
• 추론: 추론 단계에서 모델은 학습된 혼합 분포로부터 일련의 후보 행동들($A_{gen}$)을 확률적으로 샘플링하여, 다봉형 입찰 패턴을 보존한다.

B. 검색 증강 후보 생성 (Retrieval-Augmented Candidate Generation)

데이터 희소 구간에서 파라미터 모델의 불확실성을 완화하기 위해, DRIVE는 고품질의 과거 궤적(Trajectories)에 기반한 검색 메커니즘을 포함한다.

• 인덱스 구축: 경량 트랜스포머 인코더가 생성한 문맥적 상태 임베딩을 사용하여 오프라인 데이터셋으로부터 검색 인덱스($I$)를 구축한다.
• 검색 전략: 추론 시점에 현재 상태를 인코딩하고, 코사인 유사도를 기반으로 $K_{pool}$개의 최근접 이웃을 검색한다. 이후 이 후보들은 저장된 Return-to-Go (RTG) 값에 의해 필터링 및 랭킹되어 상위 $K$개의 고품질 행동($A_{ret}$)을 선택한다.
• 역할: 이는 명시적인 비파라미터적 지지(Non-parametric support)를 제공하여, 의사결정이 데이터셋 내의 검증된 고성능 행동에 고정(Anchoring)되도록 한다.

C. 가치 기반 행동 평가 (Value-Based Action Evaluation)

생성된 후보와 검색된 후보가 결합된 풀(Pool)에서 최종 입찰가를 견고하게 선택하기 위해, DRIVE는 가치 기반 비평가(Critic)를 활용한다.

• 비평가 구조: 이 프레임워크는 Implicit Q-Learning (IQL) 패러다임을 채택한다. 이는 Expectile 회귀를 사용하여 오프라인 데이터셋의 서포트 내에서 엄격하게 두 개의 Q-함수와 상태 가치 함수($V(s)$)를 학습한다.
• 제약 조건 인식: 제약이 있는 입찰 작업(예: CPA - Cost Per Action)의 경우, 보상 함수는 페널티 항을 포함하도록 형성된다. 이를 통해 학습된 가치 랜드스케이프가 본질적으로 안전 제약 조건을 반영하게 하여, 에이전트가 실행 가능한 영역으로 유도되도록 한다.
• 선택: 최종 행동($a^*$)은 다음 식을 통해 모든 후보($A_{cand} = A_{gen} \cup A_{ret}$)를 평가하여 선택된다:
  $$a^* = \arg \max_{a \in A_{cand}} \min_{i=1,2} Q_i(s, a)$$

3. 주요 기여

1. 통합 프레임워크: 오프라인 입찰의 "평균 행동" 함정과 데이터 희소성 문제를 해결하기 위해 분포적 GMM 모델링, 검색 증강 문맥, 가치 기반 평가를 결합한 DRIVE를 제안하였다.
2. AuctionNet을 통한 실증적 검증: 확률적 역학 및 엄격한 예산/CPA 제약을 특징으로 하는 대규모 산업 벤치마크인 AuctionNet에서 실험을 진행하였으며, DRIVE가 최신 SOTA 베이스라인들(CQL, IQL, BCQ, DT, Diffusion 기반 방법 포함)을 일관되게 능가함을 입증하였다.
3. 일반화 가능성: DRIVE 프레임워크는 다양한 트랜스포머 백본(DT, CDT, PDiT, BC)에 원활하게 통합될 수 있으며, 표준 오프라인 RL 벤치마크(D4RL Gym-MuJoCo 및 Maze2D) 전반에서 성능을 지속적으로 개선함을 보여주었다.

4. 실험 결과

• AuctionNet 성능: DRIVE는 모든 예산 제약(50% ~ 150%)에서 우수한 성능을 달성했다. 특히, 순수 생성형 베이스라인(DT 및 DiffBid 등)이 데이터 희소성으로 인해 성능이 크게 저하되는 AuctionNet-Sparse 데이터셋에서, DRIVE는 검색을 통해 의사결정을 고정함으로써 견고한 성능을 유지했다.
• D4RL 벤치마크: DRIVE는 Gym Locomotion 작업에서 가장 높은 평균 정규화 점수를 기록했으며, Maze2D 도메인(예: maze2d-medium에서 136.8점)에서 모든 경쟁 모델을 앞서는 상당한 우위를 보였다.
• 절제 연구 (Ablation Studies):
  • GMM 헤드를 제거(결정론적 방식으로 회귀)하거나 검색 모듈을 제거할 경우 성능이 크게 하락했다.
  • GMM과 Diffusion 헤드를 비교했을 때, GMM은 훨씬 낮은 추론 지연 시간(11ms vs. 223ms)으로 대등하거나 더 나은 성능을 보여 실시간 입찰에 더 적합함을 입증했다.
  • Q-함수의 다봉성 분석 결과, 상태의 17.6%가 다봉형이었으며, 이 지점에서 표준 DT 정책은 54.7%의 차선책(Suboptimal) 비율을 보였다. 이는 분포적 모델링의 필요성을 확인시켜 준다.
• 효율성: DRIVE는 추가적인 메모리 사용량(주로 FAISS 검색 인덱스 때문)이 발생하지만, 총 추론 지연 시간은 50ms 미만으로 유지되어 산업용 실시간 입찰 시스템의 엄격한 요구 사항을 충족한다.

5. 의의 및 주장

본 논문은 DRIVE가 오프라인 RL을 입찰 환경에 배포하기 위한 견고한 패러다임을 제공한다고 주장한다. 후보 생성과 의사결정을 분리함으로써 "평균 행동" 함정을 효과적으로 완화하고, 희소 및 롱테일 데이터 환경에서도 신뢰할 수 있는 의사결정을 보장한다. 저자들은 이 접근 방식이 복잡한 환경 모델링이나 온라인 탐색에 의존하지 않으므로, 안전성과 예산 제약이 최우선인 실제 광고 시스템에 실용적인 솔루션임을 강조한다. 다양한 트랜스포머 백본에 걸쳐 일반화되는 이 프레임워크의 능력은, 오프라인 RL을 위한 시퀀스 모델링에서 발생하는 모드 붕괴(Mode Collapse)와 샘플링 불안정성에 대한 일반적인 해결책을 제시한다.