기술 요약: AIGP – 이커머스 가격 책정을 위한 LLM 기반 장기 가치 정렬 프레임워크

1. 문제 정의

대규모 이커머스의 전통적인 동적 가격 책정(Dynamic Pricing)은 세 가지 핵심적인 한계에 직면해 있습니다:

1. 제한된 해석 가능성: 규칙 기반 시스템과 블랙박스 형태의 데이터 기반 모델(예: 표준 강화 학습)은 투명한 추론 능력이 부족하여, 의사결정을 감사하거나 판매자의 신뢰를 구축하기 어렵습니다.
2. 비정형 데이터의 활용 미흡: 기존 방식은 제품 설명, 사용자 리뷰, 시즌 트렌드와 같은 풍부한 텍텍스트 맥락을 활용하는 데 어려움을 겪으며, 대신 구조화된 과거 지표에 의존합니다.
3. 장기 목표와의 불일치: 공격적인 할인은 장기적인 비즈니스 건전성을 희생하면서 단기 매출을 극대화하는 경우가 많습니다. 14일과 같은 확장된 기간 동안 누적 총 거래액(GMV), 투자 대비 수익률(ROI), 마일스톤 달성을 최적화하는 것은 보상 희소성(reward sparsity)과 지연된 시장 효과를 모델링하는 어려움 때문에 여전히 도전적인 과제입니다.

강화 학습(RL)은 장기 최적화를 위한 경로를 제시하지만, 분포 변화(distributional shifts), 보상 희소성 및 해석 가능성 결여라는 문제를 안고 있습니다. 반대로 대규모 언어 모델(LLM)은 추론 능력과 비정형 데이터 처리 능력을 제공하지만, 도메인 특화된 운영 지식과 장기적 결과 피드백이 부족하여 종종 차선책이거나 근시안적인 의사결정으로 이어집니다.

2. 방법론: AIGP 프레임워크

저자들은 투명하고 비즈니스에 부합하는 동적 가격 책정을 달성하기 위해 LLM 기반 추론과 오프라인 강화 학습을 통합한 AIGP (Artificial Intelligence Generated Pricing) 프레임워크를 제안합니다. 이 프레임워크는 4단계 파이프라인을 통해 작동합니다:

2.1 도메인 적응형 지도 미세 조정 (SFT)

LLM을 가격 정책으로 배포하기 위해, 저자들은 교사-학생 증류(teacher-student distillation) 전략을 채택합니다:

• 교사 모델 (Teacher Model): 대규모 235B 파라미터 LLM(Qwen3-235B)이 구조화된 데이터(매출 이력, GMV, ROI), 비정형 맥락(리뷰, 설명), 그리고 도메인 지식을 포함한 복잡한 프롬프트를 바탕으로 고품질의 추론 궤적과 가격 결정 사항을 생성합니다.
• 학생 모델 (Student Model): 30B 파라미터 규모의 소형 모델(Qwen3-30B)이 교사 모델을 모방하도록 저차원 적응(LoRA)을 통해 미세 조정됩니다.
• 품질 관리: "LLM-as-Judge" 모듈이 데이터 정확성, 콘텐츠 완결성, 추론 내부 일관성, 추론-결정 일관성의 네 가지 차원을 기준으로 교사의 응답을 필터링합니다. 오직 만점의 점수를 받은 응답만이 학습에 사용됩니다.
• 출력: SFT 모델은 지시사항을 따르고, 사고 사슬(Chain-of-Thought, CoT) 추론을 생성하며, 규정에 맞는 JSON 형식의 가격 결정 액션을 출력하는 법을 학습합니다.

2.2 장기 가치 추정기 (LTVE)

LLM의 장기 피드백 부족 문제를 해결하기 위해, 500만 개의 과거 전이(transitions) 데이터를 바탕으로 오프라인 강화 학습을 통해 전용 **장기 가치 추정기(LTVE)**를 학습시킵니다.

• 아키텍처: 디커플드 가치 학습 프레임워크와 더블 Q-크리틱 앙상블 및 상태 가치 네트워크($V_\psi$)를 사용하는 크리틱 전용 아키텍처를 사용합니다.
• 보상 설계: 보상 함수는 14일 마일스톤 달성(누적 GMV 임계값)과 ROI 사이의 균형을 맞춥니다. 제품 고유의 인기도와 가격 전략의 품질을 분리하기 위해 카테고리 정규화된 상대적 보상을 활용합니다.
• 학습: LTVE는 온라인 탐색 없이도 지연된 시장 효과를 모델링하기 위해 다단계 시간차(Temporal Difference, TD) 타겟($n=3$)을 사용하여 분포 변화의 위험을 완화합니다.

2.3 직접 선호 최적화(DPO)를 통한 선호도 정렬

LLM 정책을 장기적 비즈니스 목표에 정렬하기 위해, 저자들은 선호도 정렬 파이프라인을 도입합니다:

• 후보 샘리학 (Candidate Sampling): 주어진 상태에 대해 모델은 "의사결정 전용" 모드([ACT_ONLY] 토큰 사용)를 사용하여 여러 후보 가격 액션을 생성합니다.
• 쌍 구성 (Pair Construction): LTVE가 이러한 후보들의 점수를 매깁니다. "선택된(chosen)" 액션이 "거부된(rejected)" 액션에 비해 현저히 높은 LTVE 점수와 뚜렷한 할인 폭을 가진 경우 쌍을 구성합니다.
• 최적화: 학생 모델은 선택된 액션의 가능성을 거부된 액션보다 높이도록 **직접 선호 최적화(DPO)**를 통해 미세 조정됩니다. 이 단계는 특히 액션 토큰을 타겟팅하여, 모델이 추론 시에는 전체 추론 궤적을 생성할 수 있는 능력을 유지하면서도 장기 가치를 극대화하는 액션을 선택하도록 학습합니다.

2.4 배포 아키텍처

시스템은 타오바오의 버티컬 마켓플레이스인 Tao Factory에 배포됩니다. 워크플로우는 다음과 같습니다:

1. 추론 (Inference): 정렬된 LLM은 상태 데이터를 수신하고 CoT 추론 궤적을 생성한 뒤 구조화된 할인 액션을 출력합니다.
2. 안전성 (Safety): 액션은 비즈니스 규칙에 의해 제한되어 안전한 조정 범위($A_{safe}$) 내에 있도록 보장됩니다.
3. 투명성 (Transparency): CoT 추론은 가격 결정의 근거를 감사할 수 있는 논리적 근거를 제공하여 판매자의 신뢰를 촉진합니다.

3. 주요 기여

1. 새로운 프레임워크: LLM 기반 추론과 오프라인 RL 기반 장기 가치 모델링을 통합한 최초의 이커머스 가격 책정 프레임워크인 AIGP를 제안했습니다.
2. 선호도 정렬 파이프라인: 오프라인 RL로 학습된 LTVE를 사용하여 DPO를 위한 고품질 선호 쌍 생성을 자동화함으로써, LLM의 추론과 장기적 비즈니스 최적화 사이의 간극을 효과적으로 메우는 방법을 제시했습니다.
3. 확장 가능한 배포: 복잡한 추론 및 의사결정 능력을 235B 교사 모델에서 배포 가능한 30B 학생 모델로 증류하여, 추론 비용을 크게 줄이면서도 경쟁력 있는 성능을 달ีก하는 것을 입증했습니다.

4. 실험 결과

본 프레임워크는 광범에한 오프라인 평가와 대규모 온라인 A/B 테스트(60일 이상, 약 200,000개 SKU)를 통해 Tao Factory에서 평가되었습니다.

4.1 오프라인 평가

• 장기 가치 정렬: 전체 AIGP(SFT+DPO)는 Price-Sales 모델(2.564) 및 RL-DT(2.694)와 같은 베이스라인 모델보다 높은 평균 Q-점수(2.836)를 달성했습니다.
• 운영 충실도 (Operational Fidelity): AIGP는 가장 높은 전문가 액션 일치 정확도(82.51%)와 가장 낮은 평균 절대 오차(0.062)를 기록했습니다.
• 추론 품질: SFT와 DPO를 거친 증류된 30B 모델은 추론 품질 점수(19.52)에서 235B 교사 모델(19.80)에 근접하는 성과를 보였으며, 이는 기본 30B 모델(18.13)을 크게 상회하는 수치입니다.

4.2 온라인 A/B 테스트 성능 (14일 기간)

생산 환경의 베이스라인(Price-Sales 모델)과 비교했을 때, AIGP는 유의미한 개선을 보여주었습니다:

• 마일스톤 달성률 (MAR): +8.20%
• 누적 GMV: +13.21%
• 통합 ROI: +7.59%

4.3 안정성 및 강건성

• 가격 안정성: AIGP는 베이스라인에 비해 극단적인 할인 급변이 적고 작은 폭의 조정을 하는 비율이 높았으며, 이는 신제품 출시 시 매우 중요한 요소입니다.
• 콜드 스타트 및 OOD (Out-of-Distribution): 이력이 제한적인 상황(콜드 스타트)이나 경계값 액션 시나리오에서도, AIGP는 비정형 맥락과 유추적 추론을 활용하여 표준 LTVE 및 CQL(Conservative Q-Learning)보다 높은 역사실적 변별 정확도(Counterfactual Discrimination Accuracy, 각각 94.6% 및 94.1%)를 유지했습니다.

5. 의의 및 주장

본 논문은 AIGP가 이커머스 가격 책정에서 RL의 "블랙박스" 특성과 일반적인 LLM의 "근시안적 성향"을 성공적으로 해결했다고 주장합니다. 해석 가능한 CoT 추론과 장기 가치 최적화를 결합함으로써, 본 프레임워크는 다음을 가능하게 합니다:

• 투명한 의사결정: 판매자는 가격 변경의 "이유"를 감사할 수 있어 신뢰를 구축할 수 있습니다.
• 비정형 데이터의 효과적 활용: 시스템은 리뷰와 제품 설명을 활용하여 가격 전략을 조정하며, 특히 데이터가 부족한 콜드 스타트 제품에서 강점을 보입니다.
• 지속 가능한 성장: GMV, ROI, 마일스톤과 같은 장기 지표와의 정렬을 통해, 가격 전략이 단순한 단기 물량 확대가 아닌 지속 가능한 비즈니스 건전성을 견인하도록 합니다.

저자들은 이 접근 방식이 컴팩트하고 배포 가능한 모델이 훨씬 더 큰 LLM의 의사결정 품질에 도달할 수 있게 함과 동시에, 정책의 투명성과 복잡한 다목적 비즈니스 목표에 대한 정렬을 보장한다고 결론짓습니다. 향-후 연구로는 교차 도메인 확장성과 기호적 추론(symbolic reasoning) 및 전략적 의사결정을 위한 통합 프레임워크 탐색을 제안합니다.