기술 요약: SemRaD를 통한 정보 격차 해소

1. 문제 정의

본 논문은 이커머스 분야의 신규 사용자 콜드 스타트(cold-start) 문제, 구체적으로는 상호작용 이력이 희소한 사용자에 대한 사용자 생애 가치(LTV) 및 전환율(CVR) 예측의 어려움을 다룹니다. 표준 시퀀스 모델(예: DIN, SASRec)은 풍부한 과거 데이터에 의존합니다. 그러나 사용자의 트레이스(trace)에 이벤트가 몇 개 없을 경우, 예측은 인구 통계적 평균으로 퇴화하여 비효율적인 마케팅과 리텐션 기회 상실로 이어집니다.

저자들은 기존의 두 가지 접근 방식과 그 구체적인 한계를 다음과 같이 식별했습니다:

1. LLM 기반 시맨틱 증강(Semantic Augmentation): 대규모 언어 모델(LLM)은 사용자의 의도를 추론함으로써 희소한 이력을 밀도 있게 만들 수 있지만, 일반적으로 **비구조화된 자유 형식의 근거(free-form rationales)**를 생성합니다. 실제 운영 환경에서 이러한 근거는 노이즈가 많고, 검증하기 어려우며, 사용자나 시장 변화에 따라 일관성이 없어 운영화하기 어렵습니다.
2. 특권 정보 활용 학습(Learning Using Privileged Information, LUPI): 이 방식은 전환 후의 신호(특권 정보)에 접근할 수 있는 '교사(teacher)' 모델을 사용하여, 전환 전 데이터만을 보는 '학생(student)' 모델을 학습시킵니다. 그러나 단순한 증류(distillation)는 교사와 학생 사이의 정보 격차가 너무 크고 사용자마다 **이질적(heterogeneous)**이기 때문에 종종 실패합니다. 단일한 공유 증류 경로는 이러한 영역들을 평균화하는 경향이 있어, 정작 정보가 가장 필요한 특정 사용자에게 지식을 효과적으로 전달하지 못합니다.

2. 방법론: SemRaD 프레임워크

저자들은 **구조화된 시맨틱 추론 파이프라인(Structured Semantic Reasoning Pipeline)**과 **사후 인지형 증류 네트워크(Hindsight-Aware Distillation Network)**라는 두 가지 상호 보완적인 구성 요소를 통해 정보 격차를 메우도록 설계된 SemRaD(Semantic Reasoning-aware Distillation) 프레임워크를 제안합니다.

A. 구조화된 시맨틱 추론 파이프라인

Sem-RaD는 자유 형식의 텍스트를 생성하는 대신, 행동 차원(예: 시간적 해상도, 거래 규모)에 대한 고정되고 해석 가능한 스키마를 만들기 위해 발견(discover)–큐레이션(curate)–감사(audit) 워크플로를 채택합니다.

• 스키마 구축: LLM이 후보 차원을 제안하면, 두 번째 LLM 호출을 통해 이를 중복 제거 및 통합하고, 도메인 전문가의 검토를 거쳐 차별성과 예측 관련성을 확보합니다.
• 시맨틱 프로파일링:
  • 전환 전 ($Z_{pre}$): LLM은 희소한 전환 전 로그를 분석하여 각 차원에 대한 구조화된 근거로 구성된 **밀집 시맨틱 프로파일(Densified Semantic Profile)**을 생성합니다. 이것이 배포된 학생 모델이 사용하는 유일한 LLM 유도 신호입니다.
  • 전환 후 ($Z_{post}$): 학습 단계에서 LLM은 특권 정보를 가진 전환 후 로그를 분석하여 미래의 프로파일을 생성합니다.
  • 사후 융합 ($Z_{fused}$): 융합 프롬프트는 전 전환 및 후 전환 추론을 조정합니다. 이는 어떤 전 전환 신호가 진정으로 예측력이 있었는지 식별하고 모순을 해결하여, **사후 증류 타겟(Hindsight Distillation Target)**을 생성합니다. 이 타겟은 학생이 학습할 수 있도록 스스로 일관성을 갖춘 감독 신호를 제공하며, 원시적이거나 잠재적으로 모순될 수 있는 신호와 차별화됩니다.

B. 사후 인지형 증류 네트워크

이 프레임워크는 학생(온라인)과 교사(학습 시에만 사용)를 사용하는 동시 증류 패러다임을 사용합니다.

• 시맨틱 게이티드 인코더(Semantic-Gated Encoder): 사용자 이질성(사용자마다 다른 차원이 중요하게 작용하는 현상)을 처리하기 위해, 모델은 고정된 텍스트 임베더로 각 시맨틱 근거를 인코딩하고 게이팅 메커니즘을 통해 사용자별 중요도 가중치를 계산합니다. 이를 통해 모델은 각 특정 사용자에게 가장 정보가 많은 차원에 집중할 수 있습니다.
• 증류 전문가(Distillation Experts): 이질적인 정보 격차를 해결하기 위해, 프레임워크는 단일 공유 증류 경로를 대신하여 증류 전문가를 도입합니다. 교사의 표현에 조건화된 Gumbel-softmax 라우터가 여러 전문가 MLP 중 하나를 선택하여 학생의 입력으로부터 교사의 타겟을 재구성합니다. 이를 통해 모델은 특정 사용자의 데이터 영역에 따라 전이 전략을 적응시킬 수 있습니다.
• 학습 목적 함수: 전체 손실(loss)은 작업별 지도 학습 손실(LTV를 위한 Huber, CVR을 위한 BCE), 소프트 타겟 지식 증류(KD), 그리고 전문가 라우팅 재구성 손실을 결합합니다.

3. 주요 기여

1. 구조화된 시맨틱 추론 파이프라인: 비구조화된 LLM 근거를 스키마 가이드 방식의 발견-큐레이션-감사 워크플로로 대체합니다. 이는 추론을 위한 밀집 시맨틱 프로파일과 학습을 위한 사후 융후 타겟을 생성하여 일관성과 운영 가능성을 보장합니다.
2. 사후 인지형 증류 네트워크: 사후 융합된 타겟을 통해 교사-학생 간의 격차를 메우고, 증류 전문가를 통해 사용자별 변동성을 처리함으로써 단일 경로 증류의 취약성을 극복하는 증류 메커니즘을 도입합니다.
3. 프로덕션 배포 및 일반화: SemRaD가 LTV 및 CVR, 다양한 학생 백본(Transformer, DIN, Avg-Pooling), 프로파일러 LLM에 걸쳐 일반화됨을 입증합니다. 또한 대규모 산업 현장에서의 유효성을 검증했습니다.

4. 실험 결과

실험은 대규모 산업 데이터셋(12만 명의 사용자)에서 수행되었으며, Keeta에서의 4주간 온라인 A/B 테스트를 통해 검증되었습니다.

• 오프라인 성능: 프로덕션 급 베이스 모델과 비교했을 때, SemRaD는 다음을 달성했습니다:
  • LTV(Gini 계수) +1.9% 개선.
  • CVR(AUROC) +1.0% 개선.
  • 절제 연구(Ablation studies)를 통해 구조화된 시맨틱 프로파일링과 사후 인지형 증류(전문가 포함)가 모두 최고 성능을 위해 필수적임을 확인했습니다.
• 데이터 효율성: SemRaD는 프로덕션 시스템의 LTV 성능을 단 9%의 훈련 데이터만 사용하여 달성하면서도 CVR을 0.8% 개선하여, 시맨틱 프로파일의 신호 효율성을 입증했습니다.
• 온라인 A/B 테스트: 실시간 배포(트래픽 5%, 약 1만 명의 사용자)에서 SemRaD는 다음을 보여주었습니다:
  • LTV 상대적 이득 +1.0%.
  • CVR 상대적 이득 +0.43%.
  • 게이티드 MLP로 인해 서빙 지연 시간이 약간 증가했으나(P50: +7.6%, P99: +34%), 추론 시에는 LLM 호출이 필요하지 않았습니다(프로파일은 캐싱됨).
• 메커니즘 분석:
  • 게이트 가중치: 학습된 게이팅 가중치는 전문가의 직관(예: 내비게이션 의도 구체성 우세)과 일치하여 스키마의 유용성을 입증했습니다.
  • 증류 전문가: 라우터는 명시적인 감독 없이도 사용자를 뚜렷한 영역(예: 전환자 vs 비전환자)으로 자연스럽게 클러스터링했습니다.
  • 정보 격차: SemRaD는 단순 증류에 비해 콜드 스타트 사용자에 대한 교사와 학생 간의 예측 불일치를 크게 줄여, 사후 융합이 특권 감독을 더 쉽게 도달 가능하게 함을 확인했습니다.

5. 의의 및 주장

본 논문은 SemRaD가 비구조화된 시맨틱 노이즈와 이질적인 정보 격차라는 두 가지 과제를 효과적으로 해결한다고 주장합니다. LLM의 추론을 구조화된 스키마로 변환하고 사후 융합을 통해 특권 정보를 조정함으로써, 이 프레임워크는 희소한 데이터의 학생 모델로부터 특권 정보를 가진 교사로부터의 견고한 지식 전이를 가능하게 합니다.

저자들은 이 프레임워크가 **모델 불가지론적(model-agnostic)**이며, CTR 예측, 사용자 시뮬레이션, 휴면 사용자 재참여 등 Keeta의 다른 프로덕션 작업에도 성공적으로 도입되었음을 강조합니다. 이 연구는 구조화된 시맨틱 추론과 고급 증류 기술을 결면함으로써, 데이터 효율성과 운영 가능성을 유지하면서도 상당하고 측정 가능한 비즈니스 가치를 창출할 수 있음을 보여줍니다.