Thinking Broad, Acting Fast: Latent Reasoning Distillation from Multi-Perspective Chain-of-Thought for E-Commerce Relevance

기술 요약: 넓게 생각하고 빠르게 행동하기 (Thinking Broad, Acting Fast)

문제 정의
효과적인 관련성 모델링은 이커머스 검색의 근간이지만, 전통적인 모델들은 롱테일(long-tail) 및 모호한 쿼리 처리에 어려움을 겪습니다. 사고 사슬(Chain-of-Thought, CoT) 추론을 강화한 거대 언어 모델(LLM)이 정확도와 해석 가능성을 개선하는 데 유망한 성과를 보였음에도 불구하고, 두 가지 결정적인 한계가 실제 환경 배포를 가로막고 있습니다:

1. 단일 관점의 한계: 기존의 CoT 접근 방식은 일반적으로 단일하고 단일한 추론 관점에 의존합니다. 이는 사용자 의도, 구조화된 속성 매칭, 그리고 특정 비즈니스 규칙을 동시에 균형 있게 조절해야 하는 이커머스 관련성의 다면적인 특성을 포착하지 못합니다.
2. 지식 증류의 비효율성: LLM이 생성한 근거(rationale)를 활용하는 기존의 지식 증류 방법들은 추론 단계에서 CoT 구조를 버리는 경우가 많습니다. 이들은 추론을 온라인 서빙을 위한 유용한 과정으로 활용하기보다는 단순한 훈련 신호로 취급하며, 이로 인해 추론 과정의 효용을 상실합니다. 또한, LLM 자체는 추론 지연 시간(latency)이 높아 실시간 검색 시스템에 적용하기에는 부적합합니다.

방법론
저자들은 훈련 시에는 "넓게 생각하고(think broad)", 추론 시에는 "빠르게 행동하는(act fast)" 프레임워크를 제안하며, 이는 두 가지 주요 구성 요소로 이루어집니다:

1. 교사 학습을 위한 다중 관점 사고 사슬 (Multi-Perspective Chain-of-Thought, MPCoT)
본 프레임워크는 세 가지 뚜렷한 관점에서 다양한 근거를 생성하도록 훈련된 강력한 교사 LLM(Qwen3-14B)을 사용합니다:

• 사용자 의도 (User Intent): 기능적 요구사항과 사용 사례 적합성에 집중합니다.
• 구조적 분석 (Structured Analysis): 쿼리와 제품 간의 속성을 체계적으로 하나씩 검증합니다.
• 비즈니스 규칙 (Business Rules): 모호함을 해결하기 위해 플랫폼 특유의 휴리스틱을 적용합니다 (예: 메인 제품과 액세서리 구분).

교사 모델은 두 단계의 최적화 과정을 거칩니다:

• 지도 미세 조정 (Supervised Fine-Tuning, SFT): 고품질의 관점별 CoT 근거가 집계된 데이터셋을 통해 모델을 훈련시킵니다. 이를 통해 모델이 다양한 추론 경로를 내재화하도록 강제합니다.
• 직접 선호도 최적화 (Direct Preference Optimization, DPO): 서로 다른 관점이 충돌하는 예측을 생성하는 경우를 해결하기 위해 DPO를 사용하여 모델을 더욱 정교하게 다듬습니다. 이 단계에서는 올바른 관점에서 나온 응답을 "선택(chosen)", 잘못된 관점에서 나온 응답을 "거부(rejected)"로 설정한 선호도 쌍을 구성하여, 모델이 문맥에 따라 최적의 추론 경로를 적응적으로 가중치 부여하고 선택할 수 있도록 학습시킵kan합니다.

2. 학생 배포를 위한 잠재 추론 지식 증류 (Latent Reasoning Knowledge Distillation, LRKD)
생성 지연 시간 없이 교사의 능력을 경량화된 학생 모델(예: BERT)로 전달하기 위해, 저자들은 LRKD를 도입합니다.

• 아키텍처: 학생 모델은 훈련 가능한 **잠재 추론 추출기(Latent Reasoning Extractor)**로 보강된 크로스 인코더(cross-encoder)입니다. 이 추출기는 학생 모델의 문맥화된 토큰 표현을 구조화된 잠재 추론 벡터로 매핑합니다.
• 훈련 목표: 학생 모델은 두 가지 손실 함수를 사용하여 훈련됩니다:
  1. 분류 손실 (Classification Loss): 관련성 레이블을 예측하기 위한 표준 교차 엔트로피입니다.
  2. 잠재 가이드 손실 (Latent Guidance Loss): 학생 모델의 잠재 추론 벡터를 (BGE-M3와 같은 고정된 문장 임베딩 모델로 인코딩된) 교사가 생성한 CoT의 밀집 임베딩과 정렬시키는 평균 제곱 오차(MSE) 손실입니다.
• 추론: 기존 방식과 달리, 잠재 추론 추출기는 추론 단계에서도 유지됩니다. 이를 통해 학생 모델은 복잡한 추론 의미를 생성 과정 없이 압축된 형태로 내재화하여 저지연 배포를 가능하게 합니다.

주요 기여

1. MPCoT 프레임워크: 다양한 관점(사용자 의도, 구조적 분석, 비즈니스 규칙)으로부터 상호 보완적인 근거를 생성하는 새로운 추론 프레임워크를 제시하며, 다양한 관점을 융합하는 것이 단일 관점 방식보다 더 견고한 관련성 판단을 이끌어냄을 입증했습니다.
2. LRKD 메커니즘: 잠재 추출기를 통해 경량 학생 모델에 추론 의미를 보존하는 증류 기술을 제안합니다. 이는 텍스트 생성에 따른 높은 지연 시간을 피하면서도 온라인 서빙 중 CoT 추론의 효용을 유지합니다.
3. 실증적 검증: 다국어 이커머스 데이터셋(AliExpress 및 ESCI)과 대규모 온라인 A/B 테스트를 통한 종합적인 검증을 수행했습니다.

결과

• 오프라인 성능: 결합된 MPCoT 교사와 LRKD 학생 모델은 AliExpress 및 ESCI 데이터셋에서 최첨단(SOTA) 성능을 달밀했습니다. MPCoT 교사는 가장 강력한 단일 관점 베이스라인보다 평균 **+1.96%의 정확도(Accuracy)**와 +3.5%의 F1 점수에서 우수한 성과를 보였습니다. LRKD 학생 변체들(특히 GAT 및 Poly-encoder 기반)은 기존의 증류 베이스라인(CED-KD, MKD)과 표준 BERT 모델을 일관되게 능가했으며, GAT 변체는 베이스라인 대비 정확도를 +2.37 포인트, F1을 +3.91 포인트 개선했습니다.
• 효율성: 학생 모델은 교사 LLM(46,800 ms)에 비해 낮은 지연 시간(약 132~148 ms)을 유지하면서 파라미터 증가 폭은 미미했습니다.
• 온라인 영향: 수천만 명의 사용자에게 서비스되는 AliExpress의 검색 광고 플랫폼에서의 라이브 A/B 테스트 결과, 본 방식은 통계적으로 유의미한 개선을 달성했습니다:
  • RPM(Revenue Per Mille) +1.42%
  • CTR(Click-Through Rate) +0.48%
  • RS(Relevance Satisfaction) 점수 +0.4%

의의
본 논문은 제안된 접근 방식이 LLM의 높은 추론 능력과 산업용 이커머스 검색의 엄격한 지연 시간 요구 사항 사이의 간극을 성공적으로 메운다고 주장합니다. 단일 관점 추론을 넘어 잠재 공간(latent space)에 추론 구조를 유지함으로써, 이 프레임워크는 전통적인 모델이 놓치는 복잡하고 모호한 쿼리를 처리하기 위한 실질적인 솔루션을 제공합니다. 결과는 "넓게 생각하기"(다중 관점 훈련을 통해)와 "빠르게 행동하기"(잠재 증류를 통해)가 실시간으로 거대한 LLM을 실행하는 계산 비용 없이도 상업적 성과(수익)와 사용자 경험(관련성 만족도)을 동시에 향상시킬 수 있음을 보여줍니다.