기술 요약: MORE – 이커머스 대화 시스템을 위한 적응형 다중 목적 학습

문제 정의

이커머스 대화 시스템에는 두 가지 핵심 목표 사이의 근본적인 긴장이 존재한다: **추론의 정확성(reasoning correctness)**과 언어적 자연스러움(linguistic naturalness). 시스템은 신뢰할 수 있는 의사결정과 사실적 정확성을 보장하기 위해 구조화된 사용자 프로필(예: 신용 한도, 자격 요건, 구매 이력 등)에 대해 정확하게 추론해야 하는 동시에, 유창하고 자연스러우며 매력적인 응답을 생성해야 한다.

본 논문은 이러한 목표들이 상호 보완적이지만 동일하지는 않다는 점을 지적한다. 기존 방식들은 이 둘 사이의 균형을 맞추는 데 종종 실패한다:

• **규칙 기반 또는 기호적 시스템(Rule-based or symbolic systems)**은 정확성을 보장하지만 경직되고 부자연스러운 발화를 생성한다.
• **개인화된 대화 모델(Personalized dialogue models)**은 페르소나 일관성은 개선하지만, 동적인 사용자 속성의 사실적 정확성을 간과하는 경우가 많다.
• 표준 강화 학습(Standard Reinforcement Learning, RL) 방식은 여러 보상 신호(예: 추론 정확도와 생성 품질의 합계)를 단순하게 혼합할 경우 학습 최적화의 불안정성을 초래한다. 본 논문의 예비 실험에서 입증되었듯이, 이질적인 보상을 직접 결합하면 심각한 학습 진동과 분산을 발생시키며, 이는 개별적으로 최적화했을 때보다 추론 정확도와 응답 품질 모두를 저하시키는 결과를 낳는다.

방법론: MORE 프레임워크

저자들은 직접적인 보상 혼합의 불안정성 없이 추론 정확도와 언어적 자연스러움을 공동으로 최적화하도록 설계된 적응형 프레임워크인 MORE(Multi-Objective REinforcement learning)를 제안한다. 이 프레임워크는 세 가지 핵심 구성 요소로 이루어져 있다.

1. 추론 강화 학습 스캐폴드 (Reasoning-Enhanced Training Scaffold)

추론과 응답 생성을 단일 단계에서 공동으로 최적화하는 대신(이는 상충하는 그래디언트를 유발함), MORE는 추론을 **학습 스캐폴드(training scaffold)**로 취급한다.

• 프로필 정보 추론 (Profile Information Reasoning): 모델은 프로필 데이터베이스를 사용하여 두 가지 유형의 태스크를 명시적으로 학습한다.
  • 마스크 속성 완성 (Masked Attribute Completion, MAC): 자연어 문맥으로부터 특정 속성(예: 전화번호 마지막 네 자리)을 복구한다.
  • 프로그래밍적 수치 추론 (Programmatic Numerical Reasoning, PNR): 속성에 기반하여 수치적 추론을 수행한다(예: 일일 이자 계산).
• 스캐폴드 목적 (Scaffold Objective): 이러한 태스크들은 검증 가능한 보상(정답 시 1, 오답 시 0)을 통해 강화 학습으로 최적화된다. 이 단계는 사용자 속성을 추론하고 사실적 회상을 수행하는 모델의 능력을 강화한다.
• 추론 효율성 (Inference Efficiency): 결정적으로, 추론 단계에서 모델은 명시적인 추론 단계를 생성하지 않는다. 모델은 스캐폴드 단계에서 학습된 추론 능력을 활용하여 최종 응답을 직접 생성함으로써, 낮은 지연 시간과 짧은 출력 길이를 유지한다.

2. 적응형 다중 보상 최적화 (Adaptive Multi-Reward Optimization)

생성 단계를 처리하기 위해, MORE는 여러 가지 잠재적으로 상충하는 목표들(유창성, 자연스러움, 의미적 충실도, 커버리지 등) 사이의 균형을 맞추기 위해 적응형 메커니즘을 채택한다.

• 다차원 평가 (Multi-Dimensional Evaluation): 후보 응답들은 LLM 기반 보상 모델(예: DeepSeek-R1)과 전통적인 지표(ROUGE)를 사용하여 여러 차원에서 평가된다.
• 그래디언트 기반 동적 가중치 재설정 (Gradient-Based Dynamic Rewinghting): 고정된 가중치를 사용하는 대신, MORE는 그래디언트 피드백에 따라 보상 가중치를 동적으로 조정하는 **순위 기반 선형 감쇠 전략(rank-based linear decay strategy)**을 사용한다.
  • 각 보상의 그래디션 기여 크기가 계산된다.
  • 가중치는 절대적인 크기가 아닌, 이러한 그래디언트의 **순위(rank)**에 따라 할당된다. 이 접근 방식은 신뢰할 수 없는 크기 정보를 버리고 일관된 순서를 보존함으로써, 모델이 작은 수치적 변동에 과도하게 민가하거나 하나의 강력한 신호에 의해 지배되는 것을 방지하여 학습을 안정화한다.
• 참조 모델 (Reference Model): 추론이 강화된 모델은 정확성을 고정하는 참조 모델($\pi_{ref}$) 역할을 하며, 정책 모델은 GRPO(Group-wise Reinforcement Policy Optimization) 프레임워크 내에서 자연스러움을 개선하는 데 집중한다.

3. 훈련 파이프라인 (Training Pipeline)

훈련 과정(Algorithm 1)은 다음과 같다:

1. 추론 기반의 참조 모델을 만들기 위해 MAC/PNR 태스크에 대해 정책을 업데이트한다.
2. 후보 응답 그룹을 생성한다.
3. 각 후보에 대해 다양한 보상 세트를 계산한다.
4. 그래디언트 순위에 따라 이러한 보상들의 가중치를 동적으로 재설정한다.
5. 적응형 보상과 참조 모델에 대한 KL-divergence 패널티를 사용하는 PPO 스타일의 목적 함수를 사용하여 정책을 최적화한다.

주요 기여

1. 다중 목표 과제의 식별: 본 논문은 이커머스 대화 시스템에서 추론과 생성 보상을 직접 혼합할 때 발생하는 특유의 불안정성을 강조하며, 나이브한 결합이 어떻게 진동과 성능 저하를 유발하는지 입증하였다.
2. MORE 프레임워크: 추론을 (스캐폴드로서) 분리하고, 경쟁하는 목표들을 균형 있게 조절하기 위해 그래디언트 기반의 동적 가중치 재설정 메커니즘을 사용하는 적응형 다중 목적 RL 프레임워크를 제안하였다.
3. 실증적 검증: 오프라인 벤치마크와 실제 운영 환경 전반에 걸친 포괄적인 평가를 통해, MORE가 추론 정확도와 대화 품질 모두에서 강력한 베이스라인 모델들을 능가함을 입증하였다.

실험 결과

오프라인 평가

• ByteDance 데이터셋 (Proactive Sale & Customer Service): MORE는 SFT, DPO, KTO, RLHF, CoT 및 기타 다중 목적 RL(C-DynaOpt, EMORL)을 포함한 베이스라인들을 지속적으로 앞질렀다. BLEU, ROUGE, 자연스러움, 추론, 충실도 및 커버리지 지표에서 유의미한 개선을 달성했다.
• MultiWOZ 2.2 벤치마크: MORE는 태스크 성공률(Inform: 92.5%, Success: 84.8%)과 어휘 다양성에서 SOTA(State-of-the-art) 성능을 달성하였으며, 이는 풀샷(full-shot) 훈련 모델과 제로샷(zero-shot) 프롬프팅 방식보다 우수한 성과이다.

온라인 A/B 테스트 (ByteDance 프로덕션)

실제 운영 트래픽을 대상으로 14일간의 온라인 실험이 수행되었다:

• Proactive Sales (선제적 판매): MORE는 베이스라인 대비 **전체 전환율(Overall Conversion)**을 16.53%, **도달 전환율(Reached Conversion)**을 30.09% 개선하였다.
• Customer Service (고객 서비스): 사용자 만족도가 1.12% 증가하였고, 상담원 연결율(handoff rate)은 1.83% 감소하였다.
• 인간-기계 비교: 선제적 판매에서의 인간 상담원과의 직접 비교에서, MORE 시스템은 인간 상담원이 달성한 증분 전환율(incremental conversion lift)의 약 **60%**를 회복하였으며, 절대 전환율(absolute conversion rate)의 **89%**에 도달하였다.

효율성

추론 단계에서 명시적인 추론 단계를 생략함으로써, MORE는 CoT 베이스라인과 비교하여 평균 지연 시간을 5.69초에서 1.71초로(69.9% 감소) 줄였고, 출력 길이를 252.6에서 79.8 토큰으로(68.4% 감소) 단축하였다.

의의 및 주장

본 논문은 MORE가 이커머스 대화 시스템의 "하나의 모델, 다중 목표" 문제를 성공적으로 해결했다고 주장한다. 그 의의는 다음과 같다:

• 다중 목적 학습의 안정화: 추론을 스캐폴드로 취급하고 그래디언트 기반의 적응형 가중치 재설정을 사용함으로써, 직접적인 보상 혼합에서 발생하는 학습 불안정성을 피한다.
• 실질적인 비즈니스 임팩트: 이 프레임워크는 대규모 실제 배포 환경에서 전환율과 사용자 만족도를 유의미하게 개선함으로써 측정 가능한 비즈니스 가치를 제공한다.
• 신뢰성과 사용성의 균형: 시스템이 (명시적인 추론 단계의 오버헤드 없이도) 사실적으로 신뢰할 수 있으면서(추론을 통해) 동시에 자연스럽게 매력적일 수 있음(적응형 생성을 통해)을 보여준다.

저자들은 이러한 다중 대화 목표를 효과적으로 균형 있게 맞추는 것이 대화 품질과 비즈니스 성과 모두에서 실질적인 개선을 이끌어내며, 복잡한 이커머스 시나리오를 위한 확장 가능한 솔루션을 제공한다고 결론짓는다.