💬 NLP

Aligning Multimodal Sequential Recommendations via Robust Direct Preference Optimization with Sparse MoE

이 논문은 암시적 피드백 환경에서의 부정확한 부정 샘플링 문제를 해결하기 위해 동적 톱-K 후보 풀에서 확률적 샘플링을 도입하고 희소 MoE 인코더를 활용한 'RoDPO'를 제안하여 멀티모달 순차 추천의 성능을 크게 향상시켰음을 보여줍니다.

원저자: Hejin Huang, Jusheng Zhang, Kaitong Cai, Jian Wang, Rong Pan

게시일 2026-04-01

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hejin Huang, Jusheng Zhang, Kaitong Cai, Jian Wang, Rong Pan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🍎 핵심 비유: "좋아하지 않는 사과 vs. 아직 안 본 사과"

기존의 추천 시스템은 다음과 같은 착각을 하고 있었습니다.

상황: 당신이 "사과"를 샀다고 가정해 봅시다.
기존 AI의 생각: "아, 이 사람은 사과를 샀구나. 그럼 배나 포도는 분명히 싫어할 거야!"
실제 상황: "아니요! 저는 배도 포도도 좋아해요. 그냥 지금 당장 사과만 새을 뿐이에요."

기존 시스템은 **"내가 사지 않은 것 (클릭하지 않은 것)"**을 무조건 **"싫어하는 것 (Negative)"**으로 오해했습니다. 이를 논문에서는 **'거짓 부정 (False Negative)'**이라고 부릅니다.

AI 는 "사과를 산 사람은 배를 싫어한다"라고 강하게 믿고, 배를 추천하는 것을 무조건 막아버립니다. 하지만 사실 사용자는 배도 좋아할 수 있죠. 이렇게 AI 가 잘못된 정보를 바탕으로 학습하면, 추천이 엉망이 됩니다.

🎯 이 문제의 해결책: "RoDPO" (강인한 선호도 최적화)

저자들은 이 문제를 해결하기 위해 **DPO(직접 선호도 최적화)**라는 기술을 추천 시스템에 적용했습니다. DPO 는 원래 챗봇이 인간이 원하는 답변을 하도록 가르칠 때 쓰이던 기술인데, 이를 추천 시스템에 가져와서 **"사용자가 A 를 B 보다 더 좋아한다"**는 관계를 학습시키려 했습니다.

하지만 여기서 또 다른 함정이 있었습니다.

기존 방식 (Hard Negative): AI 가 "배"를 가장 싫어할 것 같은 아이템으로 골라서 "이건 절대 추천하면 안 돼!"라고 강하게 처벌했습니다.
문제점: 그 '배'는 사실 사용자가 좋아할 수도 있는 아이템이었어요. AI 가 잘못 골라낸 '가짜 적'을 처벌하니, AI 는 더 혼란스러워졌습니다.

✨ 저자들의 혁신적인 아이디어: "주사위를 굴려서 고르기"

저자들은 **"가장 싫어할 것 같은 아이템 하나만 골라 처벌하는 대신, 상위 K 개 후보 중에서 무작위로 하나를 골라 처벌하자"**라고 제안했습니다.

비유:
- 기존 방식: "너는 배를 싫어할 거야!"라고 단정 짓고 벌점을 줌. (실제론 배를 좋아할 수도 있음)
- 새로운 방식 (RoDPO): "너는 배, 포도, 체리 중 하나를 싫어할 수도 있겠네. 주사위를 굴려서 배를 골랐으니, 이번엔 배를 벌점 처리할게. 다음엔 포도를 골라볼 수도 있어."

이렇게 **무작위성 (Stochasticity)**을 도입하면, AI 가 "아, 이 아이템이 무조건 나쁜 건 아니구나"라고 생각하게 됩니다. 결과적으로 AI 는 사용자의 진짜 취향을 더 정확하게 파악하게 되고, "사과"를 산 사람에게 "배"나 "포도"도 자연스럽게 추천해 줄 수 있게 됩니다.

🚀 추가 기능: "전문가 팀 (MoE)"의 활용

이 시스템은 효율성을 높이기 위해 **'희소 혼합 전문가 (Sparse MoE)'**라는 기술을 함께 썼습니다.

비유:
- 일반적인 AI 는 모든 문제를 해결하기 위해 거대한 두뇌를 항상 다 사용합니다. (비효율적)
- RoDPO 의 방식: "이 문제는 과일 전문가가, 저 문제는 스포츠 용품 전문가가 해결하자."라고 팀원들을 상황에 따라 골라냅니다.
- 효과: 똑똑해지기는 했지만, 실제로 일할 때는 필요한 전문가만 쓰므로 속도는 느려지지 않습니다. (비용은 그대로, 성능은 대폭 향상)

📊 실제 성과: "더 똑똑해졌지만, 똑똑해지느라 느려지지 않음"

이 논문은 아마존의 실제 데이터 (장난감, 뷰티, 주방용품) 로 실험을 했습니다.

성능 향상: 기존 최고의 추천 시스템보다 최대 5.25% 더 좋은 추천을 했습니다. (사용자가 원하는 것을 더 잘 찾아냄)
속도 유지: 추천을 해줄 때 (실제 서비스 시) 속도는 기존과 거의 똑같았습니다. (사용자가 기다릴 필요 없음)
핵심 발견: "가짜 적 (사용자가 싫어하지 않는 아이템) 을 무작위로 골라 처벌하는 것"이 AI 를 더 강하게 만들었습니다.

💡 한 줄 요약

"사용자가 사지 않은 것을 무조건 싫어하는 것으로 오해하지 말고, 여러 후보 중에서 무작위로 골라 학습하게 함으로써, AI 가 사용자의 진짜 취향을 더 정확하게 파악하게 만든 혁신적인 추천 시스템입니다."

이 방법은 마치 **"아이에게 '이건 절대 안 돼!'라고 막기보다, '이것도 저것도 한번 생각해 봐'라고 유연하게 가르치는 것"**과 같습니다. 그 결과 AI 는 더 유연하고 똑똑한 추천을 할 수 있게 되었습니다.

1. 연구 배경 및 문제 정의 (Problem)

배경: 멀티모달 순차 추천 (Multimodal Sequential Recommendation, MSR) 은 사용자의 과거 행동 시퀀스와 텍스트/이미지 같은 풍부한 부가 정보를 활용하여 다음 아이템을 예측하는 중요한 과제입니다. 기존 방법론들은 주로 교차 엔트로피 (Cross-Entropy) 와 같은 포인트와이즈 (pointwise) 손실 함수를 사용하여 학습되었습니다.
핵심 문제 (False Negative Dilemma): 최근 자연어 처리 (NLP) 분야에서 인간 선호도 정렬을 위해 널리 쓰이는 직접 선호도 최적화 (Direct Preference Optimization, DPO) 를 추천 시스템에 적용하려는 시도가 늘고 있습니다. 그러나 추천 시스템의 암시적 피드백 (implicit feedback) 환경에서는 DPO 의 표준적인 적용 방식이 실패합니다.
- NLP 와의 차이: NLP 에서는 '부정 샘플 (Negative)'이 명백히 잘못된 답변이므로 엄격하게 배제해야 합니다.
- 추천 시스템의 딜레마: 추천 시스템에서 '클릭되지 않은 (관찰되지 않은) 아이템'은 반드시 사용자가 싫어하는 것이 아니라, 단순히 노출되지 않았을 뿐일 수 있습니다 (False Negative).
- 기존 DPO 의 한계: 기존 DPO 는 가장 점수가 높은 부정 샘플 (Hard Negative) 을 선택하여 강하게 패널티를 줍니다. 이때, 사실은 사용자가 좋아할 수 있는 '관찰되지 않은 긍정 (Unobserved Positive)'을 부정으로 잘못 판단하여 강하게 억제하게 됩니다. 이는 잘못된 선호도 기울기 (erroneous gradients) 를 생성하여 순위 공간을 왜곡하고 성능을 급격히 저하시킵니다.

2. 제안 방법론 (Methodology: RoDPO)

저자들은 이 문제를 해결하기 위해 RoDPO (Robust Direct Preference Optimization) 프레임워크를 제안했습니다.

A. 핵심 혁신: 확률적 Top-K 부정 샘플링 (Stochastic Top-K Negative Sampling)

기존의 결정론적 '하드 네거티브 (Argmax)' 선택 방식을 대체하여 다음과 같은 전략을 도입했습니다.

동적 후보 풀 구성: 모델이 예측한 점수가 가장 높은 Top-K 개의 후보 아이템 (정답 제외) 을 모은 풀 (Pool) 을 만듭니다.
확률적 샘플링: 이 Top-K 풀에서 하나의 부정 샘플 ( $y_l$ ) 을 무작위로 (Uniformly) 선택합니다.
효과:
- 강력한 신호 유지: Top-K 풀이므로 여전히 정보량이 풍부한 '어려운 (Hard)' 샘플을 사용합니다.
- 오류 감소: 특정 하나의 부정 샘플을 반복적으로 패널티 주는 것을 방지하여, 사실은 긍정일 수 있는 아이템 (False Negative) 을 잘못 처벌할 확률을 줄입니다.
- 균형: 경직된 최적화를 완화하고 강건한 정렬을 가능하게 합니다.

B. 아키텍처 및 학습 프로토콜

멀티모달 인코더: 아이템 ID, 텍스트, 이미지 특징을 통합하여 인코딩하며, 희소 혼합 전문가 (Sparse Mixture-of-Experts, MoE) 레이어를 선택적으로 도입하여 모델 용량을 효율적으로 확장합니다.
2 단계 학습 프로토콜:
1. Warm-up: 표준 교차 엔트로피 (CE) 손실로 모델을 사전 학습 (SFT) 하여 안정적인 참조 정책 (Reference Policy) 을 확보합니다.
2. DPO Fine-tuning: 고정된 참조 정책을 기반으로 DPO 목적 함수와 CE 손실을 결합하여 최적화합니다.
목적 함수: $L_{total} = L_{CE} + \lambda L_{DPO}$ 형태로, DPO 항은 로그 오비트 (logit margin) 를 직접 사용하여 계산 효율성을 높입니다.

3. 주요 기여 (Key Contributions)

문제 규명: 암시적 피드백 환경에서 DPO 가 취약한 근본 원인이 '부정 샘플 선택 전략'과 'False Negative' 문제임을 체계적으로 규명했습니다.
간단하지만 강력한 해결책: DPO 에 적용 가능한 확률적 Top-K 부정 샘플링을 제안하여, 하드 네거티브의 강도와 False Negative 에 대한 내성을 동시에 달성했습니다.
성능 및 효율성 입증: 3 개의 아마존 벤치마크 (Toys, Beauty, Home & Kitchen) 에서 기존 최첨단 (SOTA) 멀티모달 추천 모델들을 압도하는 성능을 보였으며, 추론 비용은 거의 증가하지 않았습니다.

4. 실험 결과 (Results)

데이터셋: Amazon Review 데이터셋 (Toys and Games, Beauty, Home and Kitchen).
성능 향상:
- 가장 강력한 베이스라인 (HM4SR) 대비 NDCG@5 에서 최대 +5.25%, **MRR@5 에서 +7.67%**의 성능 향상을 기록했습니다.
- 다양한 컷오프 (K=5, 10) 에서 일관된 개선을 보였습니다.
애블레이션 연구 (Ablation Study):
- 샘플링 전략 비교: 무작위 샘플링, 하드 샘플링 (Argmax), 제안된 Top-K 샘플링 중 Top-K 샘플링이 가장 우수한 성능을 보였습니다. 하드 샘플링은 오히려 성능 저하를 유발했습니다.
- MoE 효과: Sparse MoE 를 제거할 경우 성능이 하락하여, 복잡한 선호도 경계를 학습하는 데 MoE 의 용량 확장이 필수적임을 입증했습니다.
효율성:
- 학습 시간과 추론 지연 (Latency) 이 기존 모델과 거의 동일하게 유지되었습니다 (참조 모델은 고정되어 있으며, MoE 는 일부 전문가만 활성화됨).
- 시각화: RoDPO 는 베이스라인이 보였던 '부정 샘플에 대한 과도한 확신 (Overconfidence)'을 완화하고, 긍정/부정 간의 확률적 마진을 더 명확하게 형성함을 KDE(커널 밀도 추정) 를 통해 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 **추천 시스템에 DPO 를 성공적으로 적용하기 위한 핵심 과제가 '부정 샘플링 전략의 재설계'**임을 증명했습니다.

이론적 의의: NLP 의 성공적인 정렬 기법이 추천 시스템으로 넘어올 때 발생하는 'False Negative' 문제를 해결하는 구체적인 방법론을 제시했습니다.
실용적 의의: 복잡한 멀티모달 데이터를 다루면서도 추론 비용 증가 없이 성능을 극대화할 수 있는 Plug-and-Play 형태의 솔루션을 제공했습니다.
미래 전망: 대규모 기반 모델 (Foundation Models) 을 추천 시스템에 적용할 때, 단순한 확률적 샘플링과 MoE 구조의 결합이 확장성과 강건성을 동시에 확보하는 중요한 방향임을 시사합니다.

요약하자면, RoDPO 는 **"잘못된 부정 샘플을 무작위성으로 완화하여 DPO 의 강점을 추천 시스템의 불완전한 데이터 환경에 맞게 조정했다"**는 점이 이 연구의 가장 큰 기술적 성과입니다.