기존의 뉴스 추천 시스템은 **"사용자가 클릭한 기사"**만 보고 "아, 이 사람은 정치 뉴스 좋아하네"라고 추측했습니다. 하지만 사람들은 검색 기록, 다른 사이트 방문, 심지어는 실수로 누른 버튼까지 다양한 행동을 합니다. 이 모든 것을 종합해서 사용자의 진짜 관심사를 파악하는 것이 이 연구의 목표였습니다.
이 연구는 거대 인공지능 (LLM) 을 활용하여, 사용자의 복잡한 행동 데이터를 분석하고 **"사용자가 진짜 원하는 뉴스 키워드 목록"**을 만들어내는 시스템을 개발했습니다.
🎭 비유로 풀어보는 3 단계 과정
이 시스템은 크게 세 명의 '배우'가 무대에서 공연하는 것과 같습니다.
1. 청결한 데이터 준비 (소음 제거)
상황: 사용자의 행동 데이터는 마치 시끄러운 시장과 같습니다. 진짜 관심사 (정직한 대화) 도 있지만, 실수로 누른 것 (잡음) 이나 의미 없는 클릭 (소음) 도 섞여 있습니다.
해결: 먼저 가볍고 빠른 **'청소부 AI (RoBERTa)'**를 투입합니다. 이 청소부는 시끄러운 시장 속에서 진짜 중요한 대화만 골라내어, 다음 단계에 넘겨줍니다.
2. 천재 교수의 강의 (선생님 AI - Teacher)
상황: 이제 남은 깨끗한 데이터를 가지고 사용자의 관심사를 분석해야 합니다. 이때 등장하는 것이 **거대한 천재 교수 (32B 모델)**입니다.
방법: 이 교수는 단순히 "이 사람이 A 를 좋아하네"라고 말하는 게 아니라, **강의 (강화 학습)**를 받습니다.
"이 키워드로 검색하면 좋은 뉴스가 나올까?" (검색 일치)
"사용자의 다양한 취향을 모두 담았을까?" (취향 커버리지)
"너무 뻔한 말은 하지 않았을까?" (구체성)
"같은 목록 안에 중복된 내용이 없을까?" (다양성)
"형식이 올바른가?" (구조적 유효성)
이 5 가지 기준을 점수화하여, 가장 훌륭한 '관심사 키워드 목록'을 만들어내는 법을 스스로 학습합니다. 마치 시험을 치고 점수를 받아 더 좋은 답안을 찾아내는 과정입니다.
3. 실전 투입을 위한 훈련 (학생 AI - Student)
문제: 천재 교수는 답을 잘 내지만, 매우 느리고 비쌉니다. 뉴스 앱처럼 수백만 명이 동시에 쓰는 곳에서는 이 교수가 모든 사람의 질문을 하나하나 천천히 분석할 시간이 없습니다.
해결: 그래서 **똑똑하지만 빠르고 가벼운 학생 (0.5B 모델)**을 데려옵니다.
온-폴리시 증류 (On-policy Distillation): 이 학생은 교수의 '정답'만 외우는 게 아니라, 교수가 **어떻게 생각해서 그 답을 냈는지 (추론 과정)**를 따라 하며 배웁니다.
결과: 학생은 교수의 90% 이상의 실력을 가지면서도, 스마트폰에서 순식간에 답변을 내놓을 수 있게 됩니다.
🚀 왜 이것이 중요한가요? (실제 효과)
이 시스템을 실제 뉴스 앱에 적용했을 때 놀라운 일이 일어났습니다.
추천의 정확도 상승: 사용자가 클릭한 기사뿐만 아니라, 숨겨진 관심사까지 찾아내어 더 관련성 높은 뉴스를 보여줍니다.
새로운 사용자를 위한 선물 (콜드 스타트): 뉴스 클릭 기록이 거의 없는 '초보 사용자'에게도, 다른 사이트에서의 행동을 분석해 맞춤형 뉴스를 추천해 줍니다. (실제 실험에서 초보 사용자의 방문 횟수가 4% 이상 늘었습니다!)
확장성: 컴퓨터 성능을 더 쓰면 (모델을 키우거나 추론 시간을 늘리면) 성능이 계속 좋아지는 '스케일링' 효과가 확인되었습니다.
💡 한 줄 요약
"시끄러운 사용자의 행동 데이터를 청소하고, 천재 AI 가 그걸 분석해 '진짜 관심사'를 키워드로 뽑아낸 뒤, 그 지식을 빠르고 가벼운 AI 에게 전수하여 뉴스 앱의 추천을 획기적으로 개선했다."
이 연구는 인공지능이 단순히 데이터를 기억하는 것을 넘어, 이유를 추론하고 (Reasoning) 그 지식을 효율적으로 전달하는 (Distillation) 새로운 시대를 열었다는 점에서 매우 의미 있습니다.
1. 문제 정의 (Problem Definition)
배경: 온라인 뉴스 플랫폼에서는 사용자에게 관련 콘텐츠를 제공하는 개인화 추천이 필수적입니다. 그러나 사용자는 직접 소비할 수 있는 양보다 훨씬 많은 방대한 양의 뉴스에 노출되어 있습니다.
도전 과제:
크로스 도메인 (Cross-Domain) 신호의 복잡성: 사용자의 관심사는 뉴스 클릭뿐만 아니라 검색 로그, 브라우저 히스토리 등 이질적인 (heterogeneous) 신호에서 파생됩니다.
표면적 행동의 한계: 기존 임베딩 기반 또는 협업 필터링 방법은 단순한 상호작용 유사성에 의존하여 사용자의 심층적이고 재사용 가능한 관심사 (deep, reusable interests) 를 포착하는 데 한계가 있습니다.
확장성 (Scalability): 대규모 생산 시스템에서 실시간으로 작동하려면 높은 계산 비용 (compute-intensive) 을 요구하는 대형 언어 모델 (LLM) 을 직접 배포하기 어렵습니다.
목표: 이질적이고 노이즈가 많은 크로스 도메인 행동 신호로부터 사용자의 심층적인 관심사를 추론하여, 이를 뉴스 검색 쿼리 (News Search Queries) 의 리스트로 생성하는 것입니다.
2. 방법론 (Methodology)
본 논문은 추론 기반 강화 학습 (Reasoning-driven Reinforcement Learning) 프레임워크와 온-폴리시 증류 (On-Policy Distillation) 를 결합한 3 단계 시스템을 제안합니다.
2.1 데이터 전처리 및 노이즈 제거
실제 행동 로그에는 무작위 문자열, 전화번호 등 사용자의 관심사와 무관한 노이즈가 포함되어 있습니다.
가벼운 이진 분류기 (Lightweight Binary Classifier): GPT-5 를 이용해 라벨링된 데이터로 학습된 RoBERTa 기반 분류기를 사용하여, 관심사 모델링에 유의미한 행동 신호만 필터링하고 노이즈를 제거합니다.
2.2 다중 보상 강화 학습 (Multi-Reward RL) 을 통한 관심사 생성
모델: 강력한 'Teacher LLM' (Qwen2.5-32B) 을 사용합니다.
학습 알고리즘:GRPO (Group Relative Policy Optimization) 를 적용합니다. 이는 DeepSeek-R1-Zero 에서 영감을 받은 방법으로, 그룹 내 평균을 베이스라인으로 사용하여 정책 최적화를 수행합니다.
5 가지 보상 신호 (Reward Signals): 생성된 쿼리 리스트의 품질을 평가하기 위해 다음 5 가지 지표를 결합한 복합 보상을 설계했습니다.
검색 정렬 (Retrieval Alignment): 생성된 쿼리가 내부 ANN 색인에서 관련 기사를 성공적으로 검색하는지 확인.
관심사 커버리지 (Interest Coverage): 사용자 행동에서 추론된 다양한 잠재적 관심사를 포괄하는지 평가.
쿼리 구체성 (Query Specificity): 일반적이지 않고 콘텐츠가 풍부한 개인화된 의도를 반영하는지 평가.
리스트 내 다양성 (Intra-list Diversity): 동일 리스트 내 쿼리 간의 의미적 중복성을 최소화.
구조적 유효성 (Structural Validity): 출력 형식이 사전 정의된 제약 조건을 만족하는지 확인.
2.3 온-폴리시 증류 (On-Policy Distillation)
문제: Teacher LLM 은 성능은 뛰어나지만 추론 비용이 높아 실시간 서비스 배포가 어렵습니다.
해결: Teacher 의 정책 (Policy) 을 경량화된 Student 모델 (Qwen2.5-0.5B) 로 증류합니다.
방식: 단순히 Teacher 의 출력만 모방하는 것이 아니라, Student 가 생성한 토큰 시퀀스에 대해 Teacher 가 부여한 분포를 근사하도록 역 KL 발산 (Reverse KL Divergence) 을 최소화하는 방식으로 학습합니다. 이는 Student 가 Teacher 의 추론 능력을 유지하면서 저지연 (low-latency) 으로 작동할 수 있게 합니다.
3. 주요 기여 (Key Contributions)
노이즈 신호 하의 LLM 확장성 (Scaling Properties): 다양한 제품 정렬 보상 모델을 사용하여, 이질적이고 노이즈가 많은 신호에서도 재사용 가능한 사용자 관심사를 효과적으로 추론할 수 있음을 입증했습니다. 또한 모델 용량 증가 (Space Scaling) 와 추론 시 샘플링 증가 (Time Scaling) 가 모두 관심사 품질과 검색 성능을 지속적으로 향상시키는 스케일링 법칙 (Scaling Law) 유사 행동을 보였습니다.
확장 가능한 관심사 생성을 위한 온-폴리시 증류: 계산 집약적인 Teacher LLM 의 정책을 경량 Student 모델로 전이하는 프레임워크를 제안했습니다. 이는 생산 환경에서 저지연, 고처리량 (high-throughput) 서비스를 가능하게 하면서도 학습된 관심사 모델링 이득을 대부분 유지합니다.
실제 대규모 시스템 검증: 오프라인 평가, 제거 실험 (Ablation Study), 그리고 대규모 뉴스 추천 시스템에서의 실제 온라인 A/B 테스트를 통해 제안된 방법의 유효성을 입증했습니다.
4. 실험 결과 (Results)
4.1 오프라인 평가 (Offline Evaluation)
성능: 제안된 방법 (RL 학습 Teacher 및 증류된 Student) 은 GRU, SASRec, NRHUB, PinSage, HSTU 등 기존 최첨단 (SOTA) 베이스라인을 모든 지표 (Recall@K, NDCG@K, MRR) 에서 능가했습니다.
Teacher 모델 (32B): Recall@10 기준 0.271 (HSTU 대비 8.4% 향상).
Student 모델 (0.5B): Teacher 의 성능을 대부분 유지 (Recall@10 0.261) 하면서 모델 크기를 대폭 축소.
스케일링: 모델 크기를 0.5B 에서 32B 로 늘리거나, 추론 시 샘플 수 (N) 를 늘릴수록 성능이 일관되게 향상되었습니다.
4.2 증류 전략 비교
On-Policy Distillation이 감독 증류 (Supervised Distillation) 보다 Teacher 모델에 더 가까운 성능을 보이며, Teacher 없이 학습한 모델보다 훨씬 우수했습니다. 이는 저지연 제약 하에서도 효과적인 감독 신호를 제공함을 의미합니다.
4.3 온라인 A/B 테스트 (Online A/B Tests)
7 일간 배포 실험 결과:
DAU (일일 활성 사용자): +0.95% 향상 (p-value 0.012).
CTR (클릭률): +0.22% 향상 (p-value 0.031).
콜드 스타트 사용자 (Cold User) DAU: **+4.38%**의 큰 폭 향상. 이는 직접적인 뉴스 상호작용 기록이 부족한 사용자일수록 이질적인 크로스 도메인 신호를 통한 관심사 추론이 더 효과적임을 보여줍니다.
5. 의의 및 결론 (Significance)
이 연구는 대규모 상업적 뉴스 추천 시스템에 추론 기반 강화 학습 프레임워크를 최초로 배포한 사례입니다.
기존 협업 필터링이나 단순 임베딩 접근법의 한계를 넘어, LLM 의 추론 능력을 활용하여 사용자의 심층적 관심사를 '검색 쿼리'라는 형태로 명시적으로 생성하고 이를 추천 시스템에 통합했습니다.
Teacher-Student 아키텍처를 통해 LLM 의 높은 추론 능력을 유지하면서도 산업 수준의 확장성 (Scalability) 을 확보한 점은 실제 서비스 적용에 중요한 이정표가 됩니다.
이 작업은 LLM 추론, 확장 가능한 강화 학습 (Scalable RL), 그리고 산업용 추천 파이프라인을 결합하는 새로운 방향을 제시합니다.