[기술 요약] 강화 학습을 이용한 이종 소스 기반의 고충실도 텍스트 사용자 표현 학습

1. 문제 정의 (Problem Statement)

대규모 채용 플랫폼(LinkedIn)에서 개인화된 추천을 수행하기 위해서는 사용자의 프로필, 경력 데이터, 검색 활동 로그 등 다양하고 이종적인(Heterogeneous) 텍스트 소스를 통합하여 효과적인 사용자 표현(User Representation)을 만드는 것이 필수적입니다.

기존 방식은 크게 두 가지 한계가 있습니다:

• 밀집 벡터(Dense Embeddings): 해석이 불가능(Black-box)하며, 모델 업데이트 시 임베딩 공간의 분포가 변해 다운스트림 모델을 재학습해야 하는 운영 비용이 발생합니다.
• 희소 특징(Sparse Features): 수동으로 설계되어 유지보수가 어렵고 데이터 커버리지가 낮습니다.
• LLM과의 불일치: 최신 LLM 기반 추천 시스템은 텍스트 공간에서 작동하는데, 기존의 벡터 기반 표현을 통합하려면 별도의 투영 레이어(Projection layer)나 미세 조정(Fine-tuning)이 필요하여 지연 시간(Latency)과 복잡도가 증가합니다.

따라서 본 논문은 **"어떻게 하면 다양한 소스의 정보를 압축하면서도, LLM이 즉시 이해할 수 있고, 사용자의 미래 행동을 잘 예측하는 짧고 해석 가능한 텍스트 요약본을 만들 것인가?"**라는 문제를 다룹니다.

2. 방법론 (Methodology)

저자들은 이 문제를 강화 학습(Reinforcement Learning, RL) 기반의 텍스트 생성 작업으로 정의했습니다.

2.1 RL 프레임워크 구성

• Actor (정책): 1.7B 파라미터 규모의 중형 LLM을 사용하여, 다양한 사용자 데이터를 입력받아 압축된 텍스트 요약(Synopsis)을 생성합니다.
• Reward Oracle (보상 모델): 30B 파라미터 규모의 대형 LLM을 사용하여, 생성된 요약이 사용자의 실제 행동(클릭, 지원 등)을 얼마나 잘 예측하는지 점수를 매깁니다. 별도의 레이블링 없이 로그 데이터를 활용하는 Labeling-free 방식입니다.
• Optimization: **GRPO(Group Relative Policy Optimization)**를 사용하여 효율적으로 학습하며, 학습 안정성을 위해 **DAPO(Decoupled Clip and Dynamic Sampling Policy Optimization)**를 결합했습니다.

2.2 보상 설계 (Reward Design)

핵심은 사용자의 실제 참여(Engagement) 신호를 보상으로 변환하는 것입니다.

1. Pointwise Reward (점별 보상): 특정 직무에 대해 사용자가 '지원(Apply)'할지 여부를 예측합니다.
   • String-based: 정답 여부에 따라 이진 보상 부여.
   • Log-probability based: 모델의 예측 확신도(Confidence)를 반영한 연속적 보상.
2. Listwise Reward (리스트별 보상): 여러 직무를 나열했을 때 사용자의 선호도 순위(Ranking)를 예측합니다. NDCG를 사용하여 순위 정확도를 측정하며, 데이터의 다양성을 높이기 위해 Entropy-weighted 메커니즘을 도입했습니다.
3. 제약 조건 및 정규화 (Constraints):
   • Length Penalty: 모델이 보상을 높이기 위해 불필요하게 길게 쓰는 'Reward Hacking'을 방지하기 위해, 150 토큰을 초과할 경우 이차 함수(Quadratic penalty)로 길이를 제한합니다.
   • Format Penalty: 모델이 요약 외에 불필요한 정보를 추가하는 것을 막기 위해 단일 문단 형식을 강제합니다.

3. 주요 기여 (Key Contributions)

• 통합된 텍스트 표현: 벡터가 아닌 텍스트 형태로 사용자를 표현함으로써, LLM 기반 시스템과 즉시 호환(Plug & Play)되며 해석 가능성을 확보했습니다.
• Labeling-free 학습: 사람이 직접 레이블을 달 필요 없이, 플랫폼의 실제 사용자 행동 로그(클릭, 지원 등)를 보상 신호로 직접 사용하여 대규모 확장이 가능하게 했습니다.
• 창발적 행동 발견 (Emergent Behavior):
  • Feature Discovery: 모델이 명시적 지시 없이도 사용자가 선호할 만한 직무 리스트를 스스로 생성하는 능력을 보였습니다.
  • Profile Refinement: 데이터가 부족한(Cold-start) 사용자에게도 사전 학습된 지식을 바탕으로 유의미한 프로필을 추론(Imputation)해내는 능력을 보였습니다.

4. 실험 결과 (Results)

4.1 오프라인 평가

• 예측 성능: Pointwise String-based 보상을 사용했을 때, 기존 임베딩 방식이나 전체 컨텍스트를 그대로 사용하는 방식보다 pClick AUC가 3.50% 향상되었습니다.
• 검색 및 쿼리 개선: 검색 레이어에 적용 시 Recall@10이 3% 상승했으며, Job Alert의 쿼리 재작성(Query Rewriting) 모듈에 적용하여 CTR(클릭률)을 높였습니다.

4.2 온라인 평가 (A/B Test)

LinkedIn 실제 서비스의 채용 직무 랭킹 단계에 적용한 결과, 모든 주요 지표에서 유의미한 상승을 기록했습니다:

• CTR (클릭률): +1.48%
• Job Applications (지원 수): +1.2%
• Session Success Rate (세션 성공률): +0.8%

5. 의의 (Significance)

본 연구는 LLM 시대의 추천 시스템이 나아가야 할 방향을 제시합니다. 기존의 복잡한 벡터 임베딩 방식에서 벗어나, **"해석 가능하고, LLM과 즉시 호환되며, 강화 학습을 통해 비즈니스 목표(Engagement)에 직접 최적화된 텍스트 표현"**을 만드는 실용적이고 확장 가능한 프레임워크를 입증했습니다. 이는 대규모 서비스 환경에서 운영 비용을 줄이면서도 개인화 성능을 극대화할 수 있는 강력한 솔루션입니다.