기술 요약: PageLLM

문제 정의

전체 페이지 최적화 (WPO) 는 관련성, 다양성, 위치 노출, 중복성을 균형 있게 조화시키는 완전한 순위 매겨진 검색 또는 추천 결과 페이지를 생성하는 것을 포함합니다. 대규모 언어 모델 (LLM) 은 페이지 생성을 조건부 시퀀스 생성으로 간주함으로써 WPO 에 대한 통합된 접근 방식을 제공하지만, 웹 규모 환경에 적용하는 데는 세 가지 중요한 병목 현상이 존재합니다.

1. 지도 데이터의 부족과 비용: 표준 인간 피드백 기반 강화 학습 (RLHF) 은 전체 페이지를 비교하기 위해 비싼 인간 주석이 필요합니다. 산업 규모에서는 카탈로그와 대상 고객군의 규모가 선형적으로 증가함에 따라 이는 실현 불가능해집니다.
2. 단일 입자성 (Single-Grained) 보상 제한: 기존 방법들은 보상을 페이지 단위 또는 항목 단위의 단일 스칼라로 축소하는 경향이 있습니다. 페이지 단위 보상은 전역적 일관성을 포착하지만 클릭률에 결정적인 미세한 위치 변화를 무시합니다. 반면, 항목 단위 보상은 개별 배치를 최적화하지만 페이지 전체가 다양하고 중복되지 않도록 보장하지는 못합니다.
3. 상호 보완적 실패 모드: 이 논문은 단일 입자성 형식이 "거울상" 방식으로 실패한다고 주장합니다. 페이지 단위 신호를 제거하면 전역 목록 일관성이 저하되는 반면, 항목 단위 신호를 제거하면 위치의 선명도가 떨어집니다. 어느 신호 하나만으로는 사용자 만족도를 극대화하기에 충분하지 않습니다.

방법론: PageLLM 프레임워크

PageLLM 은 명시적 인간 주석 없이 암시적 사용자 피드백만을 사용하여 지도를 두 가지 상호 보완적인 입자성으로 분리하는 3 단계 보상 기반 미세 조정 프레임워크를 제안합니다.

1. 암시적 피드백을 통한 데이터 구축

인간 레이블 대신 이 프레임워크는 사용자 - 항목 상호작용 로그 (예: Amazon 리뷰 코퍼스) 로부터 학습 데이터를 구축합니다.

• 골든 리스트 (Golden Lists): 각 사용자에게 대해, 긍정적 상호작용 ($r_{ui} > 3$) 을 필터링하고, 미세 입자성 인기도로 재순위 매긴 후, 카테고리 다양성을 균형 있게 조정하여 "골든" 순위 매겨진 리스트를 구성합니다.
• 선호도 쌍 가족 (Preference-Pair Families): 특정 실패 모드를 국소화하기 위해 네 가지 유형의 부정적 리스트가 생성되어 골든 리스트와 대비되는 쌍을 만듭니다.
  • 선호하지 않음 ($\sigma_{np}$): 낮은 평점을 받은 항목 (관련성 실패).
  • 순위 매김 ($\sigma_{rk}$): 골든 리스트 내 인접 항목들의 스왑 (위치 실패).
  • 다양성 ($\sigma_{d}$): 고유한 항목을 동질적인 항목으로 대체 (다양성 실패).
  • 중복성 ($\sigma_{rd}$): 한 카테고리에서 항목이 과도하게 집중됨 (중복성 실패).

2. 다중 입자성 보상 모델링

핵심 혁신은 동일한 선호도 데이터로 훈련되지만 다른 목적을 가진 두 개의 헤드를 가진 분리된 보상 모델입니다.

• 거친 입자성 (페이지 단위) 보상 ($R_c$): 생성된 전체 리스트를 단일 단위로 점수 매기는 Bradley-Terry 모델입니다. 카테고리 혼합과 평균 관련성과 같은 전역적 단서를 학습하여 노이즈가 있는 피드백에 대한 안정성을 제공합니다.
• 미세 입자성 (항목 단위) 보상 ($R_f$): 개별 항목을 점수 매기고 이를 평균내는 모델입니다. 참여도에 민감한 위치 스왑 (예: 두 인접 항목을 스왑하는 것이 전체 점수에 미치는 영향) 을 탐지하도록 훈련됩니다.
• 결합: 최종 보상은 단순한 합 ($R = R_c + R_f$) 입니다. 저자들은 이 가법적 접근 방식이 독립적인 기울기를 보존하고 초가법적 성능 향상을 가능하게 하므로 곱셈 방식보다 우월하다고 주장합니다.

3. PPO 를 통한 RLHF 미세 조정

사전 훈련된 LLM (예: GPT-2) 은 3 단계 훈련 과정을 거칩니다.

1. 메타 정보 사전 훈련: 메타 프롬프트에 대한 평점 예측과 다음 토큰 예측을 통해 모델을 추천 의미론에 적응시킵니다.
2. 지도 미세 조정 (SFT): 출력 스키마와 기준 분포를 학습하기 위해 골든 리스트로 모델을 미세 조정합니다.
3. PPO 최적화: 결합된 다중 입자성 보상을 사용하여 Proximal Policy Optimization (PPO) 으로 모델을 추가로 최적화합니다. SFT 기준 정책 대비 KL 발산 패널티는 모델이 퇴화된 출력 공간으로 벗어나는 것을 방지합니다.

주요 기여

1. 피드백에서 보상으로의 파이프라인: 인간 레이블 없이 페이지 생성을 위한 사용 가능한 RLHF 지도로 변환하는 네 가지 선호도 쌍 가족의 형식화.
2. 다중 입자성 보상 아키텍처: 페이지 단위 Bradley-Terry 모델과 항목 단위 위치 스왑 모델을 짝지은 분리된 보상 시스템의 도입 및 상호 보완성을 실증적으로 입증.
3. 확장 가능한 증거: 11 개의 기준 모델에 대비한 7 개 Amazon 카테고리에 대한 종합적 평가, 1 천만 명 이상의 사용자가 참여한 온라인 A/B 테스트, 그리고 콜드스타트 견고성과 백본 효율성에 대한 연구.
4. 배포 모듈성: 보상의 가법적 특성이 거친 페이지 단위 구성 요소를 CPU 측 순위 결정 기능으로 배포할 수 있게 하여 기존 인프라에서 점진적 롤아웃을 용이하게 한다는 실증.

실험 결과

• 오프라인 성능: 7 개 Amazon 카테고리에서 PageLLM 은 행렬 분해, 순차적 트랜스포머, 기타 LLM 기반 추천 시스템을 포함한 11 개의 기준 모델을 능가합니다. 보상 없는 변형에 비해 NDCG@100 에서 최대 46.8% 개선을 달성합니다. 이러한 향상은 세련된 선호도를 가진 카테고리 (럭셔리, 스포츠, 악기, 뷰티) 에서 가장 두드러집니다.
• Ablation 연구: 페이지 단위 또는 항목 단위 보상 헤드를 제거하면 성능이 크게 저하됩니다 (각각 NDCG@100 을 17.8% 와 15.2% 감소시킴). 이는 신호들이 중복된 것이 아니라 상호 보완적임을 확인시켜 줍니다.
• 온라인 A/B 테스트: 1 천만 명 이상의 고유 사용자가 참여한 상업적 이커머스 검색 엔진에 배포된 PageLLM 은 1 주일 기간 동안 GMV 를 0.44% 증가시키고 클릭률 (CTR) 을 0.14% 증가시켰습니다.
• 견고성: 콜드스타트 시뮬레이션 (데이터 50% 감소) 에서 PageLLM 은 순차적 (SASRec) 및 오토인코더 (Multi-VAE) 기준 모델보다 덜 저하되었습니다.
• 백본 효율성: GPT-2 와 Llama3.2-1B 를 비교한 실험은 이 작업에 대해 GPT-2 가 성능과 계산 비용의 파레토 최적 균형을 제공함을 시사하며, 모델 용량보다는 보상 구조가 제한 요인임을 나타냅니다.

중요성과 주장

이 논문은 LLM 기반 WPO 의 주요 병목 현상은 지도 데이터의 부족이 아니라 지도 신호의 입자성이라고 주장합니다. 보상을 페이지 단위 및 항목 단위 구성 요소로 분리함으로써 PageLLM 은 암시적 피드백만을 사용하여 LLM 을 웹 규모 WPO 목표와 성공적으로 정렬합니다.

저자들은 이 접근 방식이 다음과 같음을 강조합니다.

• 비용이 많이 드는 인간 주석의 필요성을 제거합니다.
• 기존 방법들이 전역적 페이지 일관성과 지역적 항목 배치를 동시에 최적화하지 못하는 "단일 입자성" 실패 모드를 해결합니다.
• 1 천만 명 사용자 A/B 테스트의 성공과 CPU 인프라에 구성 요소를 부분적으로 배포할 수 있는 능력으로 입증된 대로, 실제 생산 배포를 위한 실용적인 경로를 제공합니다.

이 연구는 암시적 피드백에서 파생된 다중 입자성 보상이 LLM 을 생산 수준의 전체 페이지 최적화로 확장하기에 충분하며, 점수 매겨진 항목들의 집합이 아닌 통합된 생성적 개체로서 페이지를 취급하는 추천 시스템에 대한 새로운 경로를 제시한다고 결론 내립니다.