Generative Long-term User Interest Modeling for Click-Through Rate Prediction

기술 요약: 클릭률 예측을 위한 생성형 장기 사용자 관심사 모델링 (GenLI)

문제 정의
클릭률 (CTR) 예측은 광고 및 추천 시스템의 핵심 과제이며, 방대한 과거 행동 시퀀스에서 도출된 장기 사용자 관심사의 정확한 모델링에 크게 의존합니다. 현재 최첨단 접근 방식은 일반적으로 일반 검색 단위 (GSU) 와 정밀 검색 단위 (ESU) 로 구성된 2 단계 프레임워크를 사용합니다. GSU 는 타겟 아이템과의 유사성을 기반으로 관련 행동의 부분 집합을 검색하고, ESU 는 어텐션 메커니즘을 통해 이를 집계합니다.

저자들은 기존 타겟 중심 GSU 접근 방식의 세 가지 중요한 한계를 지적합니다:

1. 불완전한 관심사 표현: 특정 타겟 아이템과 관련된 행동에만 초점을 맞춤으로써 이러한 모델들은 다른 잠재적 사용자 관심사를 무시하여 편향되고 불완전한 관심사 특징을 초래합니다.
2. 계산 병목 현상: 매칭 기반 검색 프로세스는 타겟 아이템과 모든 과거 행동 간의 쌍별 유사성 점수를 계산해야 합니다. 사용자 행동 시퀀스가 수천 개의 아이템으로 성장함에 따라 이는 온라인 서비스의 시간 소모적 병목 현상이 됩니다.
3. 무시된 행동 간 상호작용: 쌍별 아키텍처는 타겟 아이템을 개별 행동과 고립적으로 비교하여 사용자 과거 행동들 사이 에 존재하는 상호작용 정보와 패턴을 간과합니다.

방법론: GenLI 프레임워크
이러한 문제들을 해결하기 위해 저자들은 GenLI, 즉 생성형 장기 사용자 관심사 모델링 프레임워크를 제안합니다. 기존 검색 기반 방법과 달리 GenLI 는 타겟에 독립적인 생성 방식을 채택합니다. 이 프레임워크는 세 가지 핵심 모듈로 구성됩니다:

1. 관심사 생성 모듈 (IGM):

   • 입력: IGM 은 타겟 아이템이 아닌 짧은 기간 행동 시퀀스 (가장 최근 $l$개의 행동) 를 활용합니다.
   • 메커니즘: 다중 헤드 어텐션 (MHA) 을 사용하여 이러한 짧은 기간 행동을 처리합니다. 쿼리 벡터는 최신 행동의 임베딩과 상호작용 지식을 포착하기 위한 학습 가능한 쿼리 벡터로 구성됩니다.
   • 출력: 이 모듈은 실시간 사용자 관심사의 다양한 측면을 나타내는 여러 이산적 관심사 분포를 생성합니다:
     • 명시적 관심사 ($\mathbf{p}_E$): 클릭과 같은 직접 상호작용에서 도출되며, 클릭된 아이템에 대한 음의 로그 가능도를 통해 최적화됩니다.
     • 암시적 관심사 ($\mathbf{p}_I$): 노출된 아이템 (클릭 없이 노출된 경우) 에서 도출되어 안정적이고 장기적인 선호도를 나타냅니다.
     • 상대적 관심사 ($\mathbf{p}_R$): 명시적 분포와 암시적 분포 간의 차이 ($\mathbf{p}_E - \mathbf{p}_I$) 로 정의되며, 사용자 관심사와 의사결정 대비의 변화 추세를 포착합니다.
   • 주요 특징: 이 과정은 타겟에 독립적이므로 생성된 분포가 더 넓고 다양한 사용자 관심사를 포괄하도록 보장합니다.

2. 행동 검색 모듈 (BRM):

   • 메커니즘: 쌍별 유사성을 계산하는 대신, BRM 은 간단한 조회 (lookup) 작업을 수행합니다. 생성된 각 관심사 분포에 대해 과거 행동은 분포 인덱스에 매핑된 고유 ID(모듈 연산을 통해) 를 기반으로 점수가 할당됩니다.
   • 효율성: 이는 각 행동에 가중치를 부여하는 시간 복잡도를 $O(1)$로 줄입니다.
   • 선택: 이 모듈은 세 가지 관심사 분포 ($\mathbf{B}_I, \mathbf{B}_E, \mathbf{B}_R$) 각각에 대해 상위 $k$개의 행동을 선택하여 총 $K$개의 검색된 행동을 생성합니다. 이 과정은 본질적으로 생성 단계에서의 상호작용 정보를 포함하고 노이즈를 필터링합니다.

3. 관심사 융합 모듈 (IFM):

   • 집계: 각 분포에서 선택된 행동은 타겟 아이템 임베딩이 쿼리로 작용하는 다중 헤드 어텐션을 사용하여 별도로 집계됩니다.
   • 융합: 생성된 관심사 임베딩은 연결된 후 게이팅 메커니즘 (시그모이드 활성화 함수가 적용된 MLP) 을 거쳐 최종 장기 사용자 관심사 특징 벡터 ($\mathbf{x}_l$) 를 생성합니다.
   • 예측: 이 특징은 짧은 기간 관심사, 부가 정보, 타겟 아이템 임베딩과 연결되어 표준 MLP 를 통해 CTR 을 예측합니다.

주요 기여

• 장기 관심사를 위한 최초의 생성 접근법: 저자들은 타겟 중심 검색을 벗어나 CTR 예측 작업에서 장기 사용자 관심사를 모델링하기 위해 생성 방법을 처음 도입했다고 주장합니다.
• 엔드투엔드 프레임워크: GenLI 는 관심사 생성, 행동 검색, 관심사 융합을 기존 CTR 모델에 쉽게 플러그인할 수 있는 통합된 엔드투엔드 학습 가능 프레임워크로 통합합니다.
• 다양성과 효율성: 타겟에 독립적인 분포를 생성함으로써 모델은 다양하고 완전한 사용자 관심을 포착합니다. 동시에 매칭 기반 방법에 비해 조회 기반 검색은 계산 복잡성을 크게 줄입니다.

실험 결과
저자들은 Amazon(Book), TaoBao, 그리고 Meituan 의 대규모 산업용 데이터셋 등 세 가지 데이터셋에서 GenLI 를 평가했습니다.

• 오프라인 성능:

  • Amazon 및 TaoBao 데이터셋에서 GenLI 는 TWIN, SIM, ETA 와 같은 강력한 베이스라인을 능가하는 최첨단 (SOTA) 성능을 달성했습니다. 구체적으로, 가장 좋은 베이스라인 대비 Amazon 에서 0.61%, TaoBao 에서 1.03% 의 절대적 AUC 개선을 보였습니다.
  • 산업용 데이터셋에서 GenLI 는 TWIN 대비 AUC 를 0.22% 향상시키면서 추론 시간을 단축했습니다 (TWIN 의 7.9ms 대비 4.6ms).
  • 제거 실험 (ablation studies) 은 생성된 세 가지 분포 (명시적, 암시적, 상대적) 가 모두 성능에 기여하며, 명시적 관심이 가장 직접적인 영향을 미친다는 것을 확인했습니다.

• 온라인 성능:

  • Meituan 음식 배달 플랫폼 (전체 트래픽의 30% 처리) 에서 수행된 A/B 테스트에서 GenLI 는 생산 환경 베이스라인 대비 CTR 0.776% 증가 및 천 노출당 수익 (RPM) 1.567% 증가를 입증했습니다.
  • 이 모델은 수억 명의 사용자를 매일 서비스하는 실제 광고 시스템에 완전히 배포되었습니다.

의의 및 주장
본 논문은 GenLI 가 산업용 CTR 시스템의 핵심 요구사항인 정확성과 효율성의 균형을 성공적으로 달성했다고 주장합니다. 타겟 중심 검색 패러다임에서 타겟에 독립적인 생성 모델링 접근 방식으로 전환함으로써, GenLI 는 불완전한 관심사 포착과 높은 계산 지연의 한계를 극복합니다. 저자들은 쌍별 매칭의 병목 현상 없이 다양하고 잠재적인 관심을 모델링할 수 있는 능력이 대규모에서 더 견고한 개인화를 가능하게 한다고 강조합니다. 성공적인 배포와 긍정적인 온라인 지표는 장기 사용자 관심사 모델링에서 생성 방법의 실용적 적용 가치를 검증합니다.