기술 요약: 추천 시스템을 위한 구성적 다중 시퀀스 학습 (Constructive Multi-Sequence Learning, CMSL)

1. 문제 정의: 순차적 추천에서의 컨텍스트 오염 (Context Pollution)

시퀀스 학습은 시간적 뉘앙스를 포착함으로써 전통적인 딥러닝 추천 모델(DLRM)을 능가해 왔으나, 현재의 최첨단 아키텍처들은 종종 제한적인 유추에 의존하고 있습니다. 즉, 사용자 이력을 거대 언어 모델(LLM)의 문장과 유사한 단일한 연대기적 시퀀스로 취급하는 것입니다.

저자들은 자연어와 추천 데이터 사이의 근본적인 차이점을 다음과 같이 식별합니다:

• 구조적 통일성의 결여: 선형적이고 논리적인 구문 규칙을 따르는 텍ate와 달리, 사용자 이력은 파편화되고 다양한 관심사, 탐색적 클릭, 우발적 상호작용이 뒤섞인 "노이즈 섞인 모자이크(noisy mosaic)"입니다.
• 컨텍스트 오염 (Context Pollution): 단일 시퀀스 모델링에서는 서로 관련 없는 행동들이 동일한 어텐션 예산(attention budget)을 두고 경쟁하게 됩니다. 이러한 "노이즈" 신호는 모델의 집중도를 희석시켜, 의미론적으로 구별되는 의도(예: 전문적인 학습 vs. 일상적인 엔터테인먼트) 간의 의존성을 계산하도록 강제합니다. 이는 가짜 상관관계(spurious correlations), 표현 병목 현상, 그리고 최적화되지 않은 예측을 초래합니다.

본 논문은 추천 시스템이 단순히 시퀀스를 수동적으로 "모델링"하는 것에서 벗어나, 순차적 추천의 미개척 과제인 컨텍스트 오염 문제를 해결하기 위해 능동적으로 "컨텍스트를 구축"하는 방향으로 전환해야 한다고 주장합니다.

2. 방법론: 구성적 다중 시퀀스 학습 (CMSL)

CMSL은 수동적인 시퀀스 입력 방식에서 능동적인 "컨텍스트 엔지니어링"으로의 패러다임 전환을 제안합니다. 원시 이력을 하나의 프롬프트로 입력하는 대신, CMSL은 잠재 공간(latent space) 내에서 여러 개의 일관된 잠재 시퀀스를 구축하여 사용자의 의도를 분리(disentangle)합니다.

2.1 특징 전처리 (Feature Preprocessing)

• 비시퀀스 특징 (Non-Sequence Features): 밀집 특징(예: 연령, 가격)은 정규화 및 투영되며, 희소 특징(예: 국가, 카테고리)은 임베딩됩니다.
• 시퀀스 특징 (Sequence Features): 사용자 상호작용 이력(클릭, 좋아요, 댓글)은 공유 속성(예: 동일한 제품 표면)에 따라 그룹화되고 게이트 합산 메커니즘(gated summation mechanism)을 통해 단일 시퀀스로 압축됩니다. 이는 상호작용 정보를 보존하면서 계산 오버헤드를 줄입니다.

2.2 CMSL 아키텍처

CMSL의 핵심은 4가지 주요 구성 요소를 포함하는 $N$개의 스택 블록으로 이루어져 있습니다:

1. 다중 시퀀스 구축 (Multi-Sequence Construction):

   • 의도 분리 (Intent Disentanglement): 비시퀀스 특징은 $K$개의 프로젝션 헤드를 사용하여 $K$개의 컨텍스트 특화 세트로 투영되며, 이를 통해 사용자의 의도를 서로 다른 컨텍스트로 효과적으로 분리합니다.
   • 시퀀스 구축: 학습 가능한 시퀀스 구축 모듈은 크로스 어텐션(cross-attention)을 사용합니다. 현재 시퀀스 표현이 쿼리($Q$) 역할을 하고, 투영된 컨텍스트 특징이 키($K$)와 값($V$) 역할을 합니다. 이를 통해 서로 다른 사용자의 컨텍스트 측면에 집중하는 $K$개의 별도 잠재 시퀀스($\tilde{X}^{(l,k)}$)를 생성합니다.

2. 셀프 어텐션 (선형 근사화) (Self-Attention - Linear Approximation):

   • 구축된 각 $K$개의 시퀀스는 상호 의도 간섭 없이 내부적 시간 상관관계를 포착하기 위해 독립적으로 셀프 어텐션을 수행합니다.
   • 표준 어텐션의 이차 복잡도와 $K$배 증가하는 계산량을 해결하기 위해, CMSL은 선형 시간 어텐션 메커니즘을 채택합니다.
   • 이 메커니즘은 SiLU 활성화 함수의 테일러 급수 전개를 사용하여 Meta에서 널리 사용되는 HSTU 어텐션을 근사합니다. 이는 연산을 선형 어텐션 항($\phi(Q)\phi(K)^\top V$)과 큰 값을 포착하는 희소(sparse) 항($AV$)으로 분해하여 계산 비용을 크게 절감합니다.

3. 시퀀스 요약 (Sequence Summarization):

   • 셀프 어텐션 이후, 각 시퀀스를 고정 길이 벡터로 요약하기 위해 PMA(Pooling by Multi-head Attention)가 사용됩니다.
   • 이 단계는 사용자의 현재 상태와 관련된 글로벌 신호를 추출하고(비시퀀스 특징을 쿼리로 사용), 중복된 과거 데이터를 억제하여 레이어를 거치며 발생하는 노이즈 축적을 방지합니다.

4. 시퀀스 압축 (Sequence Compression):

   • 레이어를 거치며 시퀀스 수가 폭발하는 것을 방념하기 위해, $K$개의 요약된 시퀀스를 결합하고 MLP를 통해 다시 단일 잠재 시퀀스로 투영합니다. 이를 통해 레이어당 일정한 시퀀스 수를 유지하면서 심층적인 계층적 학습을 가능하게 합니다.

2.3 최종 퓨전 (Final Fusion)

최종 표현은 마지막 레이어의 요약된 벡터들을 결합하여 형성되며, 클릭률(CTR) 및 전환율(CVR) 예측을 위한 태스크 특화 헤드로 전달됩니다.

3. 주요 기여

본 논문은 네 가지 주요 기여를 명시합니다:

1. 새로운 관점: "컨텍스트 오염"을 순차적 추천의 핵심 실패 모드로 식별하고, 이를 완화하기 위한 다중 시퀀스 구축 패러다임을 제안했습니다.
2. 다중 시퀀스 구축 모듈: 크로스 어텐션을 사용하여 원시 이력을 의도 인식 및 적응형 컨텍스트 큐레이션을 위한 여러 잠재 스트림으로 변환하는 학습 가능한 모듈을 제시했습니다.
3. 확장 가능한 선형 어텐션: 다중 시퀀스 모델링의 계산 비용을 줄여 확장이 가능하도록 하는 효율적인 선형 시간 어텐션 메커즘을 제공합니다.
4. 산업 규모의 검증: 수십억 명의 일일 활성 사용자를 처리하는 Meta의 4가지 주요 서피스(surface)에서 성공적으로 배포 및 검증되었습니다.

4. 실험 결과

CMSL은 Meta의 프로덕션 환경에서 랭킹(Ranking) 및 리트리벌(Retrieval) 태스크에 대해 평가되었습니다.

• 랭킹 평가 (Ranking Evaluation):

  • 지표: 낮은 값일수록 성능이 좋음을 나타내는 정규화 엔트로피(Normalized Entropy, NE).
  • 설정: 4개의 대규모 서피스에서 평가되었습니다. 서피스 1은 직접 학습 방식을 사용했고, 서피스 2~4는 레이턴시 관리를 위해 2단계 아키텍처(비동기 업스트림 사용자 모델)를 활용했습니다.
  • 결과: CMSL은 통계적으로 유의미한 개선을 보였습니다. 서피스 1에서 "좋아요" 및 "댓글" 태스크에 대해 -0.31%에서 -0.62% 범위의 NE 개선을 달려 성과를 냈습니다. 서피스 2~4에서는 CMSL 임베딩을 통합했을 때 CTR 및 CVR 태스크 전반에서 **-0.06%에서 -0.13%**의 NE 이득을 얻었습니다.

• 리트리벌 평가 (Retrieval Evaluation):

  • 설정: 서피스 5에서의 온라인 A/B 테스트.
  • 결과: CMSL 사용자 임베딩은 측정된 4가지 인게이지먼트 지표 모두에서 통계적으로 유의미한 개선을 보였으며, 이득 폭은 +0.092%에서 +0.171% 사이였습니다.

5. 의의 및 주장

본 논문은 CMSL이 사용자 이력을 읽어야 할 "원시 프롬프트"가 아닌, 구축해야 할 "컨텍스트"로 취급하는 변화를 나타낸다고 주장합니다. 사용자의 이력을 일관된 테마의 가닥으로 능동적으로 분리함으로써, CMSL은 이질적인 사용자 데이터에 내재된 의미론적 간섭을 완화합니다.

저자들은 이 접근 방식이 LLM의 "컨텍스트 엔지니어링" 철학과 궤를 같이하지만, 아이템 ID에 명시적인 의미가 없어 암시적이고 학습 가능한 접근 방식이 필수적인 추천 시스템에 맞게 조정되었다는 점을 강조합니다. 이 프레임워크는 선형 어텐션과 시퀀스 압축을 통해 계산 가능성을 유지하면서도 강력한 순차적 베이스라인 모델들보다 일관된 이득을 제공하는, 실무적인 규모의 시스템을 위한 솔루션으로 제시됩니다.