기술 요약: 사전 학습 및 협력 신호로부터 분해된 문맥적 토큰 표현을 학습하여 생성형 추천 수행

1. 문제 제기

본 논문은 일반적으로 아이템 토큰화 followed by 대규모 언어 모델 (LLM) 학습을 포함하는 기존 2 단계 생성형 추천 패러다임에 내재된 두 가지 치명적인 한계를 다룹니다:

1. 비최적의 정적 토큰화 (C1): 기존 방법들은 아이템 메타데이터를 재구성하기 위해 사전 학습된 토크나이저 (예: RQ-VAE) 가 생성한 고정된 의미 ID 에 의존합니다. 이러한 정적 토큰들은 다양한 사용자 상호작용 문맥에 적응하지 못합니다. 결과적으로, 의미적으로 구별되는 아이템들 (예: 사무실용 헤드폰 대 수면용 헤드폰) 이 동일한 접두사 토큰을 공유하게 되어, 최종 생성 단계까지 모델이 사용자의 의도를 파악하지 못하게 만드는'접두사 모호성'을 초래합니다. 이러한 정적 할당은 주의 메커니즘의 변별력을 제한하는 표현 병목 현상을 야기합니다.
2. 폐기된 사전 학습 의미 (C2): 추천기 학습 단계 동안, 사전 학습된 임베딩에 인코딩된 풍부한 의미 지식이 사실상 폐기됩니다. 토크나이저가 이러한 임베딩을 재구성하도록 학습하는 동안, LLM 이 사용하는 토큰 임베딩은 무작위로 초기화되어 사용자 상호작용 데이터에만 기반하여 학습됩니다. 이 과정은 사전 학습된 세계 지식 (예: "Apple"의 과일 또는 기술 브랜드라는 이중 의미) 을 덮어쓰게 되어, 특히 희소 아이템의 경우 잘못된 추천으로 이어집니다.

저자들은 이러한 문제들을 해결하려는 기존 시도들 (예: 엔드 - 투 - 엔드 결합 최적화인 ETEGRec 등) 이 종종 반복적인 재토큰화로 인해 학습 불안정성과 계산 오버헤드를 초래한다고 지적합니다.

2. 방법론: DECOR

저자들은 반복적인 재토큰화 없이 사전 학습된 의미를 보존하면서 토큰 적응성을 향상시키도록 설계된 통합 프레임워크인 DECOR(Decomposed Contextual Token Representations) 을 제안합니다. DECOR 은 두 가지 주요 구성 요소로 이루어져 있습니다:

3.1 분해된 임베딩 융합

사전 학습된 의미의 손실 (C2) 을 해결하기 위해, DECOR 은 두 개의 병렬 임베딩 공간을 유지합니다:

• 동결된 사전 학습 의미 임베딩 ($E_{pre}$): 사전 학습된 RQ-VAE 토크나이저의 코드북에서 유래합니다. 원본 의미 재구성 능력을 보존하기 위해 동결 상태로 유지됩니다.
• 학습 가능한 협력 임베딩 ($E_{collab}$): 사용자의 상호작용 시퀀스를 기반으로 처음부터 학습되어 순차적 패턴과 공발생 역학을 포착합니다.

이 두 가지 모달리티는 경량 네트워크를 통해 융합됩니다. 두 임베딩 모두 공유 잠재 공간으로 투영된 후 정규화되고 연결되며, 학습 가능한 융합 행렬을 통해 원래 차원으로 매핑됩니다. 이를 통해 모델은 정적 의미 지식과 동적 협력 신호를 적응적으로 통합할 수 있습니다.

3.2 문맥화된 토큰 구성

비최적의 정적 토큰화 (C1) 를 해결하기 위해, DECOR 은 자동회귀 생성 단계 동안 적용되는 동적 해석 메커니즘을 도입합니다. 토큰의 정적 임베딩에만 의존하는 대신, 모델은 사용자의 상호작용 문맥에 기반하여 토큰 표현을 정제합니다:

• 문맥 벡터: 어텐션 기반 풀링 메커니즘이 과거 상호작용 시퀀스의 융합된 임베딩들을 집계하여 문맥 벡터 ($u_c$) 를 생성합니다.
• 소프트 구성: 시퀀스 내의 각 토큰에 대해, 모델은 후보 토큰 집합 (구체적으로 동일한 RQ-VAE 코드북 레이어의 모든 토큰) 에 대해 소프트 구성을 수행합니다. 최종 구성 임베딩은 문맥 벡터에 의해 지시되는 후보 임베딩들의 가중 합입니다.
• 잔차 융합: 문맥적으로 구성된 임베딩은 하이퍼파라미터 $\alpha$에 의해 제어되는 잔차 연결을 통해 원래 정적 임베딩과 융합됩니다. 이를 통해 모델은 기본 토크나이저를 변경하지 않고도 정적 토큰을 동적으로 재해석할 수 있습니다.

3.3 학습 가능한 BOS(시퀀스 시작) 구성

첫 번째 토큰이 전역 의미 앵커 역할을 한다는 점을 인식하여, 저자들은 학습 가능한 BOS 쿼리 벡터 집합을 도입합니다. 이러한 벡터들은 문맥적으로 구성되어 초기 접두사를 정제함으로써, 생성 과정이 사용자의 특정 이력과 정렬된 의미 앵커로 시작하도록 보장하여 모호성 전파를 줄입니다.

3. 주요 기여

• 문제 분석: 본 논문은 정적 토큰화가 생성형 추천기가 다양한 사용자 문맥 역학에 아이템 표현을 적응시키는 능력을 어떻게 제한하는지 명시적으로 분석한 최초의 연구이며, 주요 실패 모드로서 접두사 모호성을 식별합니다.
• 새로운 프레임워크 (DECOR): 저자들은 동결된 사전 학습 의미 임베딩과 학습 가능한 협력 임베딩을 융합하는 프레임워크를 제안합니다. 특히, 엔드 - 투 - 엔드 재토큰화의 불안정성을 피하면서 생성 중에 정적 입력 토큰을 해석하는 동적이고 문맥 인식적인 토큰 구성 메커니즘을 도입합니다.
• 효율성과 안정성: 이 방법은 결합 학습 베이스라인에 비해 더 빠른 수렴과 더 높은 정확도를 달성하며, 중간 정도의 계산 오버헤드만 요구합니다.

4. 실험 결과

저자들은 Amazon Review 컬렉션의 세 가지 실제 데이터셋인 Scientific, Instrument, Game에서 DECOR 을 평가했습니다.

• 성능: DECOR 은 전통적인 순차 추천기 (SASRec, GRU4Rec) 와 생성 모델 (TIGER, LETTER, CoST, ETEGRec) 을 포함한 최첨단 베이스라인들을 일관되게 능가했습니다.
  • Scientific 데이터셋에서 DECOR 은 가장 강력한 베이스라인 대비 NDCG@10 에서 14% 이상의 상대적 개선을 달성했습니다.
  • 전문 용어와 희소 텍스트로 알려진 Instrument 데이터셋에서 DECOR 은 최상위 베이스라인 대비 NDCG@10 을 5.0% 향상시켜, 텍스트 우선 기반 모델들이 어려움을 겪는 환경에서도 견고함을 입증했습니다.
• 절대 실험: 분해된 임베딩 융합 (DEF) 이나 문맥화된 토큰 구성 (CTC) 중 하나를 제거하면 성능이 크게 저하되어, 사전 학습된 의미 보존과 문맥적 적응 활성화 모두 필요함을 확인했습니다. 학습 가능한 BOS 쿼리 추가는 특히 고수준 의미와 사용자 문맥을 정렬하는 데 성능을 더욱 향상시켰습니다.
• 수렴: DECOR 은 결합 학습 베이스라인 (ETEGRec) 보다 23 에포크 빠르게 최대 성능의 95% 에 도달했으며, ETEGRec 에서 관찰된 중간 학습 단계의 학습 정체 현상을 피했습니다.
• 임베딩 활용: DECOR 은 코드북 엔트리 활용을 크게 개선했습니다. TIGER 이 첫 번째 양자화 레이어에서 활성 임베딩의 약 26% 만 활용하는 반면, DECOR 은 구성 중 비활성 토큰을 활용하여 Instrument 및 Game 데이터셋에서 임베딩의 100% 를 활성화했습니다.
• 효율성: TIGER 베이스라인 대비 추론 지연 시간은 샘플당 약 0.85ms 증가했습니다 (배치 크기 128 기준). 이는 베이스라인 처리량의 약 82% 를 유지하면서 5~14% 의 정확도 향상을 제공하므로, 매우 유리한 트레이드오프로 제시됩니다.

5. 중요성과 주장

본 논문은 재토큰화의 불안정성을 피하면서도 사전 학습된 의미의 이점을 유지하는 DECOR 이 새로운 해결책을 제공한다고 주장합니다. 정적 의미 구조와 동적 협력 신호를 분리하고 생성 시 문맥적 재해석을 허용함으로써, DECOR 은 세계 지식과 사용자 행동 간의 격차를 해소합니다. 저자들은 이를 기존 생성형 추천 프레임워크에 비해 더 안정적이고 표현력 있는 대안으로 위치시키며, 특히 정적 텍스트 사전 지식이 불충분한 희소 데이터나 전문 아이템 용어가 있는 시나리오에서 효과적이라고 강조합니다.