Preserving Item Semantics for Free: Rethinking Token Initialization in LLM-Based Generative Recommendation

기술 요약: 무료로 아이템 의미론 보존하기: LLM 기반 생성적 추천에서의 토큰 초기화 재고

문제 정의

생성적 추천(Generative Recommendation, GR) 시스템은 대규모 언어 모델(LLM)을 활용하여 사용자 상호작용 이력을 바탕으로 아이템을 자기회귀적으로 생성합니다. 어휘 크기를 관리하기 위해, 이러한 시스템은 일반적으로 연속적인 아이템 임베딩을 양자화하여 얻은 짧은 이산 코드 시퀀스인 시맨틱 ID(Semantic ID, SID)를 사용하여 아이템을 표현합니다. 이 코드들은 어휘 확장(expansion)을 통해 LLM의 어휘 사전에 추가됩니다.

그러나 표준 GR 파이프라인는 심각한 초기화 결함을 겪습니다. 새로운 SID 토큰이 어휘 사전에 추가될 때, 이들은 사전 학습된 토큰 분포와 일치하는 무작위 가우시안 벡터로 초기화됩니다. 이 과정은 SID 구축 과정에서 형성된 연속적인 의미론적 기하학(semantic geometry)을 폐기합니다. 결과적으로, 모델은 훈련 중에 아이템 간의 관계를 처음부터 다시 학습해야 합니다. 저자들은 명시적인 의미론적 사전 지식(semantic priors) 없이는 모델이 원래의 의미 구조를 복구하는 데 실패한다는 것을 입증했습니다. 대신, 학습된 SID 임베딩은 주로 **아이템 인기도(popularity)**를 중심으로 조직되는 경향이 있으며, 이는 전통적인 추천 시스템의 잘 알려진 편향을 강화하고 LLM에 내재된 의미론적 지식을 제대로 활용하지 못하게 만듭니다. 나아가, SID를 자연어와 정렬하기 위해 설계된 비용 집약적인 지속적 사전 훈련(Continual Pre-Training, CPT) 단계조차 손실된 의미론적 기하학을 안정적으로 복구하는 데 실패합니다.

방법론

본 논문은 의미론적 기하학의 손실을 해결하기 위해 **센트로이드 초기화(Centroid Initialization)**라는 단순하고 파라미터가 필요 없는 개입 방안을 제안합니다.

핵심 접근 방식

무작위 초기화 대신, 저자들은 각 SID 토큰의 임베딩을 원래의 의미 임베딩 공간에 대응하는 센트로이드(centroid)로부터 직접 초기화할 것을 제안합니다.

1. 기하학적 가교(Geometric Bridge): SID 토큰은 양자화기에 의해 정의된 의미 공간 내의 부피(volume)를 나타냅니다. 이 부피에 대한 이상적인 대리물(proxy)은 해당 센트로이드입니다.
2. 평균 이동 투영(Mean-Shifted Projection): 의미 임베딩 공간($d$)과 LLM 은닉 공간($d_{model}$) 사이의 차원 격차를 메우기 위해, 본 방법은 현대 텍스트 임베딩에서 발견되는 **마트료시카 표현 학습(Matryoshka Representation Learning, MRL)**의 특성을 활용합니다. 즉, 의미론적 센트로이드를 첫 $d_{model}$ 차원으로 절단(truncate)합니다.
3. 정렬(Alignment): 훈련 안정성을 확보하고 사전 학습된 어휘의 분포 내 특성을 유지하기 위해, 절단된 센트로이드는 기존 LLM 토큰 임베딩의 경험적 평균(empirical mean)에 맞춰 평균 이동(mean-shift)됩니다.
4. 구현: 이는 알고리즘 1과 같이 단 몇 줄의 코드로 구현 가능한 "드롭인(drop-in)" 교체 방식이며, 추가적인 훈련이나 추론 오버헤드가 발생하지 않습니다. 이는 그래디언트 업데이트가 일어나기 전, 풍부한 기하학적 사전 지식을 주입하는 의미론적 웜 스타트(warm start) 역할을 합니다.

이론적 분석

저자들은 무작위 초기화가 왜 인기도 편향을 유도하는지에 대해 그래디언트 분석(정리 3.1)을 제공합니다. 그들은 경사 하강법(gradient descent) 하에서 SID 토큰 임베딩에 대한 업데이트가 훈련 데이터 내의 상대적 빈도(인기도)에 비례하는 항을 축적함을 보여줍니다. 이는 임베딩 공간 내에 기하학적 축을 생성하여, 인기 있는 코드들이 공유된 방향으로 이동하게 함으로써 모델이 의미론적 신호보다 인기도 신호에 과도하게 집중하게 만듭니다. 센트로이드 초기화는 $t=0$ 시점에 코드별 의미 구조를 제공함으로써 이러한 대칭성을 깨뜨립니다.

주요 기여

1. SID 임베딩 특성 진단: 저자들은 표준 LLM 기반 GR 파이프라인이 아이템 의미론을 보존하는 데 실패한다는 점을 밝혀냈습니다. 5개의 데이터셋에 대한 진단 분석 결과, 무작위 초기화 하에서 학습된 임베딩은 낮은 의미 순도(semantic purity)를 보이며 인기도 신호에 의해 지배된다는 것을 보여주었습니다. 이는 CPT 이후에도 마찬가지입니다.
2. 기하학 보존형 어휘 확장: 의미론적 센트로이드를 토큰 임베딩으로 직접 전달하는 센트로이드 초기화 방법을 도입했습니다. 이는 추가적인 훈련, 구조적 변경, 또는 추가 파라미터 없이 아이템 카탈로그의 의미론적 기하학을 보존합니다.
3. 실증적 검증: 제안된 방법은 Qwen3 백본을 사용하여 5개의 다양한 데이터셋(Amazon Beauty, Sports, Toys, Steam, MovieLens)에서 검증되었습니다.

결과

제안된 방법은 추천 품질과 훈련 효율성 측면에서 유의미한 개선을 가져왔습니다.

• Pure-SFT 성능: 센트로이드 초기화는 무작위 초기화와 비교했을 때 Recall@5를 평균 6.5% (특정 데이터셋에서는 최대 16%) 향상시켰습니다.
• 훈련 효율성: 모델은 평균적으로 27% 적은 SFT 단계만으로도 정점 성능에 도달합니다. CPT의 혜택을 받는 데이터셋의 경우, 센트로이드 초기화는 무작위 초기화가 610 에포크를 필요로 하는 반면, **14 CPT 에포크**만으로도 대등한 성능을 달elle합니다.
• 콜드 아이템 일반화: 이 방법은 상호작용 이력이 희소한 아이템에 대해 상당한 이득을 제공합니다. 콜드 아이템의 경우, Pure-SFT 환경에서 Recall@5가 평균 37% 향상되었습니다 (특정 데이터셋에서는 최대 60%).
• 규모 견고성(Scale Robustness): 이점은 모델 규모(0.6B에서 4B 파라미터) 전반에 걸쳐 지속되며, 수렴 가속화는 모델 크기에 따라 효과적으로 확장됩니다.
• 절제 연구(Ablation Studies): 코드에 할당된 센트로이드를 섞는 방식(집계 통계량은 유지하면서 의미론적 대응 관계를 제거함)은 성능을 저하시켰으며, 이를 통해 특정 의미론적 대응 관계가 성능 향상의 원천임을 확인했습니다.

의의

본 논문은 아이템의 연속적인 의미론적 사전 지식(continuous semantic prior)을 LLM의 이산적 토큰 공간과 정렬함으로써, 추천 모델이 단순히 인기도 편향으로 회귀하는 것이 아니라 아이템 콘텐츠에 대한 지식을 직접 활용할 수 있게 합니다. 저자들은 센트로이드 초기화를 단순하고 효과적이며 비용이 들지 않는 개입으로서, 아이템의 의미론적 기하학을 보존하여 특히 콜드 스타트 시나리오에서의 일반화 성능을 높이고 정렬 훈련의 계산 부담을 줄이는 방법으로 제시합니다.