기술 요약: LLM은 시맨틱 ID를 위한 인코더도 필요하다

문제 정의

생성형 추천 시스템은 아이템을 RQ-VAE에 의해 생성된 계층적 코드인 시맨틱 ID(Semantic IDs, SIDs)로 표현합니다. 이러한 코드는 시맨틱하게 유사한 아이템 간의 지식 전이를 가능하게 하지만, 대규모 언어 모델(LLM)에게는 독특한 과제를 안겨줍니다. 표준 언어 토큰과 달리, SID 토큰의 의미는 엄격하게 문맥 의존적입니다. 즉, 특정 코드(예: 505)는 접두사(예: 1273-505 대 974-505)에 따라 완전히 다른 아이템 클러스터를 나타냅니다.

현재의 방식들은 SID 코드를 평면적인 어휘 토큰으로 취급하여, 접두사와 상관없이 각 코드에 단일한 정적 임베딩을 할당합니다. 이는 LLM이 공유된 파라미터 내에서 조합적인 접두사-코드 관계를 처음부터 학습하도록 강제합니다. 수십억 규모의 아이템 코퍼스와 SID 분포의 희소하고 계층적인 특성(중간 단계에서의 '모래시계 현상'으로 인해 심화됨)을 고려할 때, 이 학습 문제는 계산 비용이 많이 들며, 특히 희귀 아이템이나 복잡한 접두사 패턴에 대해 깊은 수준의 구조적 의존성을 포착하는 데 실패하는 경우가 많습니다.

방법론: PrefixMem

저자들은 멀티모달 LLM의 비전 인코더와 유사한 경량화된 전용 SID 인코더인 PrefixMem을 제안합니다. LLM의 내부 어텐션 메커니즘에만 의존하여 문맥을 추론하게 하는 대신, PrefixMem은 모델에 명시적이고 접두사 조건부(prefix-conditioned)인 표현을 제공합니다.

아키텍처

PrefixMem은 해시 기반의 접두사 $n$-gram 메모리 테이블로 구현됩니다. SID 시퀀스 $(c_1, \dots, c_L)$에 대해, 인코더는 각 레벨 $\ell$에서 다음과 같이 작동합니다:

1. 해싱(Hashing): 이전 접두사 $(c_1, \dots, c_{\ell-1})$를 여러 해시 헤드를 사용하여 다양한 $n$-gram 차수(길이 1부터 $\min(\ell, N_{max})$까지)로 해싱합니다.
2. 룩업(Lookup): 이 해시 값들이 희소 임베딩 테이블($E_{n,h}$)을 인덱싱하여 벡터를 검색합니다.
3. 집계(Aggregation): 검색된 벡터들을 헤드별로 결합하고, $n$-gram 차원별로 합산한 뒤, 선형 레이어($W_{out}$)를 통해 투영합니다.
4. 주입(Injection): 생성된 벡터 $\mathbf{m}_\ell$은 현재 토큰 $c_\ell$이 LLM 트랜스포머에 들어가기 전, 해당 토큰의 입력 임베딩에 더해집니다.

이 메커니즘은 LLM이 동일한 코드에 대해서도 접두사 이력에 따라 구별되는 표현을 받도록 보장하며, 이를 통해 접두사-코드 전환 통계의 저장 책임을 밀집된 트랜스포머 가중치에서 희소 룩업 테이블로 오프로딩(offloading)합니다.

사전 학습 전략

비전 인코더와 마찬가지로, PrefixMem은 LLM에 부착되기 전에 독립적으로 사전 학습될 수 있습니다. 본 논문은 세 가지 사전 학습 목적 함수를 탐구합니다:

1. 분류(Classification): 선형 헤드를 사용하여 접두사 임베딩으로부터 다음 코드 $c_{\ell+1}$을 예측합니다.
2. 생성적 검색(Generative Retrieval): 사용자 행동 전환 패턴을 포착하기 위해 생성적 SID 모델(예: TIGER)을 사용하여 학습합니다.
3. LLM 공동 학습(LLM Joint Training): 텍스트+SID 데이터를 사용하여 인코더를 소규모 LLM과 공동 학습시켜 언어 기반 표현을 주입합니다.

주요 기여

1. SIDs를 하나의 모달리티로 재정의: 본 논문은 SIDs가 전용 인코더를 필요로 하는 별개의 모달리티라는 점을 주장하며, 이를 비전 및 오디오 인코더가 멀티모달 LLM에서 비언어적 모달리티를 연결하는 방식과 병치합니다.
2. PrefixMem 설계: 구조화된 접두사 조건부 표현을 제공하는 접두사 $n$-gram 메모리 모듈을 도입했습니다. 이는 경량이며, 사전 학습이 가능하고, 다양한 LLM 제품군 간에 전이 가능합니다.
3. 효율성 및 확장성: 인코더는 SID 지식을 LLM의 파라미터로부터 분리합니다. 이를 통해 PrefixMem을 갖춘 더 작은 모델(예: 0.6B)이 인코더가 없는 더 큰 모델(예: 4B)보다 우수한 성능을 낼 수 있게 합니다.
4. 포괄적인 평가: 다양한 LLM 제품군(Qwen, Llama, Gemma) 및 비-LLM 아키텍처(TIGER)를 대상으로 한 핀터레스트(Pinterest)의 십억 규모 데이터에 대한 광범위한 평가를 수행했습니다.

실험 결과

5단계 SID(레벨당 2048개 코드)를 가진 핀터레스트의 십억 규모 아이템 카탈로그에서 평가한 결과, PrefixMem은 유의미한 개선을 보여주었습니다:

• 레벨별 정확도: 동일한 학습 연산량 대비, PrefixMem은 가장 깊은 단계의 SID 레벨(L4 및 L5) 정확도를 최대 46% 상대적으로 향상시켰습니다(예: Qwen3 1.7B에서 37.6%에서 54.8%로 향상). 레벨 1~3은 거의 변화가 없었으며, 이는 인코더가 조합적 폭발이 발생하는 깊은 단계의 접두사를 타겟팅함을 확인시켜 줍니다.
• 검색 성능: 전체 SID 검색 Recall@100이 최대 22% 상대적으로 향상되었습니다. 이 이점은 빔 너비(beam width)에 따라 단조적으로 증가하며, 이는 인코더가 더 넓은 탐색 공간에서 올바른 경로를 찾아내는 데 도움을 준다는 것을 나타냅니다.
• 어려운 사례(Hard Examples): 이득은 그리디 디코딩(greedy decoding)이 실패하는 "도달 불가능한" 사례들에 집중되었습니다. 이러한 어려운 케이스에서 정확도는 최대 77% 상대적으로 향상되었습니다.
• 희귀 아이템: 인코더는 희귀 아이템(접두사 빈도의 하위 사분위수)에 불균형적으로 큰 혜택을 주었으며, 인기 아이템의 경우 34% 향상된 것에 비해 115% 상대적으로 높은 정확도 향상을 보였습니다. 이는 인코더가 밀집된 트랜스포머 가중치보다 더 샘플 효율적으로 접두사 패턴을 학습할 수 있음을 입증합니다.
• 카탈로그 유효성: 인코더는 환각된(존재하지 않는) SIDs를 줄여 L5 적중률을 50.7%에서 65.1%로 개선했습니다.
• 일반화: PrefixMem을 갖춘 0.6B 모델은 PrefixMem이 없는 4B 모델보다 높은 SID 예측 정확도를 달로했습니다. 또한 인코더는 TIGER(35M 파라미터)와 같은 비-LLM 모델의 성능도 개선하여 L5 정확도를 121% 높였습니다.
• 아키텍처 비교: 4계층 인과적 트랜스포머 인코더(336M 파라미터)는 희소 해시 기반 PrefixMem의 성능을 따라잡지 못했으며, 이는 SID 인코딩이 근본적으로 학습된 계산의 문제라기보다 메모리 용량의 문제임을 시사합니다.

의의 및 주장

본 논문은 SIDs를 전용 인코더가 필요한 일급 모달리티로 취급하는 것이 효율적이고 확장 가능한 생성형 추천을 향한 중요한 단계라고 주장합니다. 외부의 사전 학습 가능한 메모리 테이블로 SID 계층의 조합적 부담을 오프로딩함으로써, PrefixMem은 LLM이 구조를 발견하는 데 에너지를 쓰는 대신 그 구조를 활용하는 데 집중할 수 있게 합니다.

저자들은 이 접근 방식이 LLM 기반 추천을 더 저렴하게 만드는 실질적인 경로를 제공한다고 강조합니다:

• 연산 효율성: 인코더는 무시할 만한 연산 오버헤드(<0.02%의 총 FLOPs)를 추가하며 저렴하게 사전 학습할 수 있습니다.
• 모델 스케일링: 더 작고 비용 효율적인 모델이 이전에는 훨씬 더 큰 모델에서만 가능했던 성능 수준에 도달할 수 있게 합니다.
• 모듈성: 인코더는 아키텍처에 구애받지 않으며, 다양한 LLM 제품군 및 비-LLM 생성 모델 간에 전이될 수 있습니다.

결론적으로, 멀티모달 LLM이 이미지와 오디오를 위한 전용 인코더에 의존하듯, 생성형 추천 시스템 역시 계층적이고 문맥 의존적인 성격을 효과적으로 다루기 위해 SIDs를 위한 전용 인코더가 필요합니다.