기술 요약: LLM 추천 시스템을 위한 수치 및 임베딩 특징의 토큰화

문제 정의

대규모 언어 모델(LLM)은 시퀀스 모델링 및 의미론적 이해 능력 덕분에 추천 시스템의 강력한 백본으로 부상했으나, LLM의 입력 인터페이스와 산업용 추천 파이프라인 사이에는 근본적인 불일치가 존재한다. LLM은 주로 이산적인 텍스트 토큰을 소비하는 반면, 실제 추천 시스템은 상류 엔지니어링이나 사전 학습된 인코더에 의해 생성된 연속적인 수치 특징(예: 가격, 평점) 및 밀집 임베딩 특징에 크게 의존한다.

이 간극을 메우기 위한 기존 전략들—신호를 텍스트로 구어화(verbalizing)하거나, 아이템 표현을 이산화하거나, LLM 인코딩 후에 외부 특징을 추가하는 방식 등—은 규모에 민감한 수치 정보를 모호하게 만들거나, 미세한 연속 신호를 버리거나, 모델 내에서 텍텍스트와 비텍스트 특징 간의 상호작용을 제한하는 경우가 많다. 본 논문은 이러한 이질적이고 비텍설적인 신호들을 연속성을 유지하면서도 사후 처리 없이 LLM 임베딩 공간에 직접 통합하는 과제를 다룬다.

방법론

저자들은 수치 및 임베딩 특징을 LLM의 표준 토큰 인터페이스와 호환되는 "소프트 토큰(soft tokens)"(연속 벡터)으로 매핑하는 소프트 토큰 융합 프레임워크를 제안한다. 이 프레임워크는 공유 파라미터 기반 LLM 2-타워(two-tower) 검색 모델 내에서 구현된다.

1. 소프트 토큰 구축

이 방법은 특정 인코딩 및 압축 전략을 사용하여 비텍스트 특징을 소프트 토큰 시퀀스로 변환한다.

• 임베딩 특징: 아이템 메타데이터 또는 사용자 이력에서 유도된 밀집 임베딩 특징은 먼저 보조 LLM 텍스트 인코더(Qwen3-4B)에 의해 인코딩된다. 시퀀스 길이를 관리하기 위해 연속된 토큰 임베딩에 대해 평균 풀링(mean pooling)이 적용된다. 이후 이 풀링된 임베딩은 Q-Former 어댑터를 사용하여 고정된 수의 임베딩 소프트 토큰으로 압축된다. Q-Former는 학습 가능한 쿼리 토큰을 사용하여 가변 길이의 입력 특징에 어텐션을 수행하며, 정보 병목(information bottleneck) 역할을 한다.
• 수치 특징: 연속적인 수치 특징(특히 가격)은 미세한 값의 차이와 규모 민감성을 보존하기 위해 **푸리에 특징 인코딩(Fourier feature encoding)**을 사용하여 인코딩된다. 인코딩된 값들은 LLM 은닉 차원으로 투영된 후, 전용 수치 Q-Former를 통해 수치 소프트 토큰으로 압축된다.

2. 상호작용 기반 융합

프레임워크의 핵심 구성 요소는 상호작용 기반 융합 모듈이다. 저자들은 단순히 텍스트 토큰, 임베딩 소프트 토큰, 수치 소프트 토큰을 단순히 연결(concatenation)하는 것이 최적이 아님을 발견하였으며, 제안된 방법은 삽입 전 이질적인 소프트 토큰을 정제한다.

• 임베딩 소프트 토큰과 수치 소프트 토큰은 서로 연결되어 경량 트랜스포머 융합 모듈을 통과한다.
• 이 모듈은 어텐션 메커니즘(양방향 또는 단방향 교차 특징 어텐션)을 사용하여 두 특징 유형 간의 관계를 모델링한다.
• 정제된 소프트 토큰은 텍스트 프롬프트 토큰 및 종료 토큰([EOS])과 함께 최종 LLM 입력 시퀀스(Qwen3-0.6B)에 삽입된다.

3. 아키텍처

시스템은 사용자 타워와 아이템 타워가 동일한 LLM 파라미터를 공유하는 2-타워 검색 아키텍처를 채택한다. 각 타워는 [EOS] 토큰에 대한 last-token pooling을 사용하여 융합된 입력 시퀀스를 밀집 검색 표현으로 인코딩한다. 모델은 인배치 네거티브(in-batch negatives)를 사용하는 대조 학습 목적 함수(contrastive objective)로 학습된다.

주요 기여

1. 불일치 식별: 본 논문은 토큰 기반 LLM 입력과 추천 파이프라인의 표준인 연속적 수치/밀집 임베딩 특징 사이의 단절을 명확히 식별하였다.
2. 소프트 토큰 융합 프레임워크: 비텍스트 특징을 LLM 호환 가능한 소프트 토큰으로 변환하여, 이질적인 신호들이 표준 토큰 인터페이스를 통해 소비될 수 있도록 하는 방법을 제안하였다.
3. 상호작용 기반 융합: LLM 인코딩 전 임베딩 유도 소프트 토큰과 수치 소프트 토큰 간의 상호작용을 모델링하는 특정 모듈을 도입하였으며, 이것이 직접 연결 방식보다 우수함을 입증하였다.
4. 실증적 검증: 제안된 프레임워크는 공유 파라미터 2-타워 검색 모델에 구현되었으며, 세 가지 Amazon 추천 벤치마크(Beauty, Sports and Outdoors, Toys and Games)에서 평가되었다.

실험 결과

저자들은 텍스트 전용 LLM 변형, 단일 소스 소프트 토큰 변형, 직접 연결 베이스라인, 그리고 확립된 순차적/생성적 추천 모델(예: SASRec, TIGER)을 포함한 여러 베이스라인과 비교 평가하였다.

• 비텍스트 특징의 효과성: 수치 및 임베딩 소프트 토큰 모두 텍스트 전용 베이스라인보다 성능 향상을 제공했다. 상대적 효용은 데이터셋마다 달랐다(수치 특징은 Beauty와 Sports에서 더 영향력이 컸고, 임베딩 특징은 Toys에서 더 영향력이 컸다).
• 상호작용의 우월성: 이질적인 소프트 토큰의 직접 연결은 일관성이 없었으며 종종 단일 소스 변형보다 성능이 낮았다. 반면, 상호작용 기반 융합 방식은 모든 데이터셋에서 대부분의 지표(Recall@K, NDCG@K)에 대해 최고 또는 공동 최고 성능을 달-성했다.
• 베이스라인과의 비교: 제안된 상호작용 모델은 모든 데이터셋에서 TIGER 베이스라인보다 Recall@10에서 높은 성능을 보였으며, Toys and Games 데이터셋에서 가장 강력한 종합 성능을 달성했다. 또한 GRU4Rec, Caser, HGN과 같은 전통적인 순차 모델을 능가했다.
• 절제 연구(Ablation Studies): 추가 실험을 통해 특정 설계 선택의 필요성을 확인했다:
  • Q-Former 어댑터를 MLP 투영으로 교체할 경우 성능이 크게 저하되었다(Sports에서 R@5가 최대 60% 하락).
  • 푸리에 인코딩을 토크나이저 기반 수치 표현으로 교체하면 성능이 일관되게 감소했다.
  • 단순 프롬프트 연결은 명시적인 소프트 토큰 구축 및 상호작용보다 효과가 떨어졌다.

의의 및 주장

본 논문은 소프트 토큰 융합이 LLM과 특징이 풍부한 추천 시스템 파이프라인을 연결하는 실용적인 인터페이스 역할을 한다고 주장한다. 연속적인 수치 및 밀집 임베딩 특징을 소프트 토큰으로 표현하고 LLM 인코딩 전에 이들의 상호작용을 명시적으로 모델링함으로써, 이 방법은 LLM 기반 추천 모델이 토큰 기반 아키텍처를 유지하면서도 미세한 비텍스트 신호를 활용할 수 있게 한다.

저자들은 이 연구를 작업 특화형 추천 아키텍처에서 벗어나 이질적인 데이터 타입을 네이티브하게 소비할 수 있는 LLM 중심 모델로 나아가는 단계로 규정한다. 저자들은 향후 연구가 추가적인 특징 유형, 더 큰 백본 모델, 그리고 더 현실적인 대규모 스케일의 검색 환경으로 확장될 수 있음을 언급했다. 결과는 비텍스트 특징 간의 관계를 모델링하는 것이 추천 작업에서 LLM의 잠재력을 극대화하는 데 매우 중요하다는 것을 시사한다.