기술 요약: 대규모 언어 모델 기반 생성적 추천을 위한 암시적 추론 (Implicit Reasoning for Large Language Model-based Generative Recommendation)

문제 정의

대규모 언어 모델(LLM)은 생성적 추천(Generative Recommendation, GR) 시스템의 백본으로 점점 더 많이 활용되고 있으며, 이는 추천을 조건부 생성 작업으로 프레임화한다: 즉, 사용자의 상호작용 이력이 주어졌을 때 모델이 다음 아이템을 생성하는 방식이다. 이 분야의 핵심적인 과제는 아이템의 표현(representation)이다. 밀집 벡터(dense vectors)를 사용하는 전통적인 시스템과 달리, LLM 기반 GR은 일반적으로 아이템을 아이템의 의미론적 특성에서 유도된 특수 토큰의 짧은 시퀀스인 시맨틱 ID(Semantic IDs, SIDs)로 표현한다.

SIDs는 아이템 생성을 용이하게 만들지만, 근본적인 불일치를 야기한다: LLM은 사전 학습된 세계 지식을 자연어로 접근하는 반면, 추천 작업은 다른 SID 토큰에 조건화된 비언어적 SID 토큰을 생성해야 하기 때문이다. 기존의 접근 방식들은 이러한 간극을 메우기 위해 명시적인 사고 사슬(Chain-of-Thought, CoT) 추론 파이프라인을 사용하려고 시도한다. 이러한 파이프라인은 일반적으로 다음을 포함한다:

1. 지속적 사전 학습 (Continual Pretraining, CPT): SIDs를 자연어 설명에 접지(grounding)시킨다.
2. 지도 미세 조정 (Supervised Fine-Tuning, SFT): 다음 아이템 예측을 위해 학습한다.
3. CoT SFT: 모델이 SID를 예측하기 전에 명시적인 자연어 근거(rationale)를 생성하도록 학습시킨다.
4. 강화 학습 (Reinforcement Learning, RL): 검증 가능한 보상을 사용하여 추천을 최적화한다.

그러나 이러한 파이프라인은 계산 비용이 많이 들며, 각 단계, 특히 명시적인 근거 생성의 필요성이 여전히 명확히 이해되지 않은 상태이다.

방법론: PAUSEREC

명시적 추론의 비효전성과 한계를 해결하기 위해, 저자들은 경량화된 암시적 추론(implicit reasoning) 패러다임인 PAUSEREC를 제안한다. 명시적인 자연어 근거를 생성하도록 강제하는 대신, PAUSEREC는 사용자 이력과 타겟 SID 생성 사이에 학습 가능한 <pause> 토큰 시퀀스를 삽입한다.

PAUSEREC 프레임십은 다음 단계로 작동한다:

1. 지속적 사전 학습 (CPT): 기존 방식과 유사하게, SIDs의 의미론적 기초를 다지기 위해 SIDs와 아이템 설명을 교차 배치한 코퍼스(interleaved corpus) 상에서 LLM을 미세 조정한다.
2. Pause 토큰 사전 학습: <pause> 토큰을 어휘 사전(vocabulary)에 추가하고 모든 토큰 임베딩의 평균값으로 초기화한다. 그 후, <pause> 토큰이 무작위 위치에 삽입된 CPT 코퍼스에서 사전 학습을 진행한다. 오직 <pause> 임베딩만이 학습 가능하도록 하여, 이를 통해 자연어와 SID 표현 사이의 의미론적 가교 역할을 학습하게 한다.
3. 암시적 추론 SFT: 사전 학습된 <pause> 임베딩을 SFT 체크포인트에 로드한다. 학습 중에는 사용자 이력과 타겟 SID 사이에 $k$개의 <pause> 토큰을 삽입한다. 모델은 다음 아이템을 예측하도록 미세 조정되지만, 손실(loss)은 <pause> 위치에서 **마스킹(masked)**된다. 이는 모델이 특정 근거 텍스트를 출력하도록 강요받지 않으면서도, SID 예측을 개선하기 위해 <pause> 토큰을 잠재적 계산 단계(latent computation steps)로 활용하도록 강제한다.
4. 추론 (Inference): 테스트 시에는 고정된 수의 <pause> 토큰을 삽입하고 SID를 자기회귀적으로 디코딩한다. 자연어 추론 텍스트는 생성되지 않는다.

명시적 CoT의 한계에 대한 진단 분석

PAUSEREC를 제안하기 전, 저자들은 명시적 CoT 파이프라인에 대한 진단 분석을 수행하여 성능을 저해하는 세 가지 주요 한계를 식별했다:

1. 세계 지식의 언어화 약화 (Weakened World-Knowledge Verbalization): CoT SFT가 모델의 세계 지식을 삭제하지는 않지만(지식은 로짓(logit) 공간에 남아 있음), 이 지식을 명시적인 자연어로 언어화하는 것을 어렵게 만든다. 일반적인 추론 벤치마크에서의 텍스트 일치 정확도는 CoT SFT 이후 급락하지만, 로짓 기반 정확도는 높게 유지된다.
2. 텍스트-SID 임베딩 불일치 (Text–SID Embedding Misalignment): 학습이 진행됨에 따라 자연어 토큰과 SID 토큰의 임베딩 공간은 기하학적으로 분리된다. 이론적 분석에 따르면, 이러한 분리는 자연어 근거가 올바른 SID 토큰 쪽으로 로짓을 효과적으로 이동시키는 능력을 제한한다.
3. 근거 품질에 대한 민감도 (Sensitivity to Rationale Quality): 추천 성능은 근거의 내용에 따라 매우 취약하다. 카테고리를 제거하거나 노이즈 단어를 추가하는 등의 미세한 섭동(perturbation)만으로도 성능이 크게 저하되며, 이는 명시적 CoT가 견고한 추론보다는 취약한 단서(brittle cues)에 의존함을 나타낸다.

주요 결과

Qwen3-1.7B 백본을 사용하여 세 가지 Amazon 리뷰 데이터셋(Beauty, Sports, Toys)에서 실험을 수행했다. PAUSEREC를 전통적인 순차적 추천 모델, 생성적 검색 모델, 그리고 명시적 CoT 기반 방법(OneRec-Think 포함)과 비교했다.

• 성능: PAUSEREC는 표준 차기 아이템 SFT 및 명시적 CoT 방법보다 일관되게 우수한 성능을 보였다. 특정 지표(예: Toys 데이터셋의 Hit@5)에서 OneRec-Think 대비 최대 6.22%, 차기 아이템 SFT 대비 최대 **8.85%**의 상대적 개선을 달왔다.
• 효율성: 명시적인 근거 시퀀스 생성과 값비싼 RL 사후 학습의 필요성을 제거함으로써, PAUSEREC는 RL 기반 CoT 방법 대비 GPU 시간 기준 약 **65%**의 학습 비용을 절감했다.
• 추론 속도: PAUSEREC는 최종 SID 예측 전의 자연어 추론 토큰을 자기회귀적으로 생성할 필요가 없으므로, 추론 속도를 최대 71.3%(약 3.5배 빠름) 향상시켰다.
• 절제 연구 (Ablation Studies): 텍스트와 SID 공간을 연결하기 위해 <pause> 토큰을 사전 학습하는 것이 매우 중요하다는 점을 확인했다. 또한, 적절한 수의 pause 토큰($k=5$)이 최적의 성능을 보였는데, 이는 잠재적 계산이 몇 단계 후에 포화(saturate)됨을 시사한다.

의의 및 주장

본 논문은 PAUSEREC를 LLM 기반 GR을 위한 명시적 근거 생성의 실용적이고 효율적인 대안으로 자리매김한다. 저자들은 임베딩 불일치와 언어화의 어려움 때문에 명시적 근거가 SID 기반 추천에서 LLM의 지식을 활용하기 위한 "취약한 인터페이스(brittle interface)"라고 주장한다.

명시적 텍스트 생성을 학습 가능한 잠재적 <pause> 토큰으로 대체함으로써, PAUSEREC는 다음과 같은 효과를 거둔다:

• 표현 격차 해소: 중간 텍스트 출력을 요구하지 않고도 자연어와 SID 임베딩 공간을 연결한다.
• 지식 보존: 강제된 언어화와 관련된 성능 저하 없이 모델이 추론을 위해 사전 학습된 세계 지식을 활용할 수 있게 한다.
• 오버헤드 감소: 정답 근거(ground-truth rationales)를 확보하거나 RL을 포함한 복잡한 다단계 파이프라인을 학습해야 하는 계산적 부담을 제거한다.

저자들은 잠재적 토큰을 통한 암시적 추론이 효과적인 LLM 기반 생성적 추천을 가능하게 하는 더 강력하고 효율적인 패러다임이라고 결론짓는다.