기술 요약: REPREC

문제 정의

순차적 추천(Sequential recommendation)은 사용자의 과거 행동의 연대기적 순서에 기반하여 다음 상호작용을 예측하는 것을 목표로 합니다. 고전적인 모델들(예: 협업 필터링, SASRec, BERT4Rec)은 상호작용 시퀀스로부터 압축된 사용자 표현을 효과적으로 학습하지만, 대규모 언어 모델(LLM)이 가진 의미론적 세계 지식과 지시 이행 능력이 부족합니다. 반대로, LLM을 사용하여 추천을 자연어 작업으로 재구성하는 최근의 접근 방식들은 구조화된 협업 신호를 보존하는 데 어려움을 겪는 경우가 많습니다.

이러한 간극을 메우려는 기존의 솔루션들은 일반적으로 다음과 같은 전략 중 하나 이상에 의 Rely하며, 이는 상당한 배포 트레이드오프를 초래합니다:

• LLM 미세 조정(Fine-tuning): (예: LoRA를 통해) LLM 백본을 추천 작업에 적응시킴.
• 아키텍처 수정: 전용 교차 주의(cross-attention) 모듈을 추가하거나 여러 구성 요소의 공동 최적화를 수행함.
• 아이템 수준 조건화(Item-Level Conditioning): 모든 과거 아이템의 표현을 LLM 입력에 주입하여, 시퀀스 길이와 계산 비용(FLOPs)이 상호작용 이력에 따라 선형적으로 증가하게 함.
• 표현 증류(Representation Distillation): 복잡한 증류 목적 함수를 통해 지식을 전달함.

이러-러한 방법들은 훈련 복잡성, 파라미터 크기, 추론 지연 시간을 증가시켜 모듈성, 확장성, 저지연성이 중요한 프로덕션 환경에는 적합하지 않을 수 있습니다. 본 논문은 다음과 같은 설계 질문을 제기합니다: 고정된(frozen) 순차적 인코더와 고정된 LLM을 오직 경량화된 사용자 수준의 표현 정렬(representation alignment)만으로 연결함으로써, 모듈성을 유지하고 배포 복잡성을 최소화할 수 있는가?

방법론

저자들은 고정된 순차적 추천기와 고정된 LLM을 경량화된 학습 가능 정렬 모듈을 통해 연결하는 REPREC(Representation-driven Parameter-Efficient Recommendation) 프레임워크를 제안합니다. 이 아키텍처는 세 가지 주요 구성 요소로 이루어져 있습니다:

1. 고정된 순차적 인코더 ($f_\theta$): 다음 아이템 예측을 위해 학습된 표준 순차적 추천기(SASRec 또는 BERT4Rec로 인스턴스화됨)입니다. 일단 학습되면 그 파라미터는 고정됩니다. 이는 사용자의 상호작용 시퀀스 $S_u$를 고정된 크기의 $d$-차원 사용자 임베딩으로 매핑합니다.
2. 경량 인젝터 ($g_\phi$): 고정된 크기의 사용자 임베딩을 LLM의 임베딩 공간으로 투영하는 압축된 다층 퍼셉트론(MLP)입니다.
   • 인젝터는 $d$-차원 임베딩을 $m$개의 "소프트 토큰"(조건 벡터) 세트로 매핑하며, 이 토큰들의 차원은 $D$(LLM 은닉 크기)입니다.
   • 변환 과정은 선형 투영, 비선형 활성화 함수(GELU), 그리고 결과 토큰에 적용되는 공유 LayerNorm을 포함합니다.
   • 결정적으로, 인젝터 파라미터 $\phi$만 학습 가능하며, 순차적 인코더와 LLM은 고정된 상태를 유지합니다.
3. 고정된 LLM 백본 ($M$): 후보 아이템을 설명하는 텍스트 프롬프트 앞에 주입된 소프트 토큰을 받는 사전 학습된 LLM(예: LLaMA, Qwen)입니다. LLM은 후보 아이템이 관련 있는지 여부를 판단하기 위해 이진 분류(Yes/No)를 수행합니다.

학습 과정:
시스템은 이진 결정 프롬프트를 사용하여 학습됩니다. 사용자 토큰 $Z = g_\phi(u)$는 프롬프트 임베딩 $E_{prompt}$와 결합되어 입력 $E_{input} = [Z; E_{prompt}]$를 형성합니다. LLM은 답변 토큰에 대한 로짓(logits)을 생성하며, 교차 엔트로피 손실(cross-entropy loss)은 오직 답변 위치에서만 계산됩니다. 그래디언트는 고정된 LLM 활성화를 통해 역전파되어 오직 인젝터 파라미터 $\phi$만을 업데이트합니다.

주요 기여

• 파라미터 효율성: REPREC는 LLM 백본이나 순차적 인코더를 미세 조정할 필요가 없습니다. 적응은 작은 MLP 인젝터에 국한되며, 이는 LoRA나 전체 미세 조정에 비해 학습 가능한 파라미터 수를 크게 줄여줍니다.
• 모듈성 및 호환성: 이 프레임워크는 인코더 불가지론적(encoder-agnostic)이며 백본 불가지론적(backbone-agnostic)입니다. 내부 아키텍처를 수정하지 않고도 다양한 순차적 인코더(SASRec, BERT4Rec) 및 LLM(LLaMA, Qwen)과 통합될 수 있습니다.
• 사용자 수준 정렬: 이력 길이에 따라 스케일링되는 아이템 수준 조건화 방식과 달리, REPREC는 전역 사용자 표현으로부터 유도된 고정된 수의 소프트 토큰($m$)을 사용하여 상호작용 이력 크기에 관계없이 일정한 추론 지연 시간을 보장합니다.
• 희소 데이터에 대한 일반화: 이 방법은 순차적 인코더로부터 협업 신호를 LLM으로 전달하도록 특별히 설계되었으며, 이는 상호작용 이력이 적은 사용자에게 특히 유익합니다.

실험 결과

저자들은 다섯 가지 Amazon 제품 리뷰 데이터셋(Beauty, Sports, Toys, Pet Supplies, Tools)에 대해 Zero-shot LLM, Frozen Injector, LoRA-FT, LLaRA를 포함한 베이스라인들과 함께 REPREC를 평가했습니다.

• 전반적인 성능: REPREC는 단독 순차 모델(SASRec, BERT4Cl) 및 Zero-shot LLM보다 일관되게 우수한 성능을 보였습니다. 동일한 파라미터 예산 하에서, REPREC는 모든 데이터셋과 LLM 백본(LLaMA 및 Qwen)에 대해 LoRA-FT 및 LLaRA의 성능을 대등하게 능가하거나 초과했습니다.
• 사용자 군집 분석:
  • 캐주얼 및 코어 사용자: REPREC는 짧은 상호작용 이력(0–20회)을 가진 사용자들에 대해 LoRA보다 유의미한 이득을 보여줍니다. 주입된 사용자 표현은 LLM이 결여하고 있는 가치 있는 협업 신호를 제공합니다.
  • 파워 사용자: 긴 이력(>20회)을 가진 사용자의 경우, REPREC와 LoRA 사이의 성능 격차가 좁혀지며 REPREC는 대등한 성능을 보입니다.
• 효율성 및 학습/추론 트레이드오프:
  • 학습 속도: REPREC를 학습시키는 것은 LoRA보다 훨씬 빠릅니다.
  • 단기-장기 일반화: 저자들은 짧은 프롬프트 이력($\ell=10$)으로 학습하고 긴 컨텍스트($\ell=50$)로 평가하는 실험을 진행했습니다. 짧은 이력으로 학습하는 것이 파워 사용자의 성능을 저하시키지만, 하이브리드 접근 방식(짧게 학습하고 길게 테스트)을 사용하면 파워 사용자에 대해 Lo-RA 성능의 85~100%를 회복하면서 에폭당 평균 학습 시간을 1.51배 단축할 수 있습니다.
• Ablation 연구: 연구는 단순히 학습되지 않은 소프트 토큰을 전치하는 것(Frozen Injector)만으로는 불충분하며, 학습된 정렬이 필수적임을 확인했습니다. 또한, 소프트 토큰과 텍스트 상호작용 이력을 결래하는 것이 소프트 토큰만 사용하는 것보다 더 나은 결과를 얻었습니다.

의의 및 주장

본 논문은 REPREC가 LLM 기반 추천 시스템에 협업 신호를 통합하는 단순하고, 모듈적이며, 실용적인 접근 방식을 확립한다고 주장합니다. 이 논문의 주요 의의는 고품질의 순차적 추천을 위해 복잡한 아키텍처 변경이나 비용이 많이 드는 LLM 미세 조정이 필요하지 않다는 점을 입증했다는 데 있습니다.

협업 신호 추출(고정된 인코더)을 경량화된 정렬 레이어를 통해 언어 추론(고정된 LLM)과 분리함으로써, REPREC는 추천 품질과 계산 효율성의 균형을 맞춘 프로덕션 친화적인 파이프라인을 제공합니다. 저자들은 이 접근 방식이 실제 시스템의 대다수를 차지하는 "롱테일" 사용자(캐주얼 및 코어 사용자)에게 특히 효과적임을 강조하며, 데이터 희소성이 흔한 문제인 환경에서 유용함을 시사합니다. 이 연구는 사용자 수준의 표현 정렬이 추천 시나리오에서 백본 적응을 위한 유망한 대안이 될 수 있음을 보여줍니다.