기술 요약: SPECTRA

문제 정의

사용자 선호도를 모델링하기 위한 현재의 대규모 언어 모델(LLM) 접근 방식은 주로 모델이 순위가 매겨진 아이템 리스트를 자기회귀적으로 디코딩하는 직접 생성(Direct Generation, DG) 방식에 의존합니다. 저자들은 이 패러다임이 두 가지 결정적인 한계를 가진다고 주장합니다:

1. 불투명성(Opacity): 모델의 출력은 단일 리스트 형태이며 구조화된 분포가 아니기 때문에, 모델의 내부 선호 상태가 숨겨진 상태로 남게 됩니다.
2. 편향 및 정보 손실(Bias and Information Loss): 자기회귀적 디코딩은 소수 및 롱테일(long-tail) 선호도를 체계적으로 억제합니다. 이론적 분석에 따르면, 일단 특정 카테로리가 디코딩된 리스트에서 누락되면, 해당 리스트만을 근거로 도출된 모든 다운스트림 분포는 해당 카테고리에 확률 질량(probability mass)을 할당할 수 없습니다. 이는 디코딩 과정에서의 빈도 편향(frequency bias)으로 인해 롱테일 선호도가 규모가 커질수록 누적되어 손실되는 결과를 초래하며, 결과적으로 헤드(head) 카테고리를 선호하게 만듭니다.

기존 방법들은 사용자 상태를 임베딩으로 압축하거나 아이템 수준의 근거(rationale)를 생성하기도 하지만, 의미론적으로 유의미한 카테고리(예: 영화 장르, 음식점 유형)에 대한 명시적이고 해석 가능한 확률 분포를 제공하는 데는 실패합니다.

방법론: SPECTRA

저자들은 SPECTRA(Softmax Probing for Extracted Category-level Token Readouts and Analysis)를 제안합니다. 이 프레임워크는 파인튜닝된 LLM을 암시적 확률 모델로 취급하여 카테고리에 대한 확률 분포를 추출합니다.

핵심 파이프라인

1. 정렬 (CPT + LoRA SFT):

   • 연속 사전 학습 (Continuous Pretraining, CPT): LLM이 도메인 컨텍스트를 학습할 수 있도록 텍스트화된 사용자 메타데이터, 아이템 메타데이터 및 상호작용 트레이스(interaction traces)를 통해 사전 학습을 진행합니다.
   • 지도 학습 기반 파인튜닝 (Supervised Fine-Tuning, SFT): 모델이 단일 다음 아이템을 예측하는 대신, 고정된 $K$개 카테고리에 대한 사용자의 장기적 선호 분포를 예측하도록 LoRA를 사용하여 파인튜닝합니다. 타겟은 미래 상호작용의 경험적 분포(empirical distribution)입니다.

2. 추론 (Probing):
   리스트를 생성하는 대신, SPECTRA는 모델의 로짓(logits)을 프로빙하여 각 카테고리 $c_j$에 대한 점수를 계산합니다. 두 가지 주요 방법이 사용됩니다:

   • 우도 기반 프로빙 (Likelihood-based Probing): 특정 카테고리에 대해 예/아니오 질문을 던집니다. 점수 $S_j$는 긍정 토큰(예: "Yes")의 평균 로그 로짓과 부정 토큰(예: "No")의 로그 로짓 간의 차이입니다.
   • 생성형 분류 (Generative Classification): 다중 선택 프롬프트를 통해 모델이 카테고리를 선택하게 합니다. 점수 $S_j$는 해당 답변 토큰의 로짓입니다.
   • 출력: 이 점수들에 소프트맥스(softmax)를 적용하여 카테고리 수준의 선호 분포 $\theta_S$를 생성합니다.

3. 계층적 스케일링 (Hierarchical Scaling):
   대규모 카테고리 공간(예: $K > 1,000$)의 경우 계층적 파이프라인이 사용됩니다. 모델은 먼저 거친 입도의 카테고리(Level 1)를 프로빙한 후, 확률이 높은 브랜치 내에서만 미세한 하위 카테고리(Level 2)를 프로빙하여 분포를 정교화함으로써 계산 비용을 $O(K)$에서 $O(|L_1| + \sum |L_2|)$로 줄입니다.

이론적 기초

본 논문은 SPECTRA와 DG를 비교하는 이론적 보증을 제공합니다:

• 정리 1 (랭킹 우위): SPECTRA의 리드아웃(readout)이 실제 분포와 비교하여 유계된 오차(bounded error)를 갖고 실제 top-$k$ 카테고리 간의 랭킹 격차가 충분하다면, SPECTRA는 실제 top-$k$를 정확하게 복구합니다. 반면, DG는 구조적으로 디코딩된 리스트 외부의 카테고리를 복구할 수 없습니다.
• 정리 2 (DG 실패 모드): 디코딩 확률이 토큰 빈도에 의해 증폭되는 빈도 편향 디코딩 체제 하에서, DG가 top-$k$ 리스트에서 희귀(tail) 카테고리를 놓칠 확률은 하한(lower bound)이 존재합니다. 이는 SPECTRA가 DG보다 엄격히 우월한 성능을 보이는 체제를 공식적으로 규명합니다.

주요 기여

1. 방법론적 전환: 사용자의 선호도를 랭크된 아이템 리스트를 디코딩하는 것이 아니라, 카테데리 분포로서 LLM의 로짓을 프로빙하는 방식을 제안합니다.
2. 경험적 및 이론적 검증: 프로빙이 직접 생성(DG) 베이스라인보다 더 충실한 선호 분포와 더 나은 롱테일 커버리지를 제공함을 입증합니다. 이론적 결과는 SPECTRA가 실제 top 카테고리를 복구하는 반면, 희소한 리스트 디코딩은 빈도 편향 하에서 롱테일 카테고리를 반드시 놓친다는 것을 보여줍니다.
3. 해석 가능성에 미치는 영향: 소수 선호도를 보존하는 명명된 카테고리 분포를 전달함으로써, 구조화되고 감사 가능하며 재사용 가능한 선호도 모델링의 경로를 제시합니다.

실험 결과

저자들은 MovieLens (19개 장르), Yelp (26개 도메인, 1,311개 하위 카테고리), 그리고 대규모 숏폼 비디오 플랫폼 (78개 카테고리, 5천만 건의 상호작용)에서 SPECTRA를 평가했습니다.

1. 분포적 정렬 (Distributional Alignment)

• SPECTRA는 DG에 비해 경험적 선호 분포에 대한 젠슨-샤논(Jensen-Shannon, JS) 발산(divergence)을 유의미하게 감소시킵니다.
• 감소 수치: 공공 데이터셋 전반에서 JS 발산의 상대적 감소율은 38~44%입니다 (예: MovieLens에서 0.51에서 0.32로 감소).
• 메커니즘: 이러한 개선은 DG가 0으로 만드는 롱테일 카테고리에 확률 질량을 할당하는 동시에, 헤드 카테고리의 실제 빈도에 가깝게 유지함으로써 발생합니다.

2. 롱테일 복구 및 공정성

• 엔트로피: SPECTRA는 MovieLens에서 top-3 카테고리 노출 엔트로피를 23% 증가시켜, 더 다양한 top 픽(picks)을 보여줍니다.
• 사용자 간 공정성: 이 이득은 헤드 선호 사용자에게만 집중되지 않습니다. SPECTRA는 틈새(niche) 선호도를 가진 사용자들에게서 JS 발산을 더 크게 감소시켰습니다 (MovieLens에서 헤드 지향 사용자 대비 테일 지향 사용자의 JS 발산 감소 폭이 1.28배 더 큼).
• 편향 구조: SPECTRA는 체계적으로 헤드 카테고리를 과소 예측하고 테일 카테고리를 과대 예측함으로써, 실제 분포를 복구하기 위해 질량을 재분배합니다.

3. 다운스트림 애플리케이션 가치

• 랭킹 품질: SPECTRA는 MovieLens와 Yelp에서 DG 대비 카테고리 랭킹 NDCG를 41~46% 향상시켰습니다.
• 산업 현장 배포: 숏폼 비디오 플랫폼에서 SPECTRA는 헤드 최적화 랭커(ranker) 대비 롱테일 카테고리 랭킹의 NDCG@20을 7배 개선했습니다.
• 통합: 고전적 추천 시스템(SASRec, GRU4Rec)의 카테고리 사전(prior)으로 사용되었을 때, SPECTRA는 중간 인기도 아이템 슬라이스에서 상당한 리프트(최대 62%)를 제공했습니다.

4. 강건성 (Robustness)

• 결과는 다양한 컨텍스트 윈도우 크기, 사용자 활동 수준, 그리고 베이스 모델(Qwen3-8B 및 DeepSeek-R1-Distill-Llama-8B) 전반에서 일관되게 나타납니다.
• 이 방법은 프롬프트 템플릿 및 버벌라이저(verbalizer) 선택의 변화에도 강건합니다.

의의 및 주장

본 논문은 SPECTRA가 더 해석 가능하고 균형 잡힌 사용자 선호도 모델링을 위한 이론적 근거를 갖춘 접근 방식을 제공한다고 주장합니다. 생성적 디코딩에서 벗어나 소프트맥스 프로빙을 사용함으로써, 리스트 생성에 내재된 구조적 정보 손실을 피합니다.

저자들은 자신의 접근 방식이 **체제 조건적(regime-conditional)**임을 강조합니다. 즉, 희소한 디코딩 리스트가 지원 집합(support) 외부의 카테고리를 표현할 수 없는 특정 실패 모드를 분리해 냈습니다. 이 체제에서 SPECTRA는 입증 가능한 우위를 제공합니다. 결과물인 분포는 단순한 랭킹 신호가 아니라 검사 가능하고, 코호트 간 비교가 가능하며, 결합 가능한(composable) 형태로, LLM 기반 선호도 모델링의 "블랙박스" 문제를 해결합니다.

연구는 고정된 택소노미(taxonomy)와 오프라인 평가에 집중하고 있다는 한계를 인정합니다. 향후 연구에서는 더 넓은 디코딩 전략을 탐색하고, 캐싱된 카테고리 분포가 사용자 경험에 미치는 장기적인 영향을 평가할 것을 제안합니다.