기술 요약: LLM 기반 교차 도메인 순차 추천을 위한 SharpRec

1. 문제 정의

교차 도메인 순차 추천(Cross-Domain Sequential Recommendation, CDSR)은 보조 도메인의 상호작용 데이터를 활용하여 타겟 도메인의 추천 성능을 향상시키는 것을 목표로 합니다. 대규모 언어 모델(LLM)은 심층적인 의미론적 추론 능력과 비중첩 사용자 간의 격차를 메우는 능력을 바탕으로 CDSR을 위한 강력한 도구로 부상했으나, 기존 패러다임은 다음과 같은 중대한 한계에 직면해 있습니다:

• LLM 강화 접근 방식은 의미론적-협업 정렬 불일치(semantic-collaborative misalignment) 문제를 겪습니다. 즉, 아이템을 단일한 의미 공간으로 강제 통합하는 과정에서 동적인 선호도 모델링이 왜곡됩니다.
• LLм 기반 접근 방식(예: 통합 인스트럭션 튜닝)은 도메인 간의 데이터 분포 충돌 문제를 겪으며 유연성이 부족합니다. 도메인이 업데이트될 때마다 비용이 많이 드는 전체 모델 재학습이 필요하기 때문입니다.
• **모델 병합(Model Merging)**은 재학습 없이 도메인 특화 어댑터(예: LoRA)를 통합하는 유망한 대안이지만, 현실적이고 이질적인 CDSR 시나리오에 적용될 때 두 가지 결정적인 경험적 병목 현상에 부딪힙니다:
  1. 교차 도메인 지식 충돌: 서로 다른 도메인(예: 스포츠와 장난감) 간의 모델을 병합하면 심각한 파라미터 간섭이 발생합니다. 경험적 분석에 따르면, 독립적인 미세 조정(fine-tuning)은 모델을 기하학적으로 호환되지 않는 "날카로운 최솟값(sharp minima)"에 가두어, 단순한 선형 가중치 튜닝으로는 해결할 수 없는 부정적 전이(negative transfer)를 유발합니다.
  2. 다중 도메인 융합에서의 성능 포화: 소스 도메인의 수가 증가함에 따라 성능 이득이 급격히 감소합니다. 이는 "통계적 균질화(statistical homogenization)" 때문인데, 선형 집계가 평균 필터 역할을 하여 돌출된 고진폭 파라미터(outliers)를 일반적이고 특징이 빈약한 가우시안 분포로 매끄럽게 만들어 버림으로써, 복잡한 교차 도메인 선호도를 포착하는 데 필수적인 고차 신호를 지워버리기 때문입니다.

2. 방법론: SharpRec

이러한 병목 현상을 해결하기 위해 저자들은 병합된 LLM 기반 CDSR 모델의 성능 상한선을 높이기 위해 설계된 프레임워크인 SharpRec(Sharpness-aware Model Merging with Salience Recovery)을 제안합니다. 이 프레임워크는 두 개의 시너지 효과를 내는 모듈로 구성됩니다.

A. Sharpness-aware Geometric Alignment (SGA)

SGA는 도메인 특화 모델들이 병합 전 연결된 저손실 분지(low-loss basins) 내에 존재하도록 보장함으로써 기하학적 불호환성(Challenge 1)을 해결합니다.

• 메커니즘: 표준 미세 조정 대신, SGA는 날카로움 인식 최적화(sharpness-aware optimization) 목적 함수를 채택합니다. 이는 병합 과정을 최악의 경우를 가정한 확률적 섭동(stochastic perturbation)으로 취급하여, 모델을 "날카로운 최솟값"이 아닌 "평탄한 최솟값(flat minima)"으로 유도합니다.
• 목적: 최적화 과정은 원래의 파라미터와 반경 $\rho$ 내의 섭동된 파라미터 사이의 손실 차이를 최소화합니다. 이를 통해 집계된 파라미터가 병합으로 인한 변화 속에서도 안정성을 유지하도록 합니다.
• 이론적 근거: 저자들은 병합 간섭 오차가 도메인 발산과 손실 날카로움의 곱에 의해 제한됨을 증명합니다. 날카로움($\sigma(\theta)$)을 최소화함으로써, SGA는 이론적으로 병합 경로가 저손실 영역 내에 머물도록 보장하여 부정적 전이를 완화합니다.

B. Preference Salience Activation (PSA)

PSA는 융합 후 파라미터 분포를 재구성함으로써 통계적 균질화(Challenge 2)를 해결합니다.

• 메커니즘: 어댑터의 초기 선형 집계 후, PSA는 비선형 재매개변수화(reparameterization) 전략을 적용합니다. 먼저 가우시안 노이즈를 빼서 파라미터를 고밀도 평균으로부터 멀어지게 하는 확률적 디스인탱글먼트(stochastic disentanglement)를 도입합니다.
• 변환: 그 다음, 큰 진폭의 이상치를 증폭하고 0에 가까운 노이즈를 억제하는 요소별 비선형 투영 함수 $T(\cdot)$를 적용합니다. 이 과정은 분포를 좁은 가우시안 형태에서 다시 **헤비 테일 분포(heavy-tailed distribution)**로 변환합니다.
• 목표: 이 과정은 선형 평균에 의해 소멸되기 쉬운, 도메인 특화 전문성을 인코딩하는 "두드러진 선호 신호(salient preference signals, 고진폭 가중치)"를 복구합니다.
• 이론적 근거: 저자들은 이 헤비 테일 분포가 모델의 기능적 공간 커버리지(Jacobian determinant로 측정)를 확장하여, 선형 융합이 억제하는 복잡한 롱테일 사용자 관심사를 포착할 수 있게 함을 입증합니다.

3. 주요 기여

1. 새로운 프레임워크: 날카로움 인식 최적화와 분포 복구를 통합하여 견고하고 확장 가능한 지식 전이를 달성하는 새로운 LLM 기반 CDSR 패러다임인 SharpRec을 제안했습니다.
2. 기술적 솔루션:
   • SGA: 모델을 평탄한 최솟값으로 유도하여 기하학적 불호환성을 해결하고 교차 도메인 파라미터 간섭을 완화하는 방법입니다.
   • PSA: 두드러진 선호 신호를 재활성화하여 성능 상한을 높이고 다중 도메인 융합에서의 포화를 완화하는 비선형 재매개변수화 기술입니다.
3. 경험적 검증: 듀얼 도메인 및 다중 도목 시나리오 전반에 걸친 광범별 실험을 통해, SharpRec이 전통적인 CDSR 방법, LLM 강화 접근 방식, 기존 모델 병합 기술을 포함한 최신 베이스라인들을 일관되게 능가함을 보여주었습니다.

4. 실험 결과

저자들은 Amazon Review 2023 데이터셋의 7개 도메인(Book, Movie, Food, Kitchen, Sport, Toy, Clothing)에서 SharpRec을 평가했습니다.

• 전반적인 성능 (RQ1): SharpRec은 6개의 모든 교차 도메인 작업(예: Book$\to$Movie, Sport$\to$Toy)에서 최첨단(SOTA) 결과를 달성했으며, WeaveRec, X-Cross, LLM4CDSR와 같은 베이스라인을 크게 앞질렀습니다. 예를 들어, Book$\to$Movie 작업에서 SharpRec은 79.93%의 NDCG@5를 달성했는데, 이는 WeaveRec의 40.77%와 대조적입니다.
• 확장성 (RQ2): 다중 도메인 설정(최대 7개 소스 도메인 통합)에서 베이스라인 방법들은 3~4개 도메인 이후 성능이 급격히 포화되는 양상을 보였습니다. 반면, SharpRec은 견고한 상승 곡선을 유지하며 지속적인 이득을 달성했습니다 (예: 7개 도메인을 사용하는 Food 작업에서 WeaveRec 대비 +51.4% 개선).
• 절제 연구 (RQ3): SGA를 제거하면 파라미터 간섭으로 인해 성능이 심각하게 저하되었고, PSA를 제거하면 다중 도메인 설정에서 성능 포화가 발생했습니다. 이는 두 모듈의 필요성을 확인시켜 줍니다.
• 강건성 (RQ5): SharpRec은 다양한 사용자 중첩 비율(20% ~ 80%)에서도 안정적인 성능을 보였으며, 전통적인 CDSR 방법을 괴롭히는 "중첩 딜레마(overlap dilemma)"를 효과적으로 우회했습니다.

5. 의의 및 주장

본 논문은 기존 모델 병합 방법의 CDSR 효과가 기하학적 파라미터 간섭과 선호 신호의 통계적 균질화에 의해 근본적으로 제한된다고 주장합니다.

SharpRec의 의의는 다음과 같은 능력을 갖추고 있다는 점에 있습니다:

• 확장성 한계 돌파: 문제의 근본 원인인 포화와 충돌을 해결함으로써, SharpRec은 이전 CDSR에서 제한적이었던 다양한 보조 도메인의 효과적인 통합을 가능하게 합니다.
• 데이터 밀도로부터 성능 분리: 의미론적 정렬과 기하학적 복구를 활용함으로써, 이 프레임워크는 사용자 중첩이 최소한인 시나리오에서도 효과적인 지식 전이를 보장하여 명시적인 공생 신호에 대한 의존도를 낮춥니다.
• 견고한 패러다임 제공: 본 연구는 선형 집계와 경직된 표현 정렬의 한계를 넘어, 추천 시스템에서 오픈 월드 지식을 활용하기 위한 확장 가능하고 효율적인 솔루션을 제공합니다.

저자들은 SharpRec이 병합된 모델이 복잡한 추론과 선호도 모델링에 필요한 독특한 고차 특징을 유지하도록 보장함으로써, 교차 도메인 시나리오에서 LLM을 더욱 효율적으로 활용할 수 있는 길을 열었다고 결론짓습니다.