Continual Low-Rank Adapters for LLM-based Generative Recommender Systems

이 논문은 사용자와 아이템의 변화에 따른 추천 시스템의 지속적 학습 문제를 해결하기 위해, 최신 고정된 어댑터 상태를 기준점으로 하여 적응과 보존을 유연하게 조절하는 'PESO'라는 새로운 LoRA 기반 방법을 제안하고 그 우수성을 입증합니다.

핵심

🎬 비유: "추천 시스템은 constantly 변하는 '취향의 여행가'"입니다

상상해 보세요. 당신은 평생 여행을 다니는 **추천 시스템 (여행가)**입니다.

• 과거: 10 년 전에는 주로 '산책'과 '독서'를 좋아했습니다.
• 현재: 최근에는 '스키'와 '코딩'에 푹 빠졌습니다.

이 여행가가 계속 성장하려면 두 가지가 필요합니다.

1. 안정성 (Stability): 10 년 전의 '독서' 취향은 여전히 유효하니까 잊지 말아야 합니다.
2. 유연성 (Plasticity): 하지만 '스키'라는 새로운 취향을 빠르게 받아들여야 합니다.

🚫 기존 방법들의 문제점

기존의 연구자들은 이 문제를 해결하기 위해 두 가지 방식을 썼는데, 둘 다 문제가 있었습니다.

1. "완전히 새로 시작하기" (Single Evolving LoRA)

• 상황: 새로운 취향 (스키) 을 배우기 위해 과거의 모든 노트 (독서) 를 지우고 새 노트만 씁니다.
• 결과: 새로운 취향은 잘 따라가지만, 예전에 좋아하던 '독서' 취향은 완전히 잊어버립니다. (과거를 잊어버림)

2. "모든 노트를 쌓아두기" (Cumulative LoRA)

• 상황: 과거의 모든 노트 (독서, 산책, 스키 등) 를 책장에 꽂아두고, 새로운 취향이 생기면 그 위에 또 다른 노트를 얹습니다.
• 결과: 과거 취향은 잊지 않지만, 책장이 너무 두꺼워져서 어떤 노트가 지금 가장 중요한지 구별하기 어렵습니다. 게다가 과거의 '산책' 취향이 지금의 '스키' 취향과 섞여서 추천이 엉망이 되기도 합니다. (과거와 현재가 뒤섞여 혼란스러움)

✨ 이 논문의 해결책: PESO (프로시멀 정규화 단일 진화 LoRA)

이 논문은 **"한 권의 다이어리를 유지하되, 과거의 기록을 '가볍게' 기억하는 방식"**을 제안합니다. 이를 PESO라고 부릅니다.

📖 PESO 의 작동 원리: "가장 최근의 다이어리"

PESO 는 과거의 모든 노트를 쌓아두지 않고, 오직 '가장 최근의 다이어리' 한 권만 유지합니다. 하지만 이 다이어리를 업데이트할 때 두 가지 규칙을 따릅니다.

1. 새로운 취향 (플라스틱) 을 받아들이다:
   • 사용자가 갑자기 '스키'를 좋아하면, 다이어리에 '스키'를 크게 적습니다. (데이터가 강력하게 지지할 때)
2. 과거의 취향 (안정성) 을 지키다:
   • 하지만 다이어리를 쓸 때, **"어제 썼던 내용과 너무 멀어지지 말자"**는 규칙을 둡니다.
   • 만약 '독서' 취향이 여전히 유효하다면 (최근 데이터에서도 독서 언급이 있다면), 다이어리를 쓸 때 '독서' 부분을 지우지 않고 유지합니다.
   • 만약 '산책' 취향이 완전히 사라졌다면 (최근 데이터에 산책 언급이 전혀 없다면), 자연스럽게 '산책' 부분을 지워버립니다.

🧠 핵심 비유: "나침반과 등산로"

• 기존 방법 (누적 방식): 등산로를 따라가다가, 과거에 걷던 모든 길 (산책로, 독서길) 을 모두 등산로에 표시해 둡니다. 하지만 등산로가 너무 복잡해져서 지금 어디로 가야 할지 모릅니다.
• PESO 방식: **가장 최근의 등산로 (현재의 취향)**만 따라가되, **나침반 (과거의 상태)**을 손에 들고 있습니다.
  • 나침반이 "여기는 과거에 좋았던 곳이야"라고 알려주면, 그 방향을 살짝 유지합니다.
  • 하지만 나침반이 "여기는 이제 쓸모없어"라고 알려주면, 과감하게 길을 바꿉니다.
  • 이 나침반은 **데이터 (사용자의 행동)**가 강하게 지지할 때만 길을 바꾸고, 그렇지 않으면 과거의 길을 따라가게 해줍니다.

💡 왜 이 방법이 좋은가요?

1. 효율성: 과거의 모든 데이터를 저장할 필요가 없으니 메모리도 적게 쓰고 빠릅니다. (한 권의 다이어리만 관리)
2. 지능적인 선택: "무엇을 잊고, 무엇을 기억할지"가 자동으로 결정됩니다.
   • 사용자가 갑자기 취향을 바꿨을 때는 빠르게 적응합니다.
   • 사용자가 오랫동안 좋아하던 취향은 잊지 않고 유지합니다.
3. 실제 효과: 실험 결과, 이 방법은 기존 방법들보다 사용자가 다음에 무엇을 원할지 더 정확하게 예측했습니다.

🏁 한 줄 요약

**"과거의 모든 것을 기억하려 애쓰거나, 과거를 완전히 잊어버리는 대신, '가장 최근의 기억'을 유지하면서 과거의 흔적을 '가볍게' 참고하여, 사용자의 변하는 취향에 가장 똑똑하게 맞춰주는 추천 시스템"**을 만들었습니다.

이 기술은 우리가 좋아하는 음악, 영화, 상품을 추천받을 때, "아, 이 시스템은 내가 예전에 좋아했던 것도 기억하면서도, 요즘 내가 새로 좋아한 것도 잘 알고 있네!"라고 느끼게 해줄 것입니다.

기술 요약

이 논문은 **LLM 기반 생성형 추천 시스템 (Generative Recommender Systems)**을 위한 지속적 학습 (Continual Learning) 문제를 다루며, 사용자 선호도의 시간에 따른 변화를 효과적으로 포착하기 위한 새로운 방법론인 **PESO (Proximally rEgularized Single evolving lOra)**를 제안합니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

• 배경: 대형 언어 모델 (LLM) 은 사용자의 상호작용 히스토리를 기반으로 다음 아이템을 생성하는 방식으로 추천 시스템에 적용되고 있습니다. 그러나 실제 환경에서는 새로운 사용자와 아이템이 등장하고, 사용자의 선호도가 지속적으로 변화 (Drift) 합니다.
• 기존 방법의 한계:
  • 단일 진화 LoRA (Single Evolving LoRA): 이전 단계의 LoRA 파라미터를 초기값으로 사용하여 새로운 데이터로 미세 조정하는 방식입니다. 이는 새로운 선호도에 대한 적응성 (Plasticity) 은 좋지만, 과거의 유용한 지식을 덮어씌워 망각 (Forgetting) 이 발생하는 문제가 있습니다.
  • 누적 LoRA (Cumulative LoRA): 컴퓨터 비전 분야에서 성공적으로 사용된 방식으로, 과거의 모든 고정된 (Frozen) 어댑터와 새로운 어댑터를 합산하여 사용합니다. 이는 안정성 (Stability) 을 높이지만, 추천 시스템에서는 사용자 선호도가 연속적으로 진화한다는 특성상, 과거의 어댑터가 낡은 선호도와 최신 선호도를 혼재시켜 오히려 적응을 방해하고 저장 비용을 증가시킵니다.
• 핵심 과제: 추천 시스템의 지속적 학습은 단순히 과거 작업을 보존하는 것이 아니라, **과거의 장기적 선호도 (Stability)**와 최근의 변화된 선호도 (Plasticity) 사이의 균형을 잡는 것이 핵심입니다.

2. 제안 방법: PESO (Methodology)

저자들은 여러 어댑터를 누적하는 방식 대신, 단 하나의 진화하는 LoRA 어댑터를 유지하면서 이를 과거 상태에 가깝게 묶어두는 (Anchoring) **근접 정규화 (Proximal Regularization)**를 도입했습니다.

• 핵심 아이디어:
  • 현재 어댑터 ($v_t$) 와 직전 단계의 어댑터 ($v_{t-1}$) 사이의 거리를 제어하는 정규화 항을 손실 함수에 추가합니다.
  • 손실 함수: $L_t = L_{data} + \lambda \cdot \text{Proximal}(v_t, v_{t-1})$
    • $L_{data}$: 현재 데이터에 대한 적합도 (Cross-entropy).
    • $\text{Proximal}$: 현재 파라미터가 직전 상태와 너무 멀어지지 않도록 하는 항.
• 구현 (Softmax-KL Proximal):
  • 단순한 L2 거리 대신, 모듈별 (Per-module) Softmax-KL 발산을 근접 항으로 사용합니다.
  • 이는 모든 파라미터를 균일하게 처리하는 대신, 각 모듈 내부의 구조와 이전 상태의 분포를 고려하여 정규화 강도를 조절합니다. 즉, 중요한 모듈 구조를 보존하면서도 데이터가 강력하게 지지하는 방향으로는 유연하게 적응할 수 있게 합니다.
• 이론적 근거:
  • 이론적 분석을 통해, 제안된 근접 정규화가 LoRA 부분 공간 내에서 데이터 인식적 (Data-aware) 인 방향별 (Direction-wise) 가이드를 제공함을 보였습니다.
  • 현재 데이터가 특정 방향을 강력하게 지지하면 (고유값이 큼) 해당 방향으로 빠르게 적응하고, 데이터의 지지가 약하면 이전 상태를 유지하도록 동작합니다.

3. 주요 기여 (Key Contributions)

1. 분석: 추천 시스템의 지속적 학습에서 '누적 LoRA'가 사용자 선호도가 진화하는 자연스러운 시나리오에서는 오히려 성능이 저하됨을 실증적으로 규명했습니다.
2. 방법론 및 이론: PESO 를 제안하고, 근접 정규화가 어떻게 안정성과 적응성 사이의 균형을 데이터에 따라 자동으로 조절하는지에 대한 이론적 증명을 제시했습니다.
3. 실험: 다양한 실제 데이터셋 (Amazon Musical Instruments, Movies & TV, Books) 에서 PESO 가 기존 단일 진화 LoRA 및 누적 LoRA 계열 방법들보다 일관되게 우수한 성능을 보임을 입증했습니다.

4. 실험 결과 (Results)

• 성능: PESO 는 Musical Instruments, Movies & TV, Books 데이터셋에서 Hit@5/10 및 NDCG@5/10 지표에서 기존 최상위 베이스라인 (Single Evolving LoRA, Cumulative LoRA variants) 보다 평균 **3.7% ~ 6.3%**의 성능 향상을 보였습니다.
• 안정성 - 적응성 균형:
  • 잠재적 사용자 (Dormant Users): 오랫동안 활동하지 않다가 돌아온 사용자의 장기적 선호도를 잘 기억하여 높은 성능을 보였습니다 (기존 단일 LoRA 는 망각으로 인해 성능 저하).
  • 신규 사용자 (New Users): 새로운 사용자의 즉각적인 선호도 변화에도 잘 적응했습니다 (기존 누적 LoRA 는 과도한 고정화로 인해 적응이 느림).
• 정규화 비교: L2 정규화나 직교성 (Orthogonality) 기반 정규화보다 Softmax-KL 정규화가 모듈 구조를 고려하여 더 효과적임을 확인했습니다.

5. 의의 및 결론 (Significance)

• 추천 시스템 특화 설계: 컴퓨터 비전 등 다른 도메인에서 성공한 '누적 어댑터' 방식이 추천 시스템의 '지속적 선호도 진화' 특성에는 적합하지 않음을 지적하고, 이에 맞는 새로운 패러다임 (단일 어댑터 + 근접 정규화) 을 제시했습니다.
• 효율성: 추가적인 어댑터를 저장할 필요가 없어 저장 공간 복잡도가 $O(1)$이며, 학습 시간 증가도 미미합니다.
• 미래 방향: 이 연구는 대규모 기반 모델 (Foundation Models) 을 활용한 추천 시스템이 실시간으로 변화하는 사용자 환경에 적응할 수 있는 효율적인 지속적 학습 프레임워크의 기초를 마련했다는 점에서 의의가 있습니다.

요약하자면, PESO 는 과거의 지식을 완전히 잊지 않으면서도 최신 트렌드에 빠르게 적응할 수 있도록, LoRA 파라미터의 업데이트를 '이전 상태'에 가깝게 묶어두는 지능적인 정규화 기법을 통해 LLM 기반 추천 시스템의 지속적 학습 문제를 해결한 획기적인 연구입니다.