LATTE: Forecasting Peer Anchored Preference Trajectories for Personalized LLM Generation

기술 요약: LATTE – 개인화된 LLM 생성을 위한 피어 고정 선호도 궤적 예측

문제 제기
동결된 대규모 언어 모델 (LLM) 을 활용한 개인화된 생성은 컴팩트하고 최신의 조건부 신호를 필요로 합니다. 기존 접근 방식들은 일반적으로 텍스트로 사용자의 기록을 검색하거나 요약하거나, 이를 정적 잠재 프로필 및 소프트 프롬프트로 압축하는 데 의존합니다. 효율적이기는 하나, 이러한 방법들은 사용자 기록을 집계된 프로필로 취급하여 안정적인 정체성, 최근의 행동적 변화, 그리고 항목별 콘텐츠를 단일 표현으로 혼동합니다. 이러한 정적 집계는 사용자 선호도의 시간적 변화 (예: 시간이 지남에 따라 더 기술적인 리뷰어가 되는 경우) 를 포착하지 못하며, 종종 사용자의 현재 상태와 일치하지 않는 낡거나 콘텐츠에 지배적인 프로필로 이어집니다. 핵심적인 과제는 모델을 미세 조정하거나 사용자별 매개변수를 추가하지 않고도 동결된 LLM 을 사용자의 현재 선호도 상태에 조건부로 설정하는 방법입니다.

방법론: LATTE 프레임워크
저자들은 개인화를 "피어 고정 상대적 선호도 상태"의 예측으로 재정의하는 잠재 궤적 추적 및 외삽 (LATTE) 프레임워크를 제안합니다. 이 방법은 세 가지 명확하게 분리된 단계로 작동합니다:

1. 피어 고정 상대 상태 구축:
   각 과거 세션에 대해 LATTE 는 공유된 항목 변이에서 사용자의 특정 선호도를 분리한 상태를 구축합니다.

   • 피어 기준선: 시간 $\tau_t$에 대상 사용자가 항목 $i_t$와 상호작용할 때, 시스템은 $\tau_t$ 이전에 동일한 항목을 리뷰한 비교 가능한 "피어" 사용자 집합을 식별합니다.
   • 잔차 계산: 시스템은 피어들의 응답 임베딩 (기준선) 의 가중 평균을 계산한 후, 이를 대상 사용자의 응답 임베딩에서 뺍니다.
   • 정규화: 결과적으로 얻어진 잔차는 정규화되어 피어 고정 상대 상태 벡터를 형성합니다. 이 과정은 (가산 임베딩 모델 가정 하에) 공유된 항목 구성 요소를 수학적으로 제거하여, 동일한 맥락에서 유사한 피어들과 비교했을 때 사용자가 어떻게 다른지를 나타내는 신호만 남깁니다.

2. 궤적 예측:
   이러한 상태들을 정적 평균으로 집계하는 대신, LATTE 는 이를 시간 순서대로 배열된 시퀀스로 취급합니다.

   • 경량 시퀀스 예측기 (예: GRU, Transformer 또는 학습된 어텐션 메커니즘) 는 관찰된 피어 고정 상태의 기록을 기반으로 궤적의 다음 상태를 예측하도록 오프라인에서 훈련됩니다.
   • 훈련 목표는 다음에 구축된 상태를 직접 예측하기 위한 회귀 손실 (코사인 유사도 및 MSE) 로, 상태 예측을 언어 모델링 손실과 분리합니다. 이는 조건부 벡터가 항목 메타데이터에만 의존하는 저랭크 단축 경로로 붕괴되는 것을 방지합니다.

3. 상태 - 토큰 브리지 (STB):
   예측된 상태는 동결된 LLM 에 주입됩니다.

   • 경량 브리지 모듈은 예측된 잠재 벡터를 LLM 의 토큰 임베딩 공간으로 매핑합니다.
   • 이 벡터는 프롬프트 내의 단일 자리 표시자 토큰 ([PREF_TOKEN]) 을 대체합니다.
   • 자연어 앵커가 토큰 앞에 위치하여 주입된 상태를 LLM 이 어떻게 해석해야 하는지 지시합니다.
   • 핵심적으로, LLM 가중치는 동결된 채 유지되며 브리지와 예측기만 훈련됩니다.

주요 기여

• 정립: 이 논문은 동결된 LLM 개인화를 피어 고정 상대적 선호도 상태의 예측으로 정립하여, 사용자 기록을 정적 프로필에서 시간 순서 잠재 궤적으로 변환합니다.
• 프레임워크 설계: 동일한 항목 피어 잔차 상태를 구축하고, 경량 시퀀스 모델을 사용하여 다음 상태를 예측하며, 단일 고정 소프트 토큰을 통해 예측치를 주입하는 모듈식 프레임워크 (LATTE) 를 도입합니다.
• 이론적 및 실증적 검증: 저자들은 피어 고정이 공유된 항목 변이를 줄이고, 사용자 상태가 변화할 때 궤적 예측이 정적 평균보다 더 나은 편차 - 분산 트레이드오프를 제공함을 증명하는 분석적 증명 (명제 1 및 2) 을 제공합니다. 실증적으로, 그들은 성취도가 단순히 소프트 프롬프트 인터페이스를 추가하는 것이 아니라 사용자별 궤적 정보를 예측함으로써 주도됨을 보여줍니다.

실험 결과
이 방법은 Amazon Reviews 2023(도서, 영화, CD) 및 MemoryCD에서 검색 기반 방법, 요약 메모리, 정적 잠재 프로필, 차이 인식 정적 프로필 (DEP 스타일), 그리고 소프트 프롬프트 압축 (PERSOMA 스타일) 을 포함한 포괄적인 기준선 세트를 대상으로 평가되었습니다.

• 성능: LATTE 는 모든 기준선보다 일관되게 우수한 성과를 거두었습니다. Amazon Reviews 2023 에서 LATTE(GRU 예측기 사용) 는 평균 ROUGE-L 0.259를 달성하여 가장 강력한 정적 잠재 기준선 (0.245) 과 가장 강력한 소프트 프롬프트 압축 기준선 (0.245) 을 모두 상회했습니다.
• 선호도 충실도: 어휘적 중복을 넘어, LATTE 는 역사 인식 쌍별 승리율 (PERSOMA 의 58.6% 대비 64.0%) 과 선호도 충실도 지표에서 상당한 개선을 보였으며, 특히 궤적 정립과 직접적으로 연결된 "최근성 (Recency)" 정렬에서 두드러졌습니다.
• 절차 제거 및 진단:
  • 피어 앵커를 제거하면 정적 압축 대비 성능 향상이 거의 사라져 피어 고정의 필요성을 확인시켜 주었습니다.
  • 분리된 회귀 없이 종단간 훈련을 수행하면 표현 붕괴와 열악한 생성이 발생하여 분리된 훈련 전략의 타당성을 입증했습니다.
  • 진단 결과, 모델이 피어 합의나 항목 콘텐츠를 누출하지 않으며, 학습된 상태가 상수 벡터로 붕괴되지 않고 사용자 변이를 유지함을 확인했습니다.

의의 및 주장
이 논문은 사용자들을 고정된 집계체가 아닌 진화하는 궤적으로 모델링하는 것이, 특히 최근 행동이 중요한 장기 기록 설정에서 개인화된 생성에 중요하다고 주장합니다. LATTE 의 의의는 다음과 같은 능력에 있습니다:

1. 표현과 주입의 분리: 상태 예측을 LLM 조건 설정과 분리함으로써 사용자 신호를 무시하는 "단축 경로" 문제를 피합니다.
2. 시간적 변화 처리: 과거를 평균내는 대신 다음 상태를 예측함으로써 정적 프로필보다 변화하는 사용자 선호도에 더 효과적으로 적응합니다.
3. 콘텐츠 통제: 피어 고정을 사용하여 사용자의 특정 선호도 신호를 항목의 고유한 특성으로부터 분리하여 LLM 에 더 깨끗한 조건부 신호를 제공합니다.

저자들은 이 방법이 궤적 추정을 위해 충분한 사용자 기록을 필요로 하며 과거 항목에 대한 비교 가능한 피어의 존재를 전제로 한다는 점을 지적하며 소극적인 범위를 유지합니다. 콜드스타트 사용자의 경우, 이 프레임워크는 기존 텍스트 또는 정적 잠재 기준선으로 대체합니다. 이 연구는 모델 미세 조정이 필요하지 않은 동결된 LLM 을 위한 조건부 메커니즘 개선에 초점을 맞추고 있습니다.