기술 요약: BUMP (Bidirectional User Modeling via Profiles)

문제 정의

대규모 언어 모델(LLM)이 추천, 검색, 대화 및 콘텐츠 생성 분야에 배치됨에 따라, LLM을 개인화하는 것은 매우 중요한 과제가 되었습니다. 협업 필터링 임베딩과 같은 전통적인 사용자 표현 방식은 프롬프트를 통해 조건화(conditioning)되는 데 의존하는 인스트럭션 튜닝된 LLM과 자연스럽게 인터페이스하지 못합니다. 또한, 사용자의 전체 상호작용 이력을 프롬프트에 단순히 결합하는 것은 컨텍스트 윈도우 제한, 지연 시간, 그리고 긴 컨텍스트에서 핵심 신호가 저하되는 "중간 소실(lost in the middle)" 현상 때문에 규모 면에서 불가능합니다.

기존의 자연어 사용자 프로필 생성 방식은 일반적으로 레이블이 지정된 다운스트림 태스크로부터 유도된 명시적 보상(예: 클릭률 또는 특정 분류 레이블)에 의존합니다. 이러한 의존성은 다음과 같은 심각한 병목 현상을 초 Созда합니다:

1. 확장성: 보상은 비용이 많이 들고 희소하며, 모든 타겟 태스크에 대해 주석이 달린 감독(annotated supervision)이 필요합니다.
2. 일반화: 특정 레이블링된 태스크에 최적화된 프로필은 다른 도메인이나 제로샷 시나리오에서 잘 작동하지 않을 수 있습니다.
3. 편향: 프로필이 사용자에 대한 충실한 설명이라기보다 특정 분류기를 위한 피처 엔지니어링 결과물이 됩니다.

본 논문은 강력한 프로필 생성기는 다운스트림 태스크의 레이블 없이, 오직 가공되지 않은 원시 상호작용 로그만을 사용하여 학습될 수 있어야 한다고 주장합니다.

방법론: BUMP

저자들은 원시 사용자 상호작용 데이터만을 사용하여 프로필 생성기를 학습시키는 자기 지도 학습(self-supervised) 프레임워크인 **BUMP(Bidirectional User Modeling via Profiles)**를 소개합니다. 핵심 직관은 고품질 프로필이 두 가지 상호 보완적인 속성을 만족해야 한다는 것입니다:

1. 예측력(Predictive): 프로필은 사용자의 미래(홀드아웃) 상호작용을 예측할 수 있어야 합니다.
2. 식별력(Identifiable): 사용자의 상호작용은 다른 사용자들 사이에서 해당 사용자의 프로필을 고유하게 식별할 수 있어야 합니다.

학습 프레임워크

시스템은 소형의 동결된(frozen) LLM을 판사(Judge, $J$)로 사용하는 GRPO(Group Relative Policy Optimization) 알고리즘을 사용하여 정책 $\pi_\theta$(프로필 생성기)를 학습시킵니다. 학습 과정은 사용자 배치 $\mathcal{B}$에 대해 다음과 같이 진행됩니다:

1. 데이터 분할: 각 사용자 $u$에 대해, 상호작용 이력을 생성에 사용되는 가시적 접두사($H^{vis}_u$)와 감독에 사용되는 홀드아웃 부분($H^{ho}_u$)으로 나눕니다.
2. 양방향 보상 설계: 동결된 판사 $J$는 두 가지 랭킹 방향을 기반으로 조밀한(dense) 보상을 계산합니다:
   • 순방향 방향 (프로필 $\to$ 이력): 생성된 프로필 $s_u$를 쿼리로 사용하여, 사용자의 홀드아웃 아이템($H^{ho}_u$)을 배치 내 다른 사용자의 아이템들과 비교하여 순위를 매깁니다. 보상은 multi-positive NDCG 점수입니다.
   • 역방향 방향 (이력 $\to$ 프로필): 홀드아웃 아이템 $h^{(p)}_u$를 쿼리로 사용하여, 사용자의 생성된 프로필 $s_u$를 배치 내 다른 사용자들의 프로필과 비교하여 순위를 매깁니다. 보상은 single-positive NDCG 점수입니다.
3. 정규화:
   • 위치 디바이어싱(Position Debiasing): LLM 리스트 랭커의 위치 편향을 완화하기 위해, 후보 아이템들을 $M$개의 무작위 순서로 제시하고 NDCG 점수를 평균화합니다.
   • 길이 패널티(Length Penalty): 모델이 일반적인 보일러플레이트 텍스트를 채워 넣어 프로필을 길게 만드는 "보상 해킹(reward hacking)"을 방지하기 위해, 토큰 임계값 $T$를 초과할 경우 소프트 패널티를 적용합니다.
4. 최적화: 전체 보상 $R(s_u)$는 두 방향의 NDCG 점수 합계에서 길이 패널티를 뺀 값입니다. GRPO는 이 보상을 최대화하도록 $\pi_\theta$를 업데이트합니다.

BUMP+: 하드 네거티브 마이닝

랜덤 인-배치 네거티브(in-batch negatives)가 너무 쉬운 경우(주제적으로 관련 없는 경우)를 해결하기 위해, 저자들은 **BUMP+**를 제안합니다. 이 변형 모델은 동결된 임베딩 모델(BGE)을 사용하여 더 어려운 네거티브를 추출합니다:

• 순방향: 사용자의 가시적 이력의 중심점(centroid)과 주제적으로 구별되는(낮은 유사도) 홀드아웃 아이템을 선택합니다.
• 역방향: 타겟 사용자와 가시적 이력이 주제적으로 유사한 사용자들의 프로필을 선택하여, 판사가 매우 유사한 사용자 프로필 간의 차이를 구별하도록 강제합니다.

주요 기여

1. 새로운 자기 지도 학습 목적 함수: 프로물 생성 문제를 양방향 인-배치 랭킹 문제로 정식화하여, 다운스트림 레이블 없이 원시 로그로부터 조밀한 감독 신호를 도출했습니다.
2. BUMP 및 BUMP+: GRPO와 동결된 LLM 판사를 사용하여 이 목적 함수를 구현하였으며, 학습 신호를 날카롭게 하기 위해 하드 네거티브 마이닝을 결입하였습니다.
3. 실증적 검증: 4B 파라미터 규모의 자기 지도 학습 모델이 레이블된 보상에 의존하는 기존 방식이나 폐쇄형 API(예: Gemini-1.5-Pro)와 대등하거나 이를 능가함을 입증했습니다.

실험 결과

프레임워크는 5개 도메인(분류, 회귀, 생성)에 걸친 6개 태스크를 포함하는 LaMP 벤치마크에서 평가되었습니다.

• 태스크 감독 방식과의 성능 비교: BUMP+는 11개 지표 중 9개에서 "Direct Reward" 베이스라인(레이블된 다운스트림 신호를 사용하는 방식)과 대등하거나 더 높은 성능을 보였습니다. 이는 자기 지도 학습이 레이블된 보상을 대체할 수 있음을 확인시켜 줍니다.
• 폐쇄형 API와의 성능 비교: BUMP+는 훨씬 작은 규모(4B)의 오픈 웨이트 모델임에도 불구하고, 11개 지표 모두에서 Gemini-1.5-Pro를 능가했습니다.
• 원시 이력(Raw History)과의 비교: 생성 태스크(표면적인 n-gram 중첩이 보상되는 경우)에서는 원시 이력이 가장 좋은 성능을 보였으나, 주제적 선호도가 텍스트의 자구적 일치보다 중요한 분류 및 평점 태스크에서는 BUMP+가 원시 이력을 크게 앞질렀습니다.
• 절제 연구(Ablation Studies):
  • 순방향 또는 역방향 중 하나라도 제거하면 성능이 저하되었으며, 이는 두 방향 모두가 필수적임을 확인해 줍니다.
  • "순방향" 단독이 "역방향" 단독보다 더 효과적이었는데, 이는 순방향 항이 주요 태스크 관련 신호를 주도하고 역방향 항은 일반적인 프로필을 방지하는 정규화 역할을 함을 시사합니다.
  • 하드 네거티브 마이닝(BUMP+)은 랜덤 네거티브 대비 상당한 이득을 제공했으나, 과도한 마이닝은 노이즈를 유발했습니다.

의의 및 주장

본 논문은 자기 지도 학습이 텍스트 사용자 프로필을 학습하기 위한 레이블된 다운스트림 보상을 효과적으로 대체할 수 있음을 주장합니다. 양방향 랭킹을 통해 상호작용 로그의 내재적 구조를 활용함으로써, BUMP는 다음과 같은 프로필을 생성합니다:

• 태스크 불가지론적(Task-Agnostic): 특정 분류기를 위한 피처가 아니라 사용자에 대한 충실한 설명에 최적화되어, 재학습 없이도 교차 태스크 전이가 가능합니다.
• 확장 가능함(Scalable): 감독 예산은 수동 주석 작업이 아닌 사용자 인구 규모에 따라 자동으로 증가합니다.
• 효율적임(Efficient): 결과물인 프로필은 압축된 고정 크기의 표현으로, 추론 시 전체 상호작용 이력을 처리하는 데 드는 지연 시간과 메모리 비용을 피할 수 있습니다.

저자들은 LLM-as-a-judge에서 발생하는 잠재적 편향(예: 장황함, 자기 선호 경향)과 하드 네거티브 마이닝에서 혼동 가능성의 대리 지표로 임베딩 유사성을 사용하는 점 등 한계점을 인정합니다. 그러나 결과는 양방향 자기 지도 학습이 전통적인 지도 학습 기반 프로필 생성의 강력하고 실행 가능한 대안임을 시사합니다.