Query as Anchor: Scenario-Adaptive User Representation via Large Language Model

1. 연구 배경 및 문제 정의 (Problem)

산업 규모의 사용자 표현 학습 (User Representation Learning) 은 추천, 디지털 마케팅, 리스크 관리 등 다양한 분야에서 핵심적인 역할을 합니다. 그러나 기존 방식은 다음과 같은 한계를 가지고 있습니다:

• 정적 (Static) 이고 태스크 무관한 임베딩: 기존 방법들은 사용자의 행동 패턴을 고정된 벡터로 인코딩하여, 하위 작업 (Downstream tasks) 의 요구사항이 서로 다른 경우 (예: 신용 평가 vs. 마케팅 최적화) 에 유연하게 대응하지 못합니다.
• 모달리티 및 의미적 격차 (Modality & Semantic Gap): LLM(대형 언어 모델) 은 주로 밀집된 텍스트 데이터로 사전 훈련되지만, 실제 산업 데이터는 희소하고 기호적이며 이질적인 행동 로그 (결제, 앱 사용, 검색 등) 로 구성되어 있어 LLM 의 적응력이 떨어집니다.
• 시스템 복잡성: 다양한 시나리오마다 별도의 모델을 구축해야 하므로 유지보수 비용과 배포 오버헤드가 큽니다.

2. 제안 방법: Query-as-Anchor (Methodology)

저자들은 "Query-as-Anchor" 라는 새로운 프레임워크를 제안하여, 정적 인코딩에서 동적이고 쿼리 인식 (Query-aware) 인 합성으로 사용자 모델링 패러다임을 전환했습니다. 핵심 구성 요소는 다음과 같습니다.

가. UserU: 산업 규모 사전 훈련 데이터셋

LLM 에 깊은 사용자 이해 능력을 부여하기 위해 UserU라는 대규모 사전 훈련 데이터셋을 구축했습니다.

• 행동 예측 (Behavior Prediction): 사용자의 과거 90 일 다중 모달 로그를 기반으로 미래 행동을 예측하는 태스크.
• Synthetic User-QA: LLM 을 활용하여 사용자의 행동 프로필을 기반으로 자연어 질문 (Query) 과 답변 (Answer) 쌍을 생성하는 태스크. 이를 통해 사용자의 의도와 맥락을 심층적으로 학습합니다.

나. Q-Anchor 임베딩 아키텍처

• 계층적 코arse-to-fine 인코더: 사용자의 이질적인 행동 데이터 (결제, 미니프로그램, 검색 등) 를 이벤트 레벨, 모달리티 레벨, 사용자 레벨로 계층화하여 인코딩합니다.
• Dual-Tower 구조:
  • Anchor Tower: 사용자 행동 히스토리 (Prefix) 와 자연어 쿼리 (Anchor) 를 입력받아, 쿼리에 맞춰 사용자 표현을 동적으로 추출합니다.
  • Semantic Tower: 정답 (Answer) 을 임베딩하여 Anchor Tower 와 정렬합니다.
• 최적화: 대비 학습 (Contrastive Learning, InfoNCE Loss) 과 생성적 학습 (Next-Token Prediction) 을 결합하여, 표현이 구별력 있으면서도 의미적으로 풍부하도록 학습합니다.

다. 클러스터 기반 소프트 프롬프트 튜닝 (Soft Prompt Tuning)

• 사전 훈련된 백본 모델을 고정하고, 특정 비즈니스 로직 (예: 고위험/저위험 사용자 구분) 에 맞춰 학습 가능한 프롬프트 토큰만 미세 조정합니다.
• 이를 통해 모델의 잠재 공간 (Latent Space) 을 시나리오별 결정 경계에 정렬시키며, catastrophic forgetting(과거 지식 망각) 을 방지합니다.

라. KV-Cache 기반 가속화 (Inference Acceleration)

• 쿼리 앵커링: 사용자 행동 히스토리 (Prefix) 는 한 번만 인코딩하여 KV-Cache 에 저장합니다.
• 다중 시나리오 처리: 다양한 하위 쿼리가 들어와도 저장된 Prefix Cache 를 재사용하여, 쿼리 부분만 계산하므로 지연 시간 (Latency) 증가를 무시할 수준으로 낮추고 고처리량 (High-throughput) 을 달성합니다.

3. 주요 기여 (Key Contributions)

1. UserU 데이터셋: 이질적인 행동 로그와 사용자 이해 세맨틱스를 정렬한 대규모 산업용 사전 훈련 데이터셋 구축.
2. Query-as-Anchor 프레임워크: 동일한 행동 프로필을 다양한 의사결정 컨텍스트 (쿼리) 에 따라 재앵커링하여, 하나의 모델로 여러 비즈니스 시나리오를 처리 가능하게 함.
3. 효율적인 적응 및 가속: 소프트 프롬프트 튜닝을 통한 경량 시나리오 특화 및 KV-Cache 를 활용한 초저지연 다중 시나리오 추론 구현.
4. 실증적 검증: 알리페이 (Alipay) 의 10 개 산업 벤치마크 및 대규모 온라인 A/B 테스트를 통한 SOTA 성능 입증.

4. 실험 결과 (Results)

• 성능 (Offline): 알리페이 시스템의 10 개 이진 분류 태스크 (사용자 참여, 리스크 관리, 마케팅 민감도 등) 에서 기존 LLM 임베딩 (Qwen, Llama 기반 등) 및 전문 사용자 표현 모델 (MSDP, FOUND 등) 보다 AUC 및 KS 점수에서 일관된 SOTA 성능을 기록했습니다.
  • 평균 AUC: 0.8225 (기존 최강 모델 대비 +9.84% 향상).
  • 평균 KS: 0.5267 (기존 최강 모델 대비 +38.4% 향상).
• 확장성 (Scalability):
  • 데이터 양 증가에 따라 성능이 꾸준히 향상되지만, 모델 파라미터 수 증가 (0.5B → 3B) 에 따른 성능 향상은 비선형적이며 오히려 감소하는 경향을 보임 (0.5B 모델이 최적).
  • 프롬프트 튜닝은 6 개의 학습 가능한 토큰과 500 스텝만으로도 성능이 포화되어 효율성이 높음.
• 온라인 A/B 테스트 (Online):
  • IVR 현금 보유 outreach: 발송 타이밍 최적화로 인출율 (Drawdown rate) 12.5% 증가, 평균 잔액 5.3% 증가.
  • 신용 연체 위험 식별: 비즈니스 핵심 지표인 KS 점수 1.96% 향상.
• 배포 효율성: 수억 명의 사용자를 대상으로 매일 업데이트되며, KV-Cache 공유를 통해 시나리오 추가 시 추가 GPU 리소스 없이도 고처리량 서비스를 가능하게 함.

5. 의의 및 결론 (Significance)

이 논문은 산업 현장의 복잡한 사용자 행동 데이터를 LLM 기반의 유연한 표현 학습으로 성공적으로 통합했다는 점에서 의의가 큽니다.

• 패러다임 전환: "하나의 고정된 임베딩"에서 "쿼리에 따라 적응하는 동적 표현"으로의 전환을 제시하여, 시스템 복잡성을 줄이면서도 다양한 비즈니스 목표에 유연하게 대응할 수 있게 했습니다.
• 실용성: 대규모 온라인 시스템 (알리페이) 에 직접 배포되어 검증되었으며, 저지연, 고처리량, 낮은 유지보수 비용이라는 산업적 요구사항을 모두 충족시켰습니다.
• 해석 가능성: 프롬프트 튜닝을 통해 모델이 어떤 모달리티 (예: 결제 내역, 검색 이력) 에 주의를 기울이는지 시각화할 수 있어, 의사결정 과정의 투명성을 높였습니다.

결론적으로, Query-as-Anchor는 산업용 사용자 표현 학습의 새로운 표준을 제시하며, LLM 을 활용한 효율적이고 적응력 있는 AI 시스템 구축을 위한 강력한 프레임워크임을 입증했습니다.