기술 요약: 개인화를 위한 텍스트 프로필과 잠재 사용자 임베딩 간 연결 (BLUE)

1. 문제 정의

개인화 시스템은 행동 기록을 추천 및 질문 응답과 같은 하위 애플리케이션과 연결하기 위해 사용자 표현에 의존합니다. 기존 접근 방식은 일반적으로 두 가지 뚜렷한 범주로 나뉘며, 각각 상당한 한계를 가지고 있습니다:

• 잠재 사용자 임베딩: 순차적 상호작용 기록에서 학습된 이러한 밀집 벡터는 검색 및 랭킹에 매우 효과적이지만 해석 가능성이 부족합니다. 복잡한 기록을 단일 벡터로 압축하여 '블랙박스' 역할을 하므로 고수준 선호도를 흐리게 만들고 추천이 왜 이루어졌는지 이해하기 어렵게 만듭니다.
• 텍스트 사용자 프로필: 이러한 자연어 설명은 해석 가능하고 풍부한 의미론을 포착할 수 있습니다. 그러나 생성이 어렵습니다. 왜냐하면 사용자에게 단일한 정답 프로필이 존재하지 않는 경우가 많기 때문입니다. 결과적으로 기존 방법들은 종종 수동으로 제작된 프롬프트나 제로샷 생성에 의존하는데, 이는 하위 유틸리티나 최적화 목표와 잘 맞지 않을 수 있습니다.

이로 인해 간극이 발생합니다: 잠재 임베딩은 검색에는 강력하지만 추론에는 약한 반면, 텍스트 프로필은 해석 가능하지만 하위 성능을 위해 최적화하기 어렵습니다. 본 논문은 이러한 표현을 통합하기 위해 BLUE(Bridging textuaL profiles and latent User Embeddings)를 제안합니다.

2. 방법론

BLUE는 사용자 프로필 생성을 정책 최적화 문제로 취급하는 강화 학습 (RL) 프레임워크입니다. 언어 기반 프로필의 의미론적 투명성과 잠재 임베딩의 판별적 랭킹 능력을 연결합니다.

핵심 프레임워크

원시 사용자 상호작용 시퀀스 $H_u$가 주어지면, **프로파일러 대형 언어 모델 (LLM)**이 텍스트 사용자 프로필 $p_u$를 생성합니다. 이 프로필은 두 가지 역할을 수행합니다:

1. 텍스트 공간: 개인화 QA 와 같은 하위 언어 작업을 위한 해석 가능한 요약.
2. 잠재 공간: 항목 검색을 위한 사용자 표현을 생성하기 위해 임베딩 모델에 입력되는 데이터.

이 프레임워크는 두 가지 다른 보상 신호를 사용하여 프로파일러 LLM 을 최적화합니다:

A. 임베딩 공간 보상 (잠재 감독)

생성된 프로필이 검색 성능을 향상시키도록 보장하기 위해, BLUE 는 고정된 임베딩 모델을 사용하여 대비적 보상 신호를 제공합니다.

• 메커니즘: 생성된 프로필 (단독 또는 최근 기록과 결합) 은 잠재 사용자 임베딩으로 인코딩됩니다.
• 목표: 보상은 사용자 임베딩과 목표 양의 항목 임베딩 간의 양방향 대비 정렬 (InfoNCE 스타일) 을 기반으로 합니다.
• 신호: 보상은 프로필이 양의 다음 항목에 더 가깝고 배치 내의 음의 항목 및 다른 사용자들과는 더 멀리 떨어진 사용자 임베딩을 유도하도록 장려합니다. 이는 정답 텍스트 요약이 없더라도 랭킹에 기능적으로 유용한 표현을 생성하도록 프로파일러를 안내합니다.

B. 텍스트 공간 보상 (의미론적 감독)

프로필이 의미론적으로 유의미하고 자연어에서 사용 가능하도록 보장하기 위해 텍스트 공간 보상이 도입됩니다.

• 메커니즘: 생성된 프로필은 다중 선택 질문으로 구성된 다음 항목 예측 작업의 컨텍스트로 사용됩니다.
• 신호: 프로파일러 (예측기로 작용) 가 생성된 프로필만으로 다음 항목을 올바르게 식별하면 이진 보상이 부여됩니다. 이는 프로필이 언어 기반 추론을 지원할 충분한 명시적 정보를 포함하도록 보장합니다.

최적화

프로파일러 모델은 **그룹 상대 정책 최적화 (GRPO)**를 사용하여 최적화됩니다.

• 각 사용자에게는 후보 프로필 그룹이 샘플링됩니다.
• 총 보상은 텍스트 공간 보상과 임베딩 공간 보상의 합입니다.
• 편차를 줄이기 위해 그룹 내에서 이득이 정규화됩니다.
• KL 발산 항은 정책이 참조 모델에서 벗어나지 않도록 정규화하여 유창성을 보장합니다.

임베딩 모델 적응 (선택 사항)

주요 설정에는 고정된 임베딩 모델이 포함되지만, 논문은 생성된 텍스트 프로필을 통해 지도 대비 학습을 사용하여 임베딩 모델을 미세 조정하는 설정도 탐구합니다. 이는 노이즈가 제거되고 구조화된 요약이 원시 상호작용 기록보다 더 나은 감독 신호를 제공할 수 있는지 테스트합니다.

3. 주요 기여

1. 통합 프레임워크 (BLUE): 텍스트 사용자 프로파일링과 잠재 임베딩 정렬을 공동으로 최적화하는 강화 학습 접근법입니다. 이는 정답 사용자 요약이 필요 없이 잠재 공간 대비 보상이 프로파일러 LLM 을 효과적으로 감독할 수 있음을 보여줍니다.
2. 이중 목적 최적화: 이 방법은 임베딩 공간에서 검색 품질을 향상시키고 하위 언어 작업을 위한 고품질 해석 가능한 컨텍스트를 유지하는 두 가지 상호 보완적인 목표를 성공적으로 균형 잡습니다.
3. 크로스 도메인 일반화: 학습된 프로필은 강력한 이전 학습 능력을 보여주며, 다른 도메인 (예: 의류에서 학습하여 Books, Electronics, Sports, Google Reviews 에서 테스트) 에 걸쳐 제로샷 순차 추천에서 베이스라인을 능가합니다.

4. 실험 결과

이 프레임워크는 제로샷 순차 추천 설정 하에서 Amazon Reviews 2023및 Google Local Reviews데이터셋에서 평가되었습니다.

• 임베딩 고정 설정: 임베딩 모델이 고정되었을 때, BLUE 는 원시 기록, 기본 프로필, RLAIF 및 RLPF 와 같은 다른 RL 기반 프로필 방법을 포함한 강력한 베이스라인보다 일관되게 우위를 점했습니다.
  • 크로스 도메인 이전 (예: Amazon Books N@10 이 0.228 에서 0.291 로 향상) 에서 주목할 만한 향상이 관찰되었습니다.
  • 최근 기록과 BLUE 프로필을 결합하면 모든 데이터셋에서 최고의 성능을 발휘했습니다.
• 임베딩 적응 설정: 생성된 프로필을 사용하여 임베딩 모델을 미세 조정했을 때, BLUE+SCL 은 표준 순차 추천 모델 (SASRec, BERT4Rec) 및 기타 프로필 기반 대비 방법보다 우수한 크로스 도메인 이전 성능을 달성했습니다.
• 개인화 질문 응답: 생성된 프로필은 원시 기록이나 대체 프로필 방법에 비해 다음 항목 예측 및 평점 예측 작업에 더 나은 컨텍스트를 제공했습니다. BLUE 는 모든 도메인에서 다음 항목 예측에서 최고 정확도를 달성했습니다.
• 효율성과 구조:
  • 품질 - 효율성 트레이드오프: BLUE 는 다른 프로필 기반 방법과 비교 가능한 추론 시간을 유지하면서 최고 품질 점수를 달성했으며, 품질 면에서는 원시 기록을, 효율성 면에서는 다른 프로필 방법을 능가했습니다.
  • 잠재 구조: T-SNE 시각화는 BLUE 가 유도한 임베딩이 베이스라인에 비해 사용자 그룹 간 더 명확한 분리를 가진 더 조밀한 지역 클러스터를 형성하여 더 판별력 있고 선호도를 인식하는 잠재 구조를 나타냄을 보여주었습니다.

5. 중요성과 주장

본 논문은 BLUE 가 텍스트 프로파일링의 해석 가능성과 잠재 임베딩의 판별력을 통합하는 효과적인 메커니즘을 제공한다고 주장합니다.

• 상호 보완성: 텍스트 프로필과 잠재 임베딩은 경쟁하는 표현이 아니라 공동으로 최적화될 수 있는 상호 보완적인 공간으로 간주되어야 한다고 주장합니다.
• 실용적 유틸리티: 이 방법은 임베딩 모델이 독점적이거나 고정된 경우 (예: 오프더셸 서비스) 특히 중요합니다. 왜냐하면 모델 자체를 최적화하는 대신 입력 컨텍스트 (프로필) 를 최적화하여 개인화를 향상시키기 때문입니다.
• 일반화: 결과는 언어 유창성이나 원시 기록 압축만을 위해 최적화된 표현보다 하위 유틸리티 (잠재 보상을 통해) 를 위해 프로필을 최적화하면 도메인 간에 더 잘 일반화되는 표현을 산출함을 강조합니다.
• 해석 가능성: 생성된 프로필은 검색 성능과 하위 생성 개인화 작업 (QA 등) 의 품질을 모두 향상시키는 간결하고 인간이 읽을 수 있는 컨텍스트 역할을 하여, 블랙박스 잠재 벡터에 대한 '화이트박스'대안을 제공합니다.

저자들은 그들의 접근 방식이 "랭킹은 강력하지만 추론은 약한"임베딩의 특성과 "해석 가능하지만 최적화가 어려운"텍스트 프로필의 특성을 연결하여 차세대 개인화 시스템을 위한 강력한 솔루션을 제공한다고 결론지었습니다.