기술 요약: 능동 표현 모델링을 통한 수동과 능동의 연결

문제 정의

본 논문은 대규모 언어 모델 (LLM) 기반 대화형 검색에서의 대화 시작자 추천의 한계를 다룹니다. 현재 이러한 시스템은 사용자의 사전 정의된 수동 시작자 제안에 대한 상호작용만으로 학습되는 폐쇄된 "노출-클릭-학습" 루프에 의존합니다. 이 메커니즘은 체계적인 피드백 루프와 에코 챔버를 생성합니다:

1. 인기 편향: 시스템은 이전에 노출한 내용으로부터만 학습하므로 동적이고 개방형인 사용자 의도를 포착하지 못해, 흔하고 일반적인 시작자를 추천하는 경향이 있습니다.
2. 데이터 희소성 및 분포 변화: 사용자는 메뉴를 우회하기 위해 자유 텍스트 쿼리 (능동 표현) 를 직접 입력할 수 있지만, 이러한 신호는 전통적인 시작자 추천에서 무시됩니다. 이를 통합하는 것은 다음과 같은 이유로 어렵습니다:
   • 분포 변화: 구조화된 사전 정의 시작자 (폐쇄형 세계) 와 비구조화된 구어체 능동 쿼리 (개방형 세계) 사이에 간극이 존재합니다.
   • 식별 불가능성: 능동 쿼리는 고유한 텍스트 문자열이므로, 산업계 스트리밍에서 편향 제거에 사용되는 전통적인 아이템 ID 기반 인기 통계가 무효화됩니다.

방법론: PA-Bridge 프레임워크

저자들은 분포 변화와 인기 편향을 완화하면서 능동 사용자 표현을 능동적 시작자 추천에 통합하도록 설계된 PA-Bridge(수동 - 능동 브릿지) 프레임워크를 제안합니다. 이 아키텍처는 표준 2-타워 모델 (사용자 타워 및 쿼리 타워) 을 기반으로 하며 두 가지 핵심 구성 요소를 도입합니다:

1. 분포 정렬기 (적대적 학습)

능동 쿼리 ($q_a$) 와 수동 시작자 ($q_s$) 간의 의미적 간극을 해소하기 위해, 저자들은 오프라인 학습 중에 적대적 학습 메커니즘을 사용합니다:

• 생성기 ($G$): 두 출처의 원시 텍스트 표현을 통합된 잠재 의도 공간으로 투영합니다.
• 판별기 ($D$): 표현이 능동 쿼리에서 비롯되었는지 수동 시작자에서 비롯되었는지 구분하려고 시도합니다.
• 목적: 생성기는 판별기를 속이도록 훈련되어, 인코더가 출처별 노이즈를 제거하는 도메인 불변 표현을 학습하도록 강제함으로써 두 데이터 소스의 분포를 효과적으로 정렬합니다.

2. 의미 이산화기 (RQ-VAE)

"식별 불가능한" 능동 쿼리에 대한 편향 제거를 가능하게 하기 위해, 저자들은 잔차 양자화 변분 오토인코더 (RQ-VAE) 기반의 의미 이산화기를 도입합니다:

• 양자화: 쿼리의 연속적 의미 임베딩은 학습된 코드북을 사용하여 이산적 의미 코드 (클러스터) 로 양자화됩니다.
• 편향 제거 프록시: 고유한 아이템 ID 에 의존하는 대신, 시스템은 이러한 이산적 의미 코드의 스트리밍 빈도 ($P(c_q)$) 를 확률 밀도의 프록시로 사용합니다.
• 손실 함수: $-\log P(c_q)$로 로짓을 조정하고 판별기의 분류 확률 ($\beta_q$) 을 기반으로 샘플을 재가중함으로써 의미 편향 제거 손실이 구성됩니다. 이를 통해 시스템은 명시적인 아이템 ID 없이도 인기 있는 능동 쿼리에 대한 편향을 완화하고 롱테일 의도를 부각할 수 있습니다.

최종 학습 목적은 편향 제거 손실과 적대적 손실을 다중 작업 학습 프레임워크에서 결합합니다.

주요 기여

1. 패러다임 전환: 본 논문은 능동 사용자 표현(수동 입력 쿼리) 을 능동적 쿼리 추천에 통합하는 것을 선도하여, 폐쇄형 세계 시작자 시스템에 내재된 해로운 피드백 루프와 에코 챔버 효과를 깨뜨리는 것을 목표로 합니다.
2. PA-Bridge 프레임워크: 적대적 분포 정렬을 사용하여 개방형 세계와 폐쇄형 세계 의도를 통합하고, 의미 이산화 (RQ-VAE) 를 통해 통합된 잠재 공간에서 ID 없는 편향 제거를 가능하게 하는 새로운 아키텍처입니다.
3. 산업적 검증: 이 방법은 실제 생산 환경에서 광범위한 오프라인 및 온라인 평가를 통해 검증되었으며, 분포 변화와 데이터 희소성에 대한 견고성을 입증했습니다.

실험 결과

오프라인 평가

대규모 산업 데이터셋 (72 억 개 샘플) 을 사용하여 PA-Bridge 를 여러 베이스라인과 비교했습니다:

• 의미 검색 (기본): 시작자 로그만으로 학습.
• ID 기반 검색: 학습 가능한 ID 를 사용하는 표준 산업계 접근 방식.
• 단순 증강: 정렬 없이 능동 쿼리를 직접 추가.
• 절제 연구: 정렬 또는 재가중 모듈 제거.

결과:

• PA-Bridge는 기본 의미 모델 대비 6.72% 의 상대적 개선을 보인 64.65% 의 최고 AUC를 달성했습니다.
• 단순 증강 (기본 + 능동) 은 -2.71% 의 성능 감소를 초래하여 분포 정렬이 결정적임을 확인시켰습니다.
• 의미 모델링은 과거 피드백 루프에 과적합된 ID 기반 검색을 크게 능가했습니다.

온라인 A/B 테스트

Bytedance 플랫폼에 배포된 모델은 상당한 비즈니스 가치를 보여주었습니다:

• 사용자 활성 일수: +0.04% 증가 (성숙한 대규모 애플리케이션으로서 유의미함).
• 기능 침투율: +0.54% 증가.
• 다양성 지표:
  • 노출된 고유 쿼리: +30.65%.
  • 클릭된 고유 쿼리: +56.50%.
    이러한 결과는 시스템이 더 다양한 범위의 쿼리를 성공적으로 노출시키고 피드백 루프를 효과적으로 완화했음을 나타냅니다.

중요성 및 주장

본 논문은 능동 표현을 통해 사용자의 "자유 의지"를 활용함으로써 폐쇄형 루프 추천 시스템의 구조적 결함을 깨뜨릴 수 있다고 주장합니다. 그 중요성은 다음과 같습니다:

1. 에코 챔버 깨기: 반응적이고 인기 편향된 제안을 넘어 동적이고 개방형 세계 의도를 포착하는 것.
2. ID 없는 편향 제거 과제 해결: 구조화되지 않고 이산적 ID 가 없는 아이템 (쿼리) 이 있는 시나리오에서 인기 편향 제거를 위한 실현 가능한 솔루션 제공. 이는 대화형 AI 를 위한 산업계 스트리밍 학습의 일반적인 과제입니다.
3. 실제 배포: 이러한 이론적 발전이 생산 환경에서 사용자 참여 및 시스템 다양성의 측정 가능한 향상으로 이어짐을 입증.