기술 요약: RAG 및 다중 목적 정렬을 통한 쿼리 자동 완성의 랭킹과 생성 통합

문제 정의

쿼리 자동 완성(Query Auto-Completion, QAC)은 사용자가 타이핑할 때 완성형 문구를 제안하여 키스트로크를 줄이고 의도를 명확히 하도록 설계된 검색 시스템의 핵심적인 첫 접점입니다. 전통적인 QAC 시스템은 후보군을 추출한 후 관련성과 인기도를 기준으로 점수를 매기는 학습 기반 랭킹(learning-to-rank) 모델을 따르는 2단계 검색 및 랭킹(retrieve-and-rank) 패러다임에 의존합니다.

저자들은 이러한 기존 방식의 세 가지 근본적인 한계를 식별했습니다:

1. 제한된 커버리지(Limited Coverage): 커버리지가 과거 로그에 국한되어, 상호작용 이력이 적은 새로운 또는 롱테일(long-tail) 접두사에 대해 고품질의 제안을 제공하지 못합니다.
2. 복잡한 목적 함수 최적화(Complex Objective Optimization): 관련성, 안전성, 다양성, 근거성(groundedness)과 같은 상충하는 목적들을 균형 있게 조절하기 위해서는 광범적인 수동 피처 엔지니어링과 휴리스틱 블렌딩이 필요하며, 이는 복잡한 상호 의존성을 포착하는 데 자주 실패합니다.
3. 전체론적 최적화의 부재(Lack of Holistic Optimization): 분리된 후보 생성 및 랭킹 단계는 리스트 수준의 최적화를 방해하여, 종종 중복되거나 의미적으로 유사한 제안을 생성하는 결과를 초응합니다.

최근 대규모 언어 모델(LLM)을 사용하는 생성적 접근 방식은 커버리지를 해결하지만, 환각(hallucination)(존재하지 않는 아이템 제안), 근거성 부족(실제 검색 가능한 콘텐츠 무시), 안전성 위험(유해한 완성형 생성)이라는 새로운 과제를 도입합니다.

방법론

본 논문은 RAG(Retrieval-Augmented Generation)와 다중 목적 직접 선호도 최적화(Multi-Objective Direct Preference Optimization, DPO)를 사용하여 QAC를 엔드 투 엔드 리스트 생성으로 재정의하는 통합 프레임워크를 제안합니다.

1. 아키텍처 및 RAG 파이프라인

시스템은 다단계 RAG 파이프라인(그림 2)으로 작동합니다:

• 후보 생성(Candidate Generation): 후보는 두 가지 보완적인 채널에서 소싱됩니다: 쿼리 인덱스(과거 로그로부터의 빠른 조회)와 콘텐츠 리트리버(카탈로그로부터의 임베딩 기반 검색). 이를 통해 높은 재현율(recall)을 확보하고 제안을 실제 카탈로그 아이템에 근거하게 합니다.
• 프롬프트 구성(Prompt Construction): 모든 후보에 대해 카탈로그 메타데이터(제목, 평점)와 쿼리 특징(빈도, 전환율)을 포함한 맥락 정보를 검색합니다. 이 맥락은 생성을 뒷받침하기 위해 구조화된 프롬프트로 컴파일됩니다.
• 리스트 생성(List Generation): 미세 조정된 LLM(생성기)이 프롬프트를 처리하여, 사전 생성된 후보를 랭킹하는 대신 단 한 번의 순방향 패스(forward pass)로 완전하고 정렬된 제안 리스트를 합성합니다.

2. 학습 파이프라인

생성기는 4단계 과정을 통해 학습됩니다(그림 3):

• 합성 데이터 생성(Synthetic Data Generation): 고품질 레이블 데이터의 희소성 때문에, 저자들은 반복적인 비평 및 수정(critique-and-revision) 프로세스를 채택합니다. "교사(Teacher)" LLM이 초기 리스트를 생성하면, "비평가(Critic)" LLM이 중복성이나 낮은 다양성과 같은 문제를 분석합니다. 그 후 교사 모델은 출력을 수정합니다. 이 루프를 통해 고품질의 합성 코퍼스(~50k 쌍)를 생성하며, 이는 소량의 인간 레이블 데이터와 결합됩니다.
• 지도 미세 조정(Supervised Fine-Tuning, SFT): 생성기는 작업 구조와 출력 형식을 학습하기 위해 결합된 합성 및 인간 레이블 데이터셋에 대해 미세 조정됩니다.
• 검증 도구 세트(Verifier Suite): 여섯 가지 특정 목적을 실행하기 위해 검증 도구 세트가 정의됩니다:
  1. 관련성(Relevance): 인간의 판단을 사용하여 미세 조정된 모델을 통해 점수화됩니다.
  2. 안전성(Safety): 도메인 특화 안전 정책에 따라 학습된 이진 분류기입니다.
  3. 참여도(Engagement): 조건부 전환 확률 및 과거 비율을 기반으로 합니다.
  4. 카탈로그 근거성(Catalog Groundedness): 제안이 비어 있지 않은 검색 결과를 반환하는지 확인하는 규칙 기반 체크입니다.
  5. 맥락 근거성(Context Groundedness): 제안이 검색된 맥락으로부터 유도될 수 있는지 확인하는 LLM-as-judge 검증입니다(환각 방지).
  6. 다양성(Diversity): 유사한 검색 결과를 페널티 처리하는 조정된 엔트로피 공식입니다.
  7. 형식(Format): 파싱 가능한 출력 구조를 위한 규칙 기반 체크입니다.
• 다중 목적 직접 선호도 최적화(Multi-Objective DPO): SFT를 거친 모델은 DPO를 통해 추가로 정렬됩니다. 후보 리스트를 샘플링하고, 복합 보상 함수(검증기 점수의 가중 합)로 점수를 매긴 뒤, 상당한 보상 차이가 있는 쌍을 선택하여 선호도 쌍을 구성합니다. 모델은 참조 정책과의 근접성을 유지하면서 더 높은 보상을 가진 리스트를 선호하도록 최적화됩니다.

3. 하이브리드 서빙 아키텍처

품질과 엄격한 지연 시간 제약 사이의 균형을 맞추기 위해, 저자들은 2계층 아키텍처를 배포합니다:

• 오프라인 사전 계산(Offline Pre-computation): **대규모 생성기(Large Generator)**가 고빈도 접두사에 대한 제안을 사전 계산하여 밀리초 미만의 속도로 검색할 수 있도록 캐싱합니다.
• 온라인 실시간 추론(Online Real-time Inference): **소형 생성기(Compactly Generator)**는 캐시 미스(롱테일 또는 새로운 접두사)를 처리하며, 허용 가능한 지연 시간(~100ms) 내에 신규 쿼리에 대한 커버리지를 보장합니다.

주요 기여

본 논문은 네 가지 주요 기여를 주장합니다:

1. QAC의 재정의: 랭킹 및 생성을 다중 목적 최적화와 함께 엔드 투 엔드로 통합함으로써, 경쟁하는 목표들을 총체적으로 균형 있게 조절할 수 있는 패러다임 시프트를 실현했습니다.
2. 검증 도구 세트: 관련성, 안전성, 근거성, 참여도, 다양성, 형식을 다루는 규칙 기반, 모델 기반 및 LLM-as-judge 검증 도구 세트를 정의하고 배포했습니다.
3. 합성 데이터 방법론: RAG, 다중 목적 DPO, 그리고 반복적인 비평-수정 프로세스를 결합하여 고품질의 합성 데이터를 생성하는 파이프라인을 제시했습니다.
4. 프로덕션 검증: 광범적인 오프라인, 인간 및 온라인 평가를 통해 대규모 상업용 검색 플랫폼에서의 접근 방식을 검증했습니다.

결과

프레임워크는 50,000개의 쿼리 접두사가 포함된 독자적인 데이터셋에서 평가되었으며, 실제 트래픽의 10%에 적용되어 라이브 A/B 테스트를 거쳤습니다.

오프라인 지표

전통적인 학습 기반 랭킹(LTR) 베이스라인 및 하이브리드 베이스라인과 비교했을 때:

• 커버리지: 전체 모델은 약 93%의 커버리지를 달성하여, LTR 베이스라인(84.6%)보다 현저히 높았으며 생성형 베이스라인과 경쟁할 만한 수준을 보였습니다.
• 안전성 및 근거성: DPO 튜닝은 불안전한 비율(베이스라인 0.79% 대비 0.65%)과 카탈로그 근거성 부족 비율(베이스라인 0.67% 대비 0.49%)을 유의미하게 감소시켜, 생성적 위험을 효과적으로 완화함을 입증했습니다.
• 관련성 및 다양성: 모델은 약 0.687의 관련성 점수와 74~76 범위의 다양성 점수를 기록하여, 관련성 측면에서 LTR 베이스라인을 능가하고 다양성 측면에서는 베이스라인과 대등하거나 이를 상회했습니다.

인간 평가

• 아이템 단위 관련성: 전체 모델은 LTR 베이스라인(0.653)에 비해 가장 높은 점수(0.699)를 획득했습니다.
• 쌍별 선호도(Pairwise Preference): DPO를 적용한 모델은 베이스라인 대비 강력한 선호도 점수(+0.40 ~ +0.69)를 보여, 사용자들이 제안을 더 유용하고 다양하다고 인식함을 나타냈습니다.

온라인 A/B 테스트

10%의 트래픽을 대상으로 한 통제된 실험에서:

• 키스트로크: 사용자의 입력 글자 수를 5.44% 감소시켰습니다.
• 채택률(Adoption): 제안 클릭률(CTR)을 3.46% 증가시켰습니다.
• 모든 개선 사항은 통계적으로 유의미했습니다 (p < 0.05).

의의 및 주장

저자들은 이 연구를 프로덕션 QAC 시스템을 위한 패러다임 전환으로 규정합니다. 이들은 RAG와 다중 목적 정렬을 통해 랭킹과 생성을 통합하는 것이 전통적인 시스템의 근본적인 트레이드오프를 극복하는 효과적인 솔루션을 제공한다고 주장합니다.

구체적으로, 본 논문은 다음과 같이 단언합니다:

• RAG와 다목적 DPO에 의해 제약되는 LLM 기반의 엔드 투 엔드 생성은, 광범적인 수동 피처 엔지니어링 없이도 관련성, 안전성, 근거성 및 다양성을 동시에 최적화할 수 있습니다.
• 제안된 프레임워크는 프로덕션에서 검증되었으며, 하이브리드 서빙 아키텍처를 통해 복잡한 생성형 모델을 엄격한 지연 시간 제약 하에서도 배포할 수 있음을 증명했습니다.
• 본 방법론은 모바일 앱 검색을 넘어, 사용자가 대규모의 고정된 카탈로그를 탐색하기 위해 쿼리 제안에 의존하는 이커머스, 미디어 등 다른 도메인에도 일반화가 가능합니다.

이 연구는 단순한 검색이나 제약 없는 생성을 넘어, 현대적인 쿼리 자동 완성의 복잡한 상호 의존성을 다루는 원칙적인 접근 방식을 제공함으로써 단순 검색 또는 무제한 생성 이상의 체계를 구축했습니다.