1. 연구 배경 및 문제 정의 (Problem)

대화형 검색 (Conversational Search) 은 사용자의 이전 대화 맥락을 바탕으로 현재 질문을 이해하고 관련 문서를 검색해야 합니다. 그러나 사용자의 질문은 종종 맥락에 의존적이거나 모호하여 (예: "그 노래는 언제 출시되었나요?"), 검색 시스템이 올바른 문서를 찾지 못하는 문제가 발생합니다. 이를 해결하기 위해 대화형 쿼리 재작성 (Conversational Query Rewriting, CQR) 이 중간 단계로 사용됩니다.

기존 연구들의 주요 한계점은 다음과 같습니다:

• 단편적인 피드백: 대부분의 기존 모델은 인간이 라벨링한 재작성된 쿼리나 단순한 읽기 편이성 (readability) 만을 최적화하여 훈련되었습니다.
• 검색 및 응답 피드백 부재: 재작성된 쿼리가 실제 검색 결과 (Retrieval) 나 최종 답변 생성 (Response) 에 얼마나 기여하는지에 대한 피드백을 재작성 과정에 통합하지 못했습니다.
• 데이터 의존성: 검색 관련 피드백을 얻기 위해 주석 처리된 '골드 (Gold)' 패시지 (정답 문서) 가 필요하여 확장성이 떨어집니다.

2. 제안 방법론: MSPA-CQR

저자들은 다면적 자기 일관성 선호 정렬 (Multi-Faceted Self-Consistent Preference Aligned CQR, MSPA-CQR) 을 제안했습니다. 이 프레임워크는 재작성 (Rewriting), 검색 (Retrieval), 응답 (Response) 의 세 가지 차원에서 선호도를 학습합니다.

2.1. 핵심 구성 요소

1. 다면적 선호 데이터 구축 (Multi-Faceted Preference Data Construction):

   • LLM 을 사용하여 주어진 대화 맥락과 질문으로부터 여러 개의 후보 재작성 쿼리를 샘플링합니다.
   • 각 후보 쿼리에 대해 관련 문서를 검색하고, LLM 으로 답변을 생성합니다.
   • 자기 일관성 (Self-Consistency) 점수화: 주석 없이 자동으로 선호도를 평가하기 위해 세 가지 점수화 방식을 도입합니다.
     • 재작성 점수 (Rewrite Score): 여러 후보 쿼리 간의 의미적 유사성 (NLI 모델 기반) 과 쿼리의 길이를 고려하여, 맥락에 의존하지 않고 독립적으로 완성된 쿼리를 평가합니다.
     • 검색 점수 (Retrieval Score): 서로 다른 후보 쿼리가 검색한 문서 집합의 교집합 크기를 기반으로 평가합니다. 검색 결과가 일관되게 높을수록 좋은 쿼리로 간주합니다.
     • 응답 점수 (Response Score): 생성된 답변들 간의 의미적 유사성을 평가하여, 답변 생성에 도움이 되는 정보를 포함하는지 확인합니다.
   • 각 차원에서 점수가 가장 높은 쿼리 (Chosen) 와 가장 낮은 쿼리 (Rejected) 를 쌍으로 구성하여 선호도 데이터를 생성합니다.

2. 접두사 유도 다면적 직접 선호 최적화 (Prefix-Guided Multi-Faceted Preference Optimization, MDPO):

   • 기존 DPO (Direct Preference Optimization) 를 확장하여, 각 선호도 차원 (재작성, 검색, 응답) 에 해당하는 접두사 태그 (예: [REWRITE], [RETRIEVAL], [RESPONSE]) 를 입력 명령어에 추가합니다.
   • 이를 통해 모델이 특정 차원의 선호도를 구별하고 학습할 수 있도록 유도합니다.
   • 추론 (Inference) 단계에서는 세 가지 선호도 태그를 모두 사용하여 세 개의 재작성 쿼리를 생성한 후, 이를 연결 (Concatenation) 하여 최종 검색에 활용합니다.

3. 주요 기여 (Key Contributions)

• 새로운 피드백 루프: 재작성, 검색, 응답의 세 가지 차원에서 자기 일관성 기반의 자동 피드백을 도입하여, 주석 처리된 골드 패시지 없이도 고품질의 선호도 데이터를 구축할 수 있습니다.
• 다면적 정렬 프레임워크: 단일 목표가 아닌, 검색 성능과 답변 품질을 동시에 고려하는 다면적 선호 최적화 (MDPO) 를 제안했습니다.
• 접두사 제어 메커니즘: 모델이 서로 다른 선호도 (예: 검색 중심 vs. 답변 중심) 를 명확히 구분하도록 접두사를 활용하여 학습 효율성을 높였습니다.

4. 실험 결과 (Results)

• 데이터셋: TopiOCQA 와 QReCC 두 가지 주요 대화형 검색 데이터셋에서 실험을 수행했습니다.
• 성능: 희소 검색 (BM25) 과 밀집 검색 (ANCE) 모두에서 기존 SOTA 모델 (AdaCQR, RETPO, CHIQ 등) 을 모든 평가 지표 (MRR, NDCG@3, Recall@K) 에서 압도적으로 능가했습니다.
  • 특히 TopiOCQA 에서 MRR 은 41.4, NDCG 는 39.5 로 기존 최상위 모델 대비 유의미한 향상을 보였습니다.
• 제너럴라이제이션: 학습된 모델을 다른 데이터셋 (CAsT 19-21) 에 적용한 제로샷 (Zero-shot) 실험에서도 우수한 일반화 성능을 입증했습니다.
• 분석 결과:
  • 세 가지 선호도 (재작성, 검색, 응답) 를 모두 결합했을 때 성능이 가장 높았으며, 개별 선호도만 사용할 경우 성능이 저하됨을 확인했습니다. 이는 세 가지 차원이 상호 보완적임을 의미합니다.
  • 검색 선호도만 단독으로 사용할 경우 오히려 성능이 낮아지는 경우가 있었는데, 이는 검색된 문서에 노이즈가 포함되어 재작성 과정에 방해가 될 수 있기 때문으로 분석되었습니다.

5. 의의 및 결론 (Significance)

이 논문은 대화형 검색 시스템에서 쿼리 재작성이 단순히 문장을 명확하게 만드는 것을 넘어, 검색 시스템의 성능과 최종 답변의 질을 동시에 최적화해야 함을 강조합니다.

• 주석 비용 절감: 인간이 직접 라벨링한 정답 문서를 필요로 하지 않고 LLM 의 자기 일관성 (Self-Consistency) 을 통해 선호도 데이터를 구축함으로써, 데이터 구축 비용을 크게 줄였습니다.
• 시스템 통합: 재작성 단계에서 검색과 응답의 피드백을 통합함으로써, 검색 엔진과 생성 모델 간의 간극을 줄이고 더 정확한 정보 검색을 가능하게 합니다.
• 실용성: 다양한 검색 시스템 (희소/밀집) 과 모델 아키텍처에 적용 가능하며, 지연 시간 (Latency) 과 성능 간의 균형을 고려한 분석을 통해 실용적인 적용 가능성을 보여주었습니다.

결론적으로, MSPA-CQR 은 대화형 검색의 핵심 과제인 모호한 쿼리 해결을 위해 다각도의 피드백을 통합한 새로운 패러다임을 제시하며, 향후 대화형 AI 시스템의 성능 향상에 중요한 기여를 할 것으로 기대됩니다.