기술 요약: 모든 것을 아우르는 단 한 번의 검색 (One Retrieval to Cover Them All)

문제 정의

현재의 검색 증강 생성(RAG) 시스템은 **단일 쿼리 관련성(single-query relevance)**에 최적화되어 있으며, 고립된 사용자 쿼리와 의미적으로 유사한 문서를 검색합니다. 그러나 기업 사용자는 일반적으로 지식 베이스(KB)와 상호작용할 때 **세션(sessions)**을 통해 소통합니다. 즉, 세션은 의미적으로 서로 떨어진 지식 베이스의 부분들을 가로지르는 일련의 연관된 질문들로 구성된 일관된 에피소드입니다.

본 논문은 결정적인 "세션 커버리지 격차(session coverage gap)"를 식출합니다. 표준 RAG 시스템은 사용자가 한 세션 동안 필요로 하는 전체 문서 세트를 단 한 번의 검색으로 모두 찾아내지 못하는데, 이는 해당 문서들이 서로 다른 의미적 영역(semantic neighborhoods)에 위치하기 때문입니다. 예를 들어, 웹사이트를 구축하려는 사용자는 도메인 설정, 템플릿 디자인, 결제 처리와 관련된 기사들이 필요합니다. 이 문서들은 기능적으로는 연관되어 있지만, 임베딩 공간상에서는 의미적으로 멀리 떨어져 있을 수 있습니다.

• 사각지대(The Blind Spot): 표준 검색 지표(예: Recall@k)는 단일 질문에 대한 최적의 문서를 찾는 데 최적화되어 있어, 다중 문서 정보 요구 사항을 간과합니다.
• 결과(The Consequence): WixQA 벤치마크에서 표준 RAG 시스템은 단 한 번의 검색 호출($k=8$)로 사용자 세션 수준의 정보 요구 사항 중 **41%**만을 충족합니다. 사용자는 남은 지식에 접근하기 위해 여러 번의 후속 쿼리를 발행해야 하며, 이는 지연 시간, API 비용 및 사용자 마찰을 증가시킵니다.

방법론

저자들은 단순한 의미적 유사성이 아니라 사용자 행동 패턴에 맞춰 지식 베이스를 재구조화하는 사전 검색(pre-retrieval) 방식인 **공태 발생 인지 지식 베이스 재구성(Co-occurrence-Aware Knowledge Base Reorganization)**을 제안합니다. 이 방법은 두 단계로 구성됩니다.

1. 오프라인: 공태 발생 인지 클러스터링 (Co-occurrence-Aware Clustering)

시스템은 단순한 텍스트 의미 유사성이 아닌, 문서 간의 공태 발생 패턴(세션 내에서 함께 액세스되는 문서)을 기반으로 새로운 임베딩 공간을 학습합니다.

• 시퀀스 구축: 공태 발생 시퀀스는 다음 세 가지 소스로부터 구축됩니다:
  1. 그라운드 트루스(Ground-truth): 여러 개의 관련 문서 ID를 포함하도록 전문가가 레이블링한 쿼리.
  2. 임베딩 근접 이웃 워크(Embedding-neighborhood walks): 교차 영역 관계를 포착하기 위해 높은 점프 확률(40%)을 가진 의미적 유사도 그래프에서의 랜덤 워크.
  3. QA 기반 시퀀스: 합성된 질문-답변 쌍 및 그 소스 문서의 이웃들.
• 임베딩 학습: 문서 ID를 토큰으로 취급하고 시퀀스를 문장으로 간주합니다. Word2Vec (CBOW) 모델을 학습시켜 공태 발생 임베딩($z_d$)을 생성합니다. 이는 기능적 관련성을 포착합니다: 세션 내에서 함께 필요한 문서들은 $z$-공간에서 가깝게 배치되지만, 실제 의미적 유사성은 낮을 수 있습니다.
• 계층적 클러스터링: 공태 발생 임베딩에 대해 응집형 클러스터링(Agglomerative clustering)을 적용하여 문서를 클러스터로 그룹화합니다. 목표는 유효 KB 크기를 원래 크기의 **20%**로 줄이는 것입니다 (예: 6,221개 문서 $\to$ 1,244개 클러스터).

2. 온라인: 클러스터 확장을 통한 하이브리드 검색 (Hybrid Retrieval with Cluster Expansion)

쿼리 시점에 시스템은 다음과 같은 하이브리드 검색 과정을 수행합니다:

1. 바닐라 검색(Vanilla Retrieval): 표준 의미적 유사성(모든 인코더 사용 가능)을 기반으로 상위-$k_v$(예: 3) 문서를 검색합니다.
2. 클러스터 확장(Cluster Expansion): 검색된 각 문서에 대해, 사전에 계산된 클러스터 내의 다른 모든 문서를 확장 후보로 수집합니다.
3. 재순위화(Re-ranking): 바닐라 결과와 확장 후보의 합집합을 원래의 쿼리-문서 유사도를 사용하여 재순위화한 후 최종 상위-$k$(예: 8) 결과를 반환합니다.

이 접근 방식은 **인코더 불가지론적(encoder-agnostic)**이며(클러스터 구조는 쿼리 인코더와 독립적으로 학습됨), 사전 검색(pre-retrieval) 방식입니다(KB 재구성은 오프라인에서 한 번 수행됨).

주요 기여

1. 세션 수준 평가 지표: 본 논문은 단일 쿼리 세션 커버리지(Single-Query Session Coverage) (한 번의 호출로 검색된 세션 문서의 비율)와 $\tau$-커버리지 도달 호출 횟수(Calls to $\tau$-Coverage) (특정 비율의 세션을 커버하는 데 필요한 호출 횟수)를 도입합니다. 이러한 지표는 평가의 초점을 단일 쿼리 재현율에서 총체적인 세션 만족도로 전환합니다.
2. 공태 발생 인지 KB 재구성: 클러스터 확장 하이브리드 검색을 가능하게 하기 위해 공태 발생 패턴을 사용하여 오프라인에서 KB를 재구성하는 새로운 방법을 제시합니다.
3. 실증적 검증: 네 가지 서로 다른 임베딩 모델, 여섯 가지 기능적 도메인 및 다양한 세션 복잡도에 대해 일관된 성능 향상을 입증했습니다.

결과

WixQA(6,221개의 기업 지원 문서) 및 E-Commerce 지원 코퍼스에서 평가되었습니다:

• 세션 커버리지: 제안된 방법은 $k=8$에서 단일 쿼리 세션 커버리지를 바닐라 RAG의 **41.4%**에서 **59.1%**로 높였습니다 (절대적 차이 +17.7%; 95% CI: [14.1, 20.4]).
• 검색 효율성: 70% 세션 커버리지에 도달하기 위해, 이 방법은 평균 검색 호출 횟수를 바닐라의 4.0회에서 2.6회로 줄여 34%의 감소를 달랐습니다.
• 인코더 견고성: 이 방법은 테스트된 네 가지 임베딩 모델(MiniLM, BGE, GTE, E5) 모두에서 절대적 이득 범위 **+17.1% ~ +20.6%**를 기록하며 커버리지를 개선했습니다.
• 도메인 일반화: 이득은 여섯 가지 별개의 기능적 도메인(예: Bookings, Apps, Editor) 전반에서 일관되게 나타났으며, 개선 폭은 +12.7%에서 +21.5% 사이였습니다.
• KB 압축: 클러스터링을 통해 커버리지를 개선하면서도 유효 KB 크기를 원래의 **20%**로 줄였습니다.
• 정밀도 트레이드오프(Precision Trade-off): 첫 번째 히트 정밀도(Hits@K)는 약간 감소(96.0% $\to$ 93.0%)했으나, 저자들은 이를 훨씬 더 넓은 세션 커버리지를 얻기 위한 수용 가능한 트레이드오프라고 주장합니다.
• 경계 조건: 이 방법은 HotpotQA에서 이득을 보이지 않았는데, 이는 개선 사항이 확장 메커니즘 자체가 아니라 세션 간 문서 재사용이 발생하는 지속적인 지식 베이스에 의존함을 확인해 줍니다.

의의 및 주장

본 논문은 단일 쿼리 재현율이 아닌 세션 수준 커버리지가 기업용 RAG 평가의 주요 지표가 되어야 한다고 주장합니다. 이 연구의 의의는 다음과 같습니다:

• 의미적 격차 해소: 의미적 유사성과 사용자 정보 요구 사항이 서로 다른 신호임을 입증합니다. 함께 필요한 문서들이 반드시 의미적으로 유사한 것은 아니며, 임베딩 유사성에만 의존하면 중요한 맥락을 놓칠 수 있습니다.
• 효율성 및 비용: 첫 번째 호출에서 올바른 문서를 검색함으로써, 복잡한 지원 문제를 해결하는 데 필요한 API 호출 횟수, 지연 시간 및 사용자 마찰을 줄입니다.
• 상보성: 이 접근 방식은 쿼리 재작성(query rewriting)이나 사후 검색 압축(post-retrieval compression)과 무관합니다. 따라서 엔드 투 엔드 세션 최적화를 위해 기존의 쿼리 측 최적화(다중 쿼리 재작성 등)나 사후 검색 방법(EDC2-RAG 등)과 결로 결합될 수 있습니다.
• 실용성: 오프라인 재구성은 계산적으로 효율적이며(6천 개 문서 기준 20분 미만), 온라인 오버헤드는 미미하여 실제 운영 환경 배포가 가능합니다.

저자들은 현재의 공태 발생 시퀀스가 합성 및 임베딩 기반 소스로부터 파생되었지만, 이 방법이 공태 발생 패턴이 기업용 RAG 시스템을 위한 강력하고 보완적인 신호로서 역할을 할 수 있는 프레임워크를 구축한다고 결론짓습니다.