기술 요약: 리트리버 포트폴리오: 적응형 RAG를 위한 원칙적 접근 방식

1. 문제 정의

검색 증강 생성(RAG) 시스템은 일반적으로 모든 사용자 쿼리를 처리하기 위해 고정된 하이퍼파라미터 세트를 가진 단일 리트리버에 의존합니다. 그러나 실제 애플리케ations의 쿼리 분포는 단순한 사실 확인 질문부터 복잡한 멀티홉 추론 작업에 이르기까지 매우 이질적입니다. 서로 다른 검색 구성(모델, 전략 또는 하이퍼파라미터)은 특정 영역에 특화되어 있는 경우가 많으며, 이는 단일 리트리버가 모든 쿼리에 대해 최적일 수 없음을 의미합니다. Adaptive-RAG 및 Vendi-RAG와 같은 최근 연구들은 검색 전략을 적응시키려 시도하지만, 이들은 수동으로 설계된 작은 전략 집합 위에서 작동하거나 추론 시점에 비용이 많이 드는 쿼리당 하이퍼파라미터 튜닝을 수행하여 높은 지연 시간과 토큰 비용을 초래합니다.

본 논문은 **리트리버 포트폴리오 최적화(Retriever Portfolio Optimization)**에 대한 원칙적인 접근 방식을 제안함으로써 "one-size-fits-all(일률적)" 검색의 한계를 해결합니다. 핵심 문제는 대규모 후보 풀 $m$개로부터 $k$개의 다양하고 작은 부분 집합(포트폴리오)을 선택하는 것입니다. 목표는 단일 리트리버의 평균 성능을 극대화하는 것이 아니라, 기저 분포에서 추출된 무작위 쿼리에 대해 "best-of-$k$" 리트리버의 기대 성능을 극대화하는 것입니다.

2. 방법론

2.1. 이론적 프레임워크

저자들은 기대 best-of-$k$ 목적 함수를 사용하여 문제를 공식화합니다. $Q$를 미지의 분포 $D$를 가진 쿼리 집합이라 하고, $\mathcal{R}$을 후보 리트리버 집합이라고 합시다. 점수 함수 $s(q, r) \in [0, 1]$는 쿼리 $q$에 대한 리트리버 $r$의 적합성을 측정합니다. 포트폴리오 $S \subseteq \mathcal{R}$ (여기서 $|S| \le k$)의 품질은 다음과 같이 정의됩니다:
$$F(S) = \mathbb{E}_{q \sim D} \left[ \max_{r \in S} s(q, r) \right]$$
목표는 $F(S)$를 최대화하는 $S$를 찾는 것입니다. 저자들은 임의의 고정된 쿼리 $q$에 대해 함수 $f_q(S) = \max_{r \in S} s(q, r)$가 비음수(non-negative), 단조(monotone) 및 부가성(submodular)을 가짐을 증명합니다. 결과적으로, 모집단 목적 함수와 그 경험적 추정치 또한 부가적 집합 함수(submodular set functions)가 됩니다.

2.2. 알고리즘: 그리디 포트폴리오 선택

이 최적화 문제를 효율적으로 해결하기 위해, 본 논문은 알고리즘 1, 즉 샘플 기반 그리디 절차를 제안합니다:

1. 샘플링: 분포 $D$에서 $N$개의 독립 항등 분포(i.i.d.) 쿼리를 추출합니다.
2. 경험적 추정: 모집단 목적 함수를 경험적 추정치 $\hat{F}_Q(S)$로 대체합니다.
3. 그리디 구축: $\hat{F}_Q(S \cup \{r\}) - \hat{F}_Q(S)$를 최대화하는 리트리버 $r$을 반복적으로 선택합니다. 알고리즘은 이득을 효율적으로 계산하기 위해 현재 쿼리당 최고 점수를 담은 메모이제이션 벡터를 유지합니다.
4. 보장: 알고리즘은 $O(k |\mathcal{R}| N)$ 시간에 실행됩니다. 이론적 분석에 따르면, 샘플 크기 $N$이 풀 크기와 원하는 신뢰 수준에 맞게 적절히 조절된다면, 이 알고리즘은 통계적 오차 항 $\epsilon$을 제외하고 최적의 포트폴리오에 대해 $(1 - 1/e)$ 근사치를 달성함을 보여줍니다.

2.3. 추론 파이프라인

제안된 시스템은 두 단계로 구성됩니다:

1. 오프라인 포트폴리오 구축: 알고리즘 1을 사용하여 훈련 데이터를 기반으로 대규모 풀(Dense, Diversity-based, Graph-based 리트리버 포함)로부터 다양하고 상호 보완적인 $k$개의 리트리버 포트폴리오를 선택합니다.
2. 적응형 추론: 경량화된 **라우터(router)**를 학습시켜 특정 쿼리에 대해 최적의 리트리버(들)를 동적으로 선택합니다.
   • 라우터는 원문 텍스트와 캐시된 밀집 임베딩(MPNet/E5)을 사용하여 쿼리를 인코딩합니다.
   • 학습된 리트리버 임베딩과의 유사도를 통해 포트폴리오 멤버 $k$개를 스코어링합니다.
   • 지연 시간을 최소ization하기 위해 상위 $\ell$개의 리트리버를 병렬로 실행합니다.
   • 선택된 LLM은 병렬 리트리버들의 답변을 집계하여 최종 출력을 생성합니다.

이 접근 방식은 적응 과정을 오프라인으로 분리하여, 추론 시점의 튜닝에 필요한 비용을 상쇄합니다.

3. 주요 기여

• 문제 공식화: "RAG 포트폴리오 최적화" 문제를 도입하여, 기대 best-of-$k$ 목적 함수를 통해 이질적인 쿼리 분포를 커버하기 위한 작고 다양한 리트리버 집합의 선택을 공식화했습니다.
• 이론적 보장: 목적 함수가 부가성(submodularity)을 가짐을 증명하여, $(1 - 1/e)$ 근사 보장을 가진 효율적인 근사 최적 포트폴리오 구축이 가능함을 입증했습니다.
• 실용적 파이프라인: 오프라인 포트폴리오 선택과 병렬 검색 및 답변을 가능하게 하는 경량 라우터로 구성된 완전한 시스템을 제시하여, 순차적 적응 방식에 비해 추론 지연 시간을 크게 줄였습니다.
• 실험적 검증: 네 가지 다양한 QA 벤치마크(HotpotQA, 2WikiMultiHopQA, TriviaQA, MusiQue)에서 단일 리트리버 베이스라인 및 추론 시점 튜닝 방식보다 우수한 성능을 입증했습니다.

4. 실험 결과

본 방법론은 두 가지 답변 모델(Gemma-3-27B-IT 및 Llama-3.1-70B-Instruct)을 사용하여 네 가지 오픈 도메인 QA 데이터셋에서 평가되었습니다.

• 검색 커버리지: 학습된 포트폴리오는 "평균 최상(average-best)" 리트리버 선택보다 성능이 현저히 높았습니다. 예를 들어, $k=5$ 크기의 포트폴리오는 상위 5개 평균 리트리버의 Support Recall이 0.492인 것에 비해 0.594를 달성했습니다. 이러한 이득은 단순히 더 많은 문서를 검색하는 것이 아니라 상호 보완성(서로 다른 쿼리 하위 집단을 커버함)에서 기인함을 보여주었습니다.
• 엔드 투 엔드 정확도: 라우팅된 포트폴리오는 단일 리트리버 베이스라인 및 Vendi-RAG(추론 시점 튜닝 베이스라인)보다 일관되게 높은 Exact Match(EM) 점수를 기록했습니다. "all-pool" 포트폴리오(Dense, Vendi, GraphDense 리트리버 결합)가 모든 데이터셋에서 가장 높은 평균 EM을 기록했습니다.
• 효율성 대비 정확도: 동일한 Vendi 탐색 공간을 사용하는 Vendi-RAG와의 통제된 비교에서, 오프라인 포트폴리오 방식은 현저히 낮은 지연 시간과 토큰 비용으로 대등하거나 더 나은 정확도를 달성했습니다. 이는 포트폴리오가 고정된 리트리버 세트의 병렬 실행을 허용하는 반면, Vendi-RAG는 순차적이고 반복적인 생성 및 판단을 요구하기 때문입니다.
• 라우터 효과성: 절제 연구(Ablation studies) 결과, 학습된 라우터는 무작위 선택보다 성능이 뛰어났으며, 단일 최상 평균 멤버보다 개선된 리트리버를 일관되게 선택하여 쿼리를 가장 적합한 포트폴리오 멤버로 라우팅함을 보여주었습니다.

5. 의의 및 주장

본 논문은 RAG의 최적화 부담을 비용이 많이 드는 순차적 추론 시점 적응에서 효율적인 오프라인 포트폴리오 구축으로 전환함으로써 분야를 발전시킨다고 주장합니다. 저자들의 주장은 다음과 같습니다:

• 단일 리트리버는 최적이 아니다: 단일 전략을 고정하는 것은 다양한 정보 요구 사항에 대한 성능 손실을 초래합니다.
• 상호 보완성이 핵심이다: 작고 다양한 리트리퍼 세트는 단일 "최고" 리트리버나 단순히 문서 예산을 늘리는 것보다 쿼리 분포를 더 효과적으로 커버할 수 있습니다.
• 효율성: 고정된 포트폴리오는 병렬 검색 및 LLM 호출을 가능하게 하여, 높은 정확도를 달면서도 예측 가능한 낮은 지연 시간과 토큰 사용량을 제공하며, 이를 통해 적응형 RAG를 실제 운영 환경에 배포 가능하게 만듭니다.

본 연구는 모든 RAG 과제를 해결한다고 주장하는 것이 아니라, 이론적으로 근거가 있고 실증적으로 효과적이며, 최적에 가까운 근사치를 보장하는 리트리밍 전략의 선택 및 라우팅 방법을 제공합니다.