기술 요약: 언제 능동적 RAG를 수행해야 하는가? 유용성, 교정 및 비용에 대한 예산 인식 기반 평가

문제 정의

능동적 검색 증강 생성(Active RAG) 시스템은 텍스트 생성 과정에서 외부 지식을 언제 검색할지 동적으로 결정하는 것을 목표로 한다. 그러나 현재의 평가 방식은 종종 "미지정된 운영 지점(underspecified operating point)" 문제를 겪는다. 두 시스템이 동일한 증거 사용 예산(예: 50%)을 가졌다고 주장하더라도, 교정 미스매치(calibration mismatch)로 인해 홀드아웃 데이터에서 실제 실현되는 사용률은 서로 다를 수 있다. 결과적으로, 한 시스템의 높은 정확도는 더 우수한 검색 정책 덕분이 아니라 단순히 더 느슨한 유효 예산을 반영한 것일 수 있다. 또한, 표준 평가는 세 가지 별개의 질문을 혼재시킨다: 랭킹의 품질(점수가 유용한 사례를 올바르게 정렬하는가?), 임계값의 신뢰성(교정된 임계값이 새로운 데이터에서 목표 예산을 충족하는가?), 그리고 실제 배포 비용(서로 다른 트리거 메커니즘이 서로 다른 계산 비용을 초래하는가?).

방법론

저자들은 능동적 검색을 **유용성 추정(utility estimation)**으로 재구성하는 **예산 인식 평가 프레임워크(budget-aware evaluation framework)**를 제안한다.

1. 유용성 정의

특정 예시에 대해 증거를 검색하는 순 유용성($u_i$)은 검색을 하지 않았을 때의 정답과 비교한 한계 정답 변화량으로 정의된다:
$$u_i = \text{correct}(a^R_i, y_i) - \text{correct}(a^0_i, y_i)$$
여기서 $u_i \in \{-1, 0, +1\}$는 각각 해로운(harmful), 중립적인(neutral), 유익한(beneficial) 검색을 나타낸다. 이 공식은 검색이 보편적으로 유익하지는 않다는 점을 인정한다. 즉, 검색은 성능을 저하시킬 수도 있다.

2. 평가 프로토콜: 세 가지 프런티어(Frontiers)

랭킹 품질과 임계값 교정을 분리하기 위해, 본 논문은 세 가지 구별된 평가 대상을 도입한다:

• 정확한 프런티어(Exact Frontier): 홀드아웃 예시들을 라우터 점수에 따라 정렬하고, 특정 예산 $\rho$에서 상위 $\lfloor \rho n \rfloor$개의 예시를 추출한다. 이는 매칭된 사용량 하에서의 랭킹 품질을 진단하지만, 배포 가능한 임계값은 아니다.
• 배포 가능한 프런티어(Deployable Frontier): 교정 분할(calibration split)에서 임계값을 선택하고 이를 변경 없이 홀드아웃 입력에 적용한다. 이는 임계값 전이성을 측정하며 실현된 사용률을 보고한다.
• 보수적 프런티어(Conservative Frontier): 예산 위반을 최소화하기 위해 유한 샘플 여유분(DKW 스타일 바운드 기반)을 사용하여 더 엄격한 임계값을 선택하며, 엄격한 예산 준수에 따른 정확도 비용을 측정한다.

3. 비용 계정(Cost Accounting)

프레임워크는 증거 사용률과 총 배포 비용을 구분한다. 비용은 트리거 제품군에 따라 다음과 같이 분해된다:

• 쿼리 전용 라우터(Query-only routers): 결정을 내리기 전에 저렴한 피처 비용을 지불한다.
• 불확실성 라우터(Uncertainty routers): 결정 전 계산 단계로 '검색을 하지 않은 생성' 과정을 사용한다.
• 검색 점수 라우터(Retrieval-score routers): 결정을 내리기 전 "프로브 검색(probe retrieval)" 비용을 지불한다.
• 전체 피처 라우터(Full-feature routers): 생성과 프로브 검색을 결합한다.
  이러한 분해를 통해 특정 증거 예산이 전체 계산 비용의 유효한 대리 지표인지 평가하기 위한 토큰 등가 비용 시뮬레이션이 가능하다.

4. 실험 설정

• 데이터셋: HotpotQA, 2WikiMultiHopQA, MuSiQue.
• 모델: Qwen2.5-1.5B (주 모델), SmolLM2-1.7B, Granite-3.1-2B.
• 검색: 후보 단락에 대한 BM25 (제어된 환경) 및 글로벌 후보 풀 (노이즈가 있는 환경).
• 평가된 트리거: Adaptive-RAG 스타일(쿼리 복잡도), 엔트로피, 최소 토큰 신뢰도, BM25 점수, 그리고 학습된 예산 유용성 라우터(BUR-linear 및 BUR-GBM).

주요 결과

1. 검색 유용성은 이질적이다

검색은 단조적이지 않다. "항상 검색"하는 방식이 HotpotQA에서 정확도를 개선하지만(15.4%에서 43.4%로), 2Wiki에서는 8.8%, HotpotQA에서는 4.0%의 사례에서 해를 끼친다. MuSiQue의 경우, 검색이 필수적이지만 여전히 낮은 절대 정확도를 보인다 (2.2% vs 11.9%). 유용성 분포는 데이터셋과 증거 소스(예: 글로벌 vs 후보자 검색)에 따라 크게 달라진다.

2. 랭킹 품질 vs 교정

• 랭킹: 특정 트리거 제품군이 일관되게 우위를 점하지 못한다. HotpotQA에서 학습된 BUR 라우터, 최소 토큰 신뢰도, 엔트로피 베이스라인은 50% 타겟에서 유사한 배포 가능 정확도(~33%)를 달s한다. 단순한 베이스라인이 학습된 라우터와 대등한 성능을 보이기도 한다.
• 교정 실패: 50% 타겟에 맞춰 교정된 명목상 임계값은 홀드아웃 데이터에서 해당 예산을 준수하는 데 자주 실패한다. 2Wiki/Qwen 실험에서 28.6%의 라우터-분할 조합이 타겟을 위반했으며, HotpotQA에서는 이 비율이 65.7%까지 상승했다.
• 보수적 교정: 보수적인 임계값 규칙을 적용하면 예산 위반은 크게 줄어들지만, 정확도 손실이 발생한다 (예: HotpotQA에서 33.8%에서 32.0%로 하락).

3. 모델 및 증거 강건성

비단조적 유용성과 교정 실패 현상은 모델 제품군(Qwen, SmolLM2, Granite) 전반에 걸쳐 지속된다. 특정 최적의 라우터는 모델에 따라 달라지지만(예: SmolLM2는 BUR-GBM, Qwen은 BUR-linear), 평가 프런티어 프로토콜 자체는 잘 전이된다. 또한, 노이즈가 많은 증거 소스(글로벌 BM25)는 검색의 해로움을 증가시키고 라우터 순위를 변화시킨다.

4. 비용 계정의 영향

증거 사용량만으로는 불완전한 비용 대리 지표이다. 시뮬레이션 결과, 결정 전 계산을 요구하는 라우터(예: 프로브 검색을 사용하는 BUR-linear)는 동일한 증거 사용 예산에서 유사한 정확도를 달성하더라도 쿼리 전용 라우터보다 훨씬 더 많은 비용이 들 수 있음을 보여준다.

의의 및 주장

본 논문은 능동적 RAG를 단일 지점의 정확도 문제가 아닌 **예산이 정해진 의사결정(budgeted decision-making)**으로 평가해야 한다고 주장한다. 저자들의 주장은 다음과 같다:

1. 방법론적 전환: 향후 평가는 정확도와 함께 정확한 프런티어(랭킹 품질), 배포 가능한 프런티어(임서값 전이성), 실현된 사용량, 임계값 전이 오류, 해로움 비율, 그리고 비용 분해를 반드시 보고해야 한다.
2. 보편적 승자는 없음: 단일한 "최고"의 라우터 제품군은 존재하지 않으며, 성능은 데이터셋, 모델, 특정 예산 제약에 따라 달라진다.
3. 해로움은 무시할 수 없음: 검색은 성능에 적극적으로 해를 끼칠 수 있으며, 이는 단순히 혜택을 측정하는 것이 아니라 감사가 필요하다.
4. 교정이 핵심임: 명목상의 타겟 예산은 관찰된 예산이 아니다. 시스템은 미래의 보지 못한 데이터에서도 제약 조건을 준수할 수 있는 능력에 대해 평가받아야 한다.

이 연구는 새로운 보편적 라우터를 제안하는 것이 아니라, 기존 및 미래의 능동적 RAG 시스템을 명시적이고 재현 가능한 운영 지점에서 비교하기 위한 엄격한 프로토콜을 제공한다. 저자들은 자신들의 실험이 소규모 모델과 후보자 기반 검색을 사용하고 있음을 언급하며, 이것이 완전한 오픈 도메인 시스템에 대한 결정적인 순위 매기기라기보다는 통제된 진단임을 밝히며 겸손한 태도를 유지한다.