When Should Multi-Round RAG Stop? Structured Stopping Judgments and Retrieval Reduction in Search-R1

기술 요약: 멀티 라운드 RAG는 언제 멈춰야 하는가?

문제 정의
Search-R1과 같은 멀티 라운드 검색 증강 생성(RAG) 시스템은 순차적 선택 문제, 즉 추론이 전개됨에 따라 언제 검색을 중단할지를 결정하는 문제에 직면한다. 독립적인 상태 분류 작업과 달리, 배포된 중단 정책(stopping policy)은 궤적(trajectory) 상의 첫 번째 임계값 통과(threshold crossing)에 의해 결정된다. 결과적으로, 조기 과잉 탐지(false positive)는 이후의 모든 올바른 상태를 억제할 수 있는 반면, 지나치게 보수적인 분류기는 검색 비용을 줄이는 데 실패할 수 있다. 기존 방법들(예: SIM-RAG, S2G-RAG)은 상태 수준의 점수나 엔드 투 엔드 평균만을 보고하는 경우가 많으며, 이는 왜 배포된 정책이 성공하거나 실패하는지를 완전히 설명하지 못한다. 본 논문은 상태 수준의 랭킹 품질과 "첫 번째 통과" 결정이라는 시스템 수준의 동작 사이의 간극을 다루며, 구체적으로 사전에 지정된 정확도 허용 오차를 위반하지 않으면서 얼마나 많은 검색 비용을 줄일 수 있는지 질문한다.

방법론
본 연구는 S2G-RAG의 구조화된 충분성 및 격차 판단 메커니즘(structured sufficiency-and-gap judgment mechanism)을 고정된(frozen) Search-R1 파이프라인에 적용한다. 핵심 실험 설계는 세 단계로 구성된다:

1. 감사된 업스트림 시스템: 저자는 Wiki-2018 코퍼스와 E5 top-3 리트리버를 사용하는 공식 Search-R1 Qwen2.5-7B PPO v0.2 체크포인트를 활용하며, 4회의 검색 예산을 설정한다. 추론기(reasoner), 리트리버(retriever), 그리고 검색 예산은 고정되어 있으며, 유일한 개입은 상태를 조기에 수락하기로 하는 결정이다.
2. 탐색적 도달 가능성 감사(Exploratory Reachability Audit): 200개의 네이티브 궤적에 대해 고정된, 개입하지 않는 "답변 전용(answer-only)" 프로브를 사용하여 경험적 조건부 오라클(empirical conditional oracles)을 추정한다. 이를 통해 정답이 이미 도달 가능한 상태인지, 그리고 최종 답변을 바꾸지 않으면서 이론적으로 몇 번의 검색 호출을 제거할 수 있는지를 결정한다.
3. 판단기 학습 및 평가:
   • 학습: 900개의 서로 다른 HotpotQA 질문에서 파생된 3,009개의 상태를 사용하여 Qwen3.5-2B 판단기를 학습시킨다. 판단기는 Boolean 형태의 sufficient 필드와 gap_items 리스트를 포함하는 구조화된 JSON 스키마를 출력한다.
   • 검증 및 고정: 그룹화된 검증 세트(100개 질문)를 사용하여 중단 임계값을 선택한다. 임계값은 최소 STOP 정밀도(precision) 0.90을 준수하면서 재현율(recall)을 최대화하도록 선택된다.
   • 확인적 분석: 최종 평가는 예약된 테스트 세트(1,000개 질문의 HotpotQA 세트 중 인덱스 200–999)에서 수행된다. 정책은 두 가지 고정된 기준에 따라 평가된다:
     • 비열등성(Non-inferiority): Exact Match(EM) 손실이 2 퍼센트 포인트 내로 유지되어야 한다 (ΔEM > -0.02의 95% 신뢰 구간 하한선).
     • 비용 절감(Cost Reduction): 평균 검색 호출 횟수가 감소해야 한다 (Δsearch < 0의 95% 신뢰 구간 상한선).

주요 기여

1. 구조화된 판단의 적응: 본 논문은 S2G 스타일의 구조화된 판단 메커니즘(충분성과 누락된 정보 예측)을 Search-R1 상태 인터페이스에 성공적으로 적응시켜, Search-R1 상태에 특화된 Qwen3.5-2B 판단기를 학습시켰다.
2. 궤적 인식 정식화: 후보 도달 가능성, 상태 랭킹, 첫 번째 통과 정책 동작, 그리고 시스템 결과를 분리하는 정식화를 도입했다. 이는 상태 랭킹(Average Precision)을 개선하는 것이 임계값 통과가 공격적일 경우 자동으로 시스템 성능 향상을 보장하지 않는다는 점을 강조한다.
3. 제어된 메커니즘 사다리: 이 연구는 이진 감독(binary supervision)이 평균 정밀도를 개선하지만 시스템 성능을 해칠 수 있는 반면, 구조화된 격차 감독(structured gap supervision)은 시스템 수준의 우월성을 주장하지 않으면서도 과도한 중단을 방지하는 데 도움을 준다는 제어된 메커니즘을 보여준다.

결과
확인적 테스트 세트(800개 질문)에 대한 결과:

• 검색 감소: 확장된 S2G 정책은 검색 호출을 77회(3.70%) 줄여, 평균을 2.60125에서 2.50500으로 감소시켰다. 이 감소량에 대한 95% 신뢰 구간은 $[-0.12000, -0.07375]$이며, 0을 포함하지 않는다.
• 정확도 영향: 공식 Exact Match(EM)는 0.44875(네이티브)에서 0.44250(확장형)으로 감소하여, 0.625 퍼센트 포인트의 손실을 보였다. 차이에 대한 95% 신뢰 구간은 $[-0.01250, 0]$이다. 이는 비열등성 기준(손실 < 2 퍼센트 포인트)을 충족한다.
• 상태 랭킹: 확장된 판단기는 Structured Base 대비 STOP Average Precision(AP)을 0.03983 개선했다.
• 리스크 분석: 정책은 69회의 시스템 수준 조기 중단을 발생시킨다. 이 중 42회는 "안전"(고정된 프로브가 정답을 맞힐 수 있었던 경우)하며, 27회는 "불안전"하다. 선택된 조기 중단 불안전 비율은 39.13%이다. 검증 시의 정밀도 0.9091(11개 상태 기준)은 확인 세트로 전이되지 않았다(정밀도가 0.6216으로 하락).

의의 및 주장
본 논문은 훈련된 S2G 스타일의 구조화된 판단기가 사전에 지정된 허용 오차 내에서 정답 정확도를 폭넓게 보존하면서 검색 호출을 줄일 수 있다고 주장한다. 구체적으로:

• 결과는 확인 세트에서 EM 손실이 0.63 퍼센트 포인트 미만인 상태로 약 3.7%의 검색 감소가 가능하다는 것을 입증한다.
• 본 논문은 해당 정책이 "안전한 중단 규칙(safe stopping rule)"이라고 주장하지 않는다. 높은 비율의 불안전한 조기 중단(39.13%)과 약한 캘리브레이션(Brier score 0.2952)은 이 정책이 리스크 인증을 받은 것이 아님을 나타낸다.
• 이 결과가 정확도 향상, 정확도 유지, 또는 총 추론 비용 감소를 의미하지는 않는다(판단기 자체의 연산 비용이 검색 절감량과 정규화되어 비교되지 않았기 때문이다).
• 본 연구는 "안전한 중단"(수락된 중단 중 조건부 오류가 낮음)과 "정확도 보존"(모든 질문에 대한 평균 품질)이 서로 다른 목적임을 강조하며, 현재의 정책은 후자를 달성하지만 전자는 달성하지 못한다.

저자는 향후 연구가 후보 도달 가능성, 상태 랭킹, 첫 번째 통과 정책 동작, 그리고 쌍을 이룬 품질-비용-리스크 지표라는 네 부분의 평가를 보고해야 한다고 결론지으며, 단일한 관점으로는 충분하지 않다고 언급한다.