Lightweight Query Routing for Adaptive RAG: A Baseline Study on RAGRouter-Bench

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 검색 증강 생성 (RAG) 파이프라인은 토큰 비용과 성능이 크게 다른 다양한 검색 전략 (NaiveRAG, IterativeRAG 등) 을 포함합니다. 모든 쿼리에 대해 가장 비싼 전략을 사용하는 것은 비효율적입니다.
• 문제: 쿼리마다 가장 적합한 검색 전략을 선택하는 '라우팅 (Routing)'이 필요하지만, 최근 공개된 벤치마크인 RAGRouter-Bench(Wang et al., 2026) 에서는 아직 라우팅 분류기를 훈련한 연구가 존재하지 않았습니다.
• 목표: 본 연구는 RAGRouter-Bench 를 기반으로 쿼리 텍스트만을 사용하여 경량 분류기 (Lightweight Classifier) 기반의 라우팅 가능성을 체계적으로 평가하고, 이를 위한 첫 번째 베이스라인을 확립하는 것입니다.

2. 방법론 (Methodology)

연구는 RAGRouter-Bench 의 7,727 개 쿼리 (4 개 도메인: 위키, 문학, 법률, 의료) 를 대상으로 수행되었습니다. 각 쿼리는 사실 확인 (Factual), 추론 (Reasoning), 요약 (Summarization) 의 3 가지 유형으로 레이블링되어 있습니다.

가. 특징 추출 (Feature Sets)

라우팅 시 검색이나 LLM 호출 없이 쿼리 텍스트만으로 3 가지 특징을 추출했습니다.

1. 어휘적 특징 (Lexical): TF-IDF (Unigram, Bigram, 서브선형 스케일링).
2. 의미적 특징 (Semantic): MiniLM Sentence Embeddings (all-MiniLM-L6-v2, 384 차원).
3. 구조적 특징 (Structural): 질문 길이, 단어 수, 부정어 존재 여부, 질문사 (Who/What 등), 명사 개수 등 23 가지 수동 설계 특징.

나. 분류기 (Classifiers)

각 특징 집합에 대해 5 가지 분류기를 훈련 및 평가했습니다.

• 로지스틱 회귀 (Logistic Regression), SVM, 랜덤 포레스트 (Random Forest), KNN, MLP.
• 총 15 가지 (3 가지 특징 × 5 가지 분류기) 조합을 평가했습니다.

다. 라우팅 매핑 및 비용 시뮬레이션

• 매핑: 예측된 쿼리 유형을 특정 RAG 전략으로 매핑하여 비용 절감을 시뮬레이션했습니다.
  • single_hop (사실) → NaiveRAG (저비용)
  • multi_hop (추론) → HybridRAG (중간 비용)
  • summary (요약) → IterativeRAG (고비용)
• 평가 지표: 불균형한 레이블 분포를 고려한 Macro-averaged F1 점수와 정확도 (Accuracy) 를 주 지표로 사용했습니다.
• 비용 절감 계산: 항상 가장 비싼 전략 (IterativeRAG) 을 사용하는 경우 대비 토큰 절감률을 계산했습니다.

3. 주요 결과 (Key Results)

가. 성능 평가

• 최고 성능: TF-IDF 특징 + SVM 분류기 조합이 가장 우수한 성능을 보였습니다.
  • 정확도 (Accuracy): 93.2%
  • Macro-F1: 0.928
• 특징 비교: 놀랍게도 TF-IDF(어휘적 특징) 가 MiniLM(의미적 임베딩) 보다 Macro-F1 기준 3.1 포인트 더 높았습니다. 이는 표면적인 키워드 패턴 (예: "요약해줘", "비교해줘" 등) 이 쿼리 유형의 복잡성을 예측하는 데 매우 강력한 신호임을 시사합니다.
• 도메인별 차이:
  • 법률 (Legal): 라우팅이 가장 쉬웠음 (TF-IDF+SVM 기준 F1 0.967).
  • 의료 (Medical): 라우팅이 가장 어려웠음 (F1 0.803). 이는 의료 데이터가 단일 긴 문서로 구성되어 쿼리 유형 간 어휘적 차이가 덜 뚜렷하기 때문으로 분석됩니다.

나. 비용 절감 시뮬레이션

• 토큰 절감: 최적의 구성 (TF-IDF + SVM) 은 항상 고비용 전략을 사용하는 경우 대비 28.1% 의 토큰 절감을 달성했습니다.
• 참고치: 완벽한 라벨 예측 (Perfect-label) 을 가정할 때 이론적 최대 절감률은 35.2% 였으며, 본 모델은 이 중 약 79% 의 절감 효과를 달성했습니다.
• 비용 - 정확도 트레이드오프:
  • 정확도를 희생하고 가장 저렴한 전략 (NaiveRAG) 만을 사용하는 '다수결 베이스라인 (Majority class)'은 60.0% 의 절감 효과를 보였으나, F1 점수는 0.231 로 극히 낮았습니다. 이는 비용 절감만 최적화하면 품질이 급격히 떨어진다는 것을 보여줍니다.

4. 주요 기여 (Contributions)

1. 첫 번째 베이스라인 확립: RAGRouter-Bench 에서 쿼리 텍스트만 사용하여 15 가지 분류기 - 특징 조합을 평가한 최초의 체계적인 연구입니다.
2. 교차 도메인 분석: 경량 라우팅이 어떤 도메인 (법률 vs 의료) 에서 가장 효과적이고 신뢰할 수 있는지를 규명했습니다.
3. 비용 - 정확도 균형 분석: 단순한 비용 절감이 아닌, 정확도와 절감률 간의 균형을 고려한 라우팅 전략의 중요성을 정량화했습니다.

5. 의의 및 결론 (Significance)

• 표면적 키워드의 중요성: 복잡한 의미 임베딩보다 간단한 TF-IDF 기반 어휘 특징이 RAG 쿼리 유형 분류에 더 효과적이라는 발견은, 경량화된 라우팅 시스템 설계에 중요한 통찰을 제공합니다.
• 코퍼스 인식 (Corpus-aware) 라우팅의 필요성: 본 연구는 쿼리 텍스트만으로는 28.1% 의 절감 효과를 낼 수 있음을 보였으나, 이는 '바닥 (Floor)' 수준입니다. Wang et al. (2026) 의 연구에 따르면 최적의 전략 선택은 쿼리뿐만 아니라 문서 코퍼스의 구조적/의미적 특성에도 의존합니다. 따라서 향후 연구는 쿼리 측면의 신호와 코퍼스 측면의 신호를 결합한 라우팅으로 발전해야 함을 강조합니다.
• 실용적 가치: 고비용 LLM 호출을 줄이면서도 품질을 유지할 수 있는 실용적인 라우팅 솔루션의 가능성을 입증했습니다.

요약: 이 논문은 RAGRouter-Bench 를 통해 경량 분류기가 쿼리 텍스트만으로 RAG 전략을 효과적으로 라우팅할 수 있음을 입증했습니다. 특히 복잡한 임베딩 대신 TF-IDF 와 SVM의 조합이 가장 높은 정확도와 28.1% 의 토큰 절감 효과를 보였으며, 이는 RAG 시스템의 효율성을 높이는 중요한 기초 연구로 평가됩니다.