Learning to Route: A Rule-Driven Agent Framework for Hybrid-Source Retrieval-Augmented Generation

논문 개요

이 논문은 대규모 언어 모델 (LLM) 의 질문 응답 (QA) 성능을 향상시키기 위해, **비정형 문서 (Documents)**와 **구조화된 관계형 데이터베이스 (Relational Databases)**라는 이질적인 두 가지 정보 소스를 효과적으로 통합하는 새로운 프레임워크를 제안합니다. 기존 RAG(검색 증강 생성) 시스템이 주로 비정형 문서에 의존하는 한계를 극복하고, 각 질문의 특성에 맞춰 가장 적합한 정보 소스를 동적으로 선택하는 '학습된 라우팅 (Learning to Routing)' 메커니즘을 규칙 기반 에이전트 프레임워크로 구현했습니다.

---

1. 문제 정의 (Problem)

기존 RAG 시스템은 주로 위키백과나 웹 문서와 같은 비정형 텍스트에 의존합니다. 그러나 금융, 의료, 과학 연구 등 특정 도메인에서는 정확하고 최신의 사실적 정보가 필요하며, 이는 관계형 데이터베이스 (DB) 에 더 잘 저장되어 있습니다.

저자들은 다음과 같은 세 가지 핵심 관찰을 통해 기존 접근법의 한계를 지적합니다:

1. 상호 보완성 (Complementarity): 일부 질문은 DB 만으로, 다른 질문은 문서 (Doc) 만으로 정확히 답할 수 있습니다. 단일 소스만 사용하면 많은 질문을 놓치게 됩니다.
2. 단순 혼합의 비효율성 (Naive Hybridization): DB 와 문서를 무조건 모두 연결하여 LLM 에 입력하면, 불필요한 노이즈가 발생하고 토큰 비용 및 지연 시간이 급증하며 오히려 정확도가 떨어지는 경우가 많습니다.
3. 라우팅의 필요성: 각 질문의 유형 (예: 수치/사실 기반 vs 서술/개방형) 에 따라 DB, 문서, 또는 둘 다 (Hybrid) 중 가장 적합한 소스를 선택하는 지능형 라우팅 메커니즘이 필수적입니다.

---

2. 방법론 (Methodology)

논문은 규칙 기반 에이전트 프레임워크를 제안하며, 이는 학습이 필요 없는 투명성과 효율성을 가집니다. 프레임워크는 세 가지 주요 구성 요소로 이루어져 있습니다.

가. 규칙 기반 라우팅 에이전트 (Rule-Driven Routing Agent)

• 기능: 입력된 질문을 분석하여 DB, 문서, 하이브리드, 또는 직접 답변 (LLM 만 사용) 중 가장 적합한 경로를 선택합니다.
• 작동 방식: 도메인 전문가가 초기화한 명시적인 규칙 (예: "수치 질문이면 DB 점수 +3", "왜/how 질문이면 문서 점수 +3") 을 기반으로 각 경로의 점수를 산출합니다.
• 특징: 단순 키워드 매칭을 넘어 LLM 을 에이전트로 활용하여 문맥과 의도를 이해하는 유연한 규칙 기반 라우팅을 수행합니다.

나. 규칙 제정 전문가 에이전트 (Rule-Making Expert Agent)

• 기능: 초기 규칙이 특정 데이터셋의 특성을 완벽히 반영하지 못할 수 있으므로, QA 수행 결과 (정답/오답) 피드백을 기반으로 규칙을 자동 수정 및 개선합니다.
• 작동 방식: 배치 처리된 질문들의 성능 분석 리포트 (어떤 규칙이 적용되었고, 어떤 결과가 나왔는지) 를 LLM 에게 제공하여, 규칙을 강화, 약화 또는 재정의하도록 지시합니다. 이는 '텍스트 기반 경사 (Textual Gradient)' 개념으로 작동합니다.

다. 경로 수준 메타 캐시 (Path-Level Meta-Cache)

• 문제: 라우팅 에이전트 호출 자체도 지연 시간을 발생시킵니다.
• 해결: 질문의 임베딩 (Embedding) 유사성을 기반으로 과거의 라우팅 결정 (어떤 경로를 선택했는지) 을 재사용합니다.
• 장점: 단순한 답변 캐싱과 달리, 데이터베이스가 업데이트되더라도 '어떤 소스를 찾아야 하는지'에 대한 결정만 재사용하므로 정확성을 유지하면서 지연 시간을 획기적으로 줄입니다.

---

3. 주요 기여 (Key Contributions)

1. 이질적 소스 간 라우팅 분석: RAG 환경에서 관계형 DB 와 문서 간의 상호 보완적 관계를 체계적으로 분석하고, 단순 혼합이 아닌 선택적 라우팅의 필요성을 실증했습니다.
2. 규칙 기반 하이브리드 RAG 프레임워크 제안: 라우팅 에이전트, 규칙 개선 에이전트, 메타 캐시를 통합하여 정확성, 해석 가능성 (Interpretability), 효율성을 동시에 달성하는 새로운 아키텍처를 제시했습니다.
3. 성능 검증: TATQA, FinQA, WikiQA 등 세 가지 벤치마크에서 정적 전략 (단일 소스, 무조건 혼합) 과 기존 학습형 라우팅 기법 (Adaptive-RAG, Agent-Based 등) 을 능가하는 성능을 입증했습니다.

---

4. 실험 결과 (Results)

• 정확도 (Accuracy): 제안된 프레임워크는 모든 데이터셋과 백본 모델 (LLaMA-3, Qwen2.5, GPT-4 등) 에서 가장 높은 정확도를 기록했습니다. 특히 WikiQA 에서 0.302 의 정확도를 달성하여 기존 최상위 기법 (0.260) 을 크게 앞섰습니다.
• 효율성 (Efficiency):
  • 토큰 비용: 하이브리드 방식은 많은 토큰을 소모하며 낮은 정확도를 보인 반면, 제안 방법은 적은 토큰으로 높은 정확도를 유지했습니다.
  • 지연 시간: 메타 캐시를 활용한 Ours-c 버전은 라우팅 시간이 거의 0 에 수렴하면서도 높은 정확도를 유지하여, 기존 에이전트 기반 라우팅보다 훨씬 빠르고 정확했습니다.
• 경로 선택 분석: 제안 방법은 '오라클 (Oracle, 정답을 아는 이상적인 라우팅)'의 경로 분포와 매우 유사하게 질문을 분배하여, 각 소스의 강점을 효과적으로 활용함을 보였습니다.

---

5. 의의 및 결론 (Significance)

이 연구는 RAG 시스템 설계에 있어 **"무조건 많은 정보를 제공하는 것"이 아니라 "질문의 성격에 맞는 정확한 정보를 선택하는 것"**이 핵심임을 강조합니다.

• 해석 가능성: 블랙박스인 학습형 라우팅과 달리, 명시적인 규칙을 사용하여 의사결정 과정을 투명하게 설명할 수 있습니다.
• 실용성: 규칙 기반 접근은 학습 데이터가 부족하거나 도메인 지식이 중요한 환경에서도 즉시 적용 가능하며, 전문가의 개입을 통해 지속적으로 개선될 수 있습니다.
• 미래 방향: 구조화된 데이터와 비정형 텍스트를 통합하는 차세대 RAG 시스템의 표준 아키텍처로서, 정확성과 비용 효율성을 모두 잡는 새로운 패러다임을 제시했습니다.

결론적으로, 이 논문은 복잡한 정보 소스 환경에서 LLM 의 성능을 극대화하기 위해 규칙 기반의 지능형 라우팅이 필수적임을 증명하고, 이를 구현한 효율적인 프레임워크를 제시했습니다.