Dissecting Agentic RAG: A Component Ablation for Multi-Hop QA with a Local 7B Model

기술 요약: 구성 요소 절제 실험을 통한 에이전틱 RAG 분석

문제 정의
에이전틱 검색 증강 생성(Agentic RAG) 시스템은 반복적인 추론 루프, 쿼리 분해, 적응형 검색을 활용하여 여러 문서에 걸친 사실들을 체인 형태로 연결함으로써 멀티홉 질의응답(Multi-Hop QA)을 해결하는 방안으로 부상했습니다. 그러나 각 구성 요소의 구체적인 기여도는 여전히 명확히 이해되지 않고 있으며, 특히 로컬 대규모 언어 모델(LLM)에만 의존하는 자원 제한적 환경에서는 더욱 그러합니다. 기존의 많은 설계는 적응형 검색 라우팅이나 심층 반복 루프와 같은 복잡성을 추가하는 것이 반드시 성능을 향상시킬 것이라고 가정합니다. 본 논문은 이러한 가정이 로컬 7B 파라미터 모델을 사용할 때도 유효한지 조사하며, 대규모 컴퓨팅이나 독점 API에 의존하지 않고 개별 구성 요소의 가치를 격리하여 파악하고자 합니다.

방법론
저자들은 NVIDIA RTX A6000에서 Ollama를 통해 로컬로 서빙되는 Qwen2.5-7B-Instruct 모델을 사용하여 전체 에이전틱 RAG 파이프라인에 대한 통제된 구성 요소 수준의 절제 연구(Ablation Study)를 수행했습니다. 평가는 HotpotQA distractor 개발 세트에서 무작위로 추출한 5,000개의 질문을 대상으로 진행되었습니다.

시스템 아키텍처는 네 가지 단계로 구성됩니다:

1. 쿼리 분해 (Query Decomposition): LLM이 입력 질문을 일련의 하위 질문(sub-questions)으로 분해합니다.
2. 반복적 검색 루프 (Iterative Retrieval Loop): 하위 질문에 대해 루프를 반복하는 "계획 및 실행(plan-and-execute)" 설계입니다. 각 단계에서 검색 전략이 선택되고, 구절(passages)이 검색되며, 교차 인코더 리랭커(cross-encoder reranker)가 상위 후보군을 정제합니다.
3. 적응형 검색 (Adaptive Retrieval): 명명된 엔티티(named entities), 날짜, 또는 숫자의 존재 여부에 따라 쿼리를 밀집(Dense: BGE-small-en-v1.5), 희소(Sparse: BM25), 또는 하이브리드(Hybrid: Reciprocal Rank Fusion) 전략으로 라우팅하는 규칙 기반 휴리스틱을 사용합니다.
4. 합성 (Synthesis): 최종 LLM 호출이 축적된 증거로부터 정답을 생성합니다.

본 연구는 전체 파이프라인을 단일 패스 밀집 검색 베이스라인 및 8가지 특정 절제 조건과 비교했습니다:

• 깊이 변화 (Depth variations): 검색 루프를 1, 2, 또는 3단계로 제한 (기본값 5 대비).
• 구성 요소 제거 (Component removal): 쿼리 분해 비활성화(no-decomp) 또는 교차 인코더 리랭킹 비활성화(no-reranker).
• 전략 고정 (Strategy fixation): 적응형 라우터를 고정된 밀집, 희소 또는 하이브리드 검색으로 교체.

통계적 유의성은 대응 표본 검정(Exact Match를 위한 McNemar's exact test 및 F1을 위한 Wilcoxon signed-rank test)과 95% 부트스트랩 신뢰 구간을 사용하여 평가되었습니다.

주요 결과
전체 에이전틱 파이프라인은 **53.2%**의 Exact Match(EM)와 **61.6%**의 F1 점수를 달 기록했으며, 이는 단일 패스 베이스라인(EM 43.1%, F1 54.0%)을 유의미하게 상회하는 수치입니다. 그러나 절제 연구를 통해 구성 요소의 효능에 관한 역설적인 결과가 드러났습니다:

1. 고정 하이브리드 검색 > 적응형 라우팅: "하이브리드 전용" 변형(모든 쿼리에 대해 고정된 RRF 사용)이 전체 적응형 파이프라인보다 +1.8 EM 및 +1.9 F1 더 높은 성능을 보였습니다($p < 0.001$). 규칙 기반 라우터에 결함이 있는 것으로 밝혀졌는데, 엔티티를 트리거로 사용하는 휴리스틱 때문에 79.2%의 하위 쿼리가 BM25로 라우팅되었습니다. 멀티홉 하위 질문은 본질적으로 엔티티를 포함하기 때문에, 라우터가 희소 검색에 과도하게 의존하여 상호 보완적인 밀집 신호를 버리게 된 것입니다.
2. 반복 깊이의 한계 효용 (Diminishing Returns on Iteration Depth): 검색 루프를 5단계에서 2단계로 줄였을 때 베이스라인 대비 성능 향상의 **95%**를 확보했습니다. 2단계와 5단계 사이의 차이는 통계적으로 무시할 만한 수준($\pm 0.0$ EM)이었으나, 1단계로 줄이면 유의미한 하락(-7.1 EM)이 발생했습니다. 이는 주요 가치가 '심층적인' 루프가 아니라 '루프의 존재 자체'에서 온다는 것을 시사합니다.
3. 유의미하지만 비용이 드는 구성 요소:
   • 쿼리 분해: 분해를 제거하면 -1.4 EM 하락이 발생했지만($p=0.004$), 다단계 루프를 단일 검색으로 축소함으로써 지연 시간(latency)을 절반으로 줄였습니다(~5.6초에서 ~2.5초).
   • 교차 인코더 리랭킹: 리랭커를 제거하면 -1.7 EM 하락이 발생했으나($p < 0.001$), 지연 시간 영향은 미미하여 비용 대비 가치가 높은 구성 요소임을 보여주었습니다.
4. 전략적 동등성: 반복 루프 내에서 고정된 밀집, 희소, 하이브리드 전략은 거의 동일한 성능(EM ~53.0%)을 보였으며, 이는 하위 질문 전반에 걸친 반복적인 검색이 단일 전략의 약점을 보완함을 시사합니다.

의의 및 주장
본 논문은 로컬 7B 모델의 경우 단순함과 고정된 선택이 종종 적응형 복잡성보다 우수하다고 주장합니다. 저자들은 멀티홉 QA에서 발생하는 "에이전틱" 이득은 정교한 라우팅 휴리스틱이나 과도한 반복 깊이가 아니라, 반복적 검색 루프의 존재 자체에 의해 주도된다고 논합니다.

구체적으로, 본 연구는 다음과 같이 결론짓습니다:

• 적응형 라우팅은 이 맥락에서 불필요하며 잠재적으로 해로울 수 있습니다. 이는 라우팅 휴리스틱의 선택 편향 때문입니다.
• 두 번의 검색 반복만으로도 성능 향상의 대부분을 확보할 수 있으며, 이는 더 효율적인 배포 경로를 제공합니다.
• 고정 하이브리드 검색(RRF를 통해 밀집 및 희소 신호를 결합)이 이러한 제약 조건 하의 멀티홉 QA를 위한 가장 견고한 검색 전략입니다.

저자들은 자신들의 결과가 독점 API에 의존하지 않고 로컬 모델에 대한 통제된 절제 실험을 통해 도출된 경험적 결과임을 강조합니다. 이들은 본 연구를 자원 제한적인 환경에서 에이전틱 RAG 시스템을 구축하려는 실무자들을 위한 가이드로 제시하며, 복잡한 적응형 아키텍처보다는 고정 하이브리드 검색과 얕은 반복 깊이를 사용할 것을 권장합니다.