특징: 모든 단계가 고정되어 있어 빠르고 예측 가능합니다. 하지만 "이 질문은 검색이 필요 없는데 왜 검색을 하지?" 같은 실수를 할 수 있습니다.
🤖 방식 B: 에이전트 RAG (Agentic RAG) - "스마트한 개인 비서"
이 방식은 AI 가 스스로 생각하고 행동하는 '비서' 같습니다.
작동 원리: AI 는 사용자의 질문을 듣고 **"이건 검색이 필요할까? 아니면 내가 아는 걸로 바로 답할까?"**라고 스스로 판단합니다.
검색이 필요하다고 생각하면 찾아갑니다.
찾은 정보가 부족하면 **"아, 이걸로 부족하네. 다시 다른 키워드로 찾아볼까?"**라고 생각하며 검색을 반복합니다.
질문을 다시 다듬어서 검색할 수도 있습니다.
특징: 유연하고 상황에 맞춰 행동하지만, 매번 "생각"하는 과정이 필요해서 시간과 비용이 더 듭니다.
2. 연구 결과: 누가 이겼을까? (4 가지 상황별 비교)
연구팀은 이 두 방식을 4 가지 중요한 상황 (의도 파악, 질문 다듬기, 정보 정제, 비용) 에서 시험해 보았습니다.
① "이 질문은 검색이 필요해?" (사용자 의도 파악)
상황: "오늘 날씨 어때?" (검색 불필요) vs "애플 주가 알려줘" (검색 필요).
결과:
비서 (Agentic): 명확한 분야 (금융, 문법 등) 에서는 아주 잘 구분했습니다. "이건 검색 안 해도 돼"라고 바로 판단합니다.
공장 (Enhanced): 미리 정해진 규칙이 명확하면 좋지만, 범위가 넓거나 애매한 질문 (예: 사실 확인) 에서는 비서보다 조금 덜 정확했습니다.
승자: **비서 (Agentic)**가 조금 더 능숙했습니다.
② "질문을 더 잘 바꿔서 검색하자" (질문 다듬기)
상황: 사용자가 "애플 주가"라고 물었는데, 데이터베이스에는 "Apple Inc. stock price"로 저장되어 있을 때.
결과:
비서 (Agentic): "아, 사용자가 '애플'이라고 했지만 데이터베이스에는 'Apple Inc.'로 되어 있겠구나"라고 스스로 질문을 바꿔서 검색했습니다.
공장 (Enhanced): 미리 정해진 규칙대로만 질문을 바꾸려다 실패하는 경우가 많았습니다.
승자: **비서 (Agentic)**가 훨씬 더 유연하게 좋은 정보를 찾아냈습니다.
③ "찾은 정보 중 진짜 중요한 것만 골라야 해" (정보 정제)
상황: 검색 결과 20 개가 나왔을 때, 그중 3 개만 진짜 답이 될 때.
결과:
공장 (Enhanced): 미리 훈련된 '전문가 (재순위화 모델)'가 정보를 꼼꼼히 걸러내서 가장 좋은 것만 뽑아냈습니다.
비서 (Agentic): "다시 한번 찾아볼까?"라고 생각하며 검색을 반복했지만, 오히려 같은 정보만 다시 찾거나 중요한 정보를 놓치는 경우가 있었습니다.
승자: **공장 (Enhanced)**이 정보를 걸러내는 데는 더 정확했습니다.
④ "시간과 돈 (비용)"
결과:
비서 (Agentic): 스스로 생각하고, 검색을 반복하고, 질문을 바꾸는 과정에서 시간과 비용 (토큰 사용량) 이 공장 방식보다 약 1.5 배에서 3.6 배까지 더 많이 들었습니다.
공장 (Enhanced): 정해진 대로 빠르게 처리해서 훨씬 경제적입니다.
3. 결론: 무엇을 선택해야 할까?
이 연구의 핵심 메시지는 **"무조건 비서 (Agentic) 가 좋은 게 아니다"**입니다.
비서 (Agentic) 가 좋은 경우:
사용자가 무엇을 원하는지 정확히 파악해야 할 때 (검색이 필요 없는 질문을 걸러낼 때).
질문과 데이터가 잘 맞지 않아서 질문을 스스로 고쳐야 할 때.
비용이 좀 들더라도 유연성이 중요할 때.
공장 (Enhanced) 이 좋은 경우:
정보를 찾아낸 후, 그중에서 가장 정확한 것만 골라내야 할 때 (재순위화).
비용과 속도가 가장 중요할 때.
💡 최종 조언 (현실적인 해결책)
연구자들은 **"두 방식을 섞어서 쓰는 것"**을 추천합니다.
"스마트한 비서 (Agentic) 가 사용자의 의도를 파악하고 질문을 다듬어서 검색을 시작하게 하되, 찾은 정보는 공장의 전문가 (Enhanced) 가 꼼꼼히 걸러내게 하세요."
이렇게 하면 비서의 유연함과 공장의 정확성을 모두 챙기면서, 불필요한 비용만 줄일 수 있다는 것입니다.
한 줄 요약:
"AI 비서를 고용할지, 자동화 공장을 가동할지 고민이라면, 비서에게 '검색 시작'을 맡기고 공장에게 '정보 정리'를 맡기는 것이 가장 현명한 방법입니다."
1. 연구 배경 및 문제 정의 (Problem)
검색 증강 생성 (RAG) 시스템은 기본적으로 검색기 (Retriever) 와 생성기 (Generator) 를 결합하여 지식 베이스에서 문맥을 추출하고 답변을 생성합니다. 그러나 기존의 단순한 (Naïve) RAG 는 다음과 같은 한계를 가집니다:
불필요한 검색: 검색이 필요 없는 질문에도 무조건 검색을 수행함.
약한 매칭: 쿼리와 문서 간의 형식이나 의미적 차이로 인한 검색 실패.
노이즈: 검색된 문서 목록에 관련성이 낮은 문서가 포함됨.
고정된 워크플로우: 시스템이 상황에 따라 검색을 반복하거나 쿼리를 수정할 수 없음.
이러한 한계를 극복하기 위해 Enhanced RAG(특정 모듈을 추가하여 파이프라인을 개선) 와 Agentic RAG(LLM 이 오케스트레이터 역할을 하여 동적으로 행동을 결정하고 반복하는 방식) 가 등장했습니다. 하지만 어떤 상황에서 어떤 접근법이 더 우월한지, 그리고 비용 대비 효율성은 어떠한지에 대한 실증적인 비교 연구는 부족했습니다.
2. 연구 방법론 (Methodology)
저자들은 생산 환경에 적합한 4 가지 핵심 차원에서 Enhanced RAG 와 Agentic RAG 를 비교 평가했습니다.
사용자 의도 처리 (User Intent Handling): 검색이 필요한지 여부를 판단하는 능력.
Enhanced: 시맨틱 라우터 (Semantic Router) 를 사용하여 유효/무효 쿼리 분류.
Agentic: 에이전트가 직접 검색 도구 호출 여부를 결정.
쿼리 재작성 (Query Rewriting): 검색 성능을 높이기 위해 쿼리를 문서 형식에 맞게 변환.
Enhanced: 모든 쿼리에 대해 HyDE(Hypothetical Document Embeddings) 방식의 재작성을 강제 적용.
Agentic: 에이전트가 필요 시에만 재작성을 결정하고 수행.
문서 목록 정제 (Document List Refinement): 검색된 문서의 순위를 매기거나 재검색.
Enhanced: ELECTRA 기반의 재순위화 (Reranker) 모델 사용.
Agentic: 에이전트가 필요 시 추가 검색 (Iterative Retrieval) 을 수행.
기반 LLM 성능 (Underlying LLM): 모델 크기 (Qwen3 0.6B ~ 32B) 에 따른 성능 변화.
2.3 비용 및 시간 분석
토큰 사용량 (입력/출력) 과端到端 (End-to-End) 지연 시간을 측정하여 비용 효율성을 분석했습니다.
3. 주요 결과 (Key Results)
3.1 사용자 의도 처리 (Intent Handling)
결과: 도메인이 명확한 경우 (금융, 문법) Agentic RAG 가 Enhanced RAG 보다 약간 더 높은 성능을 보였습니다.
예외: FEVER(사실 검증) 와 같이 도메인 정의가 모호한 경우, Agentic RAG 는 불필요하게 검색을 수행하는 경향이 있어 Recall 이 낮아졌습니다 (Enhanced 대비 F1 점수 -28.8).
통찰: 명확한 도메인에서는 에이전트의 유연성이 유리하나, 범위가 넓은 경우 사전 정의된 라우터 (Enhanced) 가 더 안정적입니다.
3.2 쿼리 재작성 (Query Rewriting)
결과: Agentic RAG 가 평균적으로 NDCG@10 기준 +2.8 점 더 높은 검색 품질을 보였습니다.
이유: 에이전트는 쿼리가 문서와 유사하지 않을 때만 동적으로 재작성을 수행하는 적응형 접근을 취하기 때문입니다. 반면 Enhanced 는 모든 쿼리에 대해 무조건 재작성을 수행하여 비효율적이거나 불필요한 변형을 일으킬 수 있었습니다.
3.3 문서 목록 정제 (Document Refinement)
결과:Enhanced RAG 가 재순위화 (Reranking) 에서 압도적으로 우세했습니다.
이유: Agentic RAG 는 재검색을 시도하지만, 에이전트가 한 번 결정한 후 이를 번복하거나 개선하는 데 실패하는 경우가 많았습니다 (재검색 시 53% 의 경우 이전과 동일한 문서가 반환됨). 반면, 전용 재순위화 모델은 관련성 높은 문서 선별에 훨씬 효과적이었습니다.
3.4 기반 LLM 영향
결과: 모델 크기가 커질수록 두 시스템 모두 성능이 향상되었으며, 그 증가 추이는 유사했습니다. 즉, Agentic RAG 가 더 큰 모델을 필요로 한다는 증거는 없었습니다.
3.5 비용 및 시간 (Cost & Time)
결과: Agentic RAG 는 Enhanced RAG 대비 평균 3.3 배 더 많은 입력 토큰, 1.9 배 더 많은 출력 토큰, 1.5 배 더 많은 시간을 소모했습니다.
원인: 에이전트의 추론 단계와 반복적인 도구 호출로 인한 오버헤드 때문입니다.
4. 주요 기여 및 결론 (Contributions & Conclusion)
4.1 주요 기여
실증적 비교: 이론적 정의가 아닌 실제 데이터셋과 비용 분석을 통해 Enhanced 와 Agentic RAG 의 성능과 비용을 정량적으로 비교했습니다.
실무적 통찰: 특정 작업 (의도 분류, 쿼리 재작성) 에는 Agentic 이 유리하지만, 문서 선별 (Reranking) 에는 Enhanced 가 우월하다는 구체적인 가이드라인을 제시했습니다.
비용 효율성 분석: Agentic RAG 의 성능 이득이 항상 비용 증가를 정당화하지는 않음을 입증했습니다.
4.2 결론 및 제언
보편적 우월성 부재: Agentic RAG 가 모든 상황에서 더 나은 것은 아닙니다.
하이브리드 접근 권장:
Agentic의 강점: 사용자 의도 판단 (라우팅) 과 적응형 쿼리 재작성.
Enhanced의 강점: 전문적인 문서 재순위화 (Reranking).
최종 제안: 개발자는 **Agentic 방식의 유연성 (라우팅 및 재작성)**과 **Enhanced 방식의 효율성 (재순위화)**을 결합한 하이브리드 아키텍처를 고려해야 합니다. 이는 비용 증가를 최소화하면서 최적의 성능을 달성하는 길입니다.
5. 의의 (Significance)
이 연구는 LLM 기반 에이전트 기술이 급격히 확산되는 시점에서, 무조건적인 '에이전트화'가 아닌 작업의 특성과 비용 제약에 맞는 RAG 아키텍처 설계의 중요성을 강조합니다. 특히, 비용 효율성이 중요한 기업 환경 (Enterprise) 에서 Agentic RAG 를 도입할 때 주의해야 할 점과 대안을 제시하여 실무자들에게 귀중한 가이드를 제공합니다.