TURA: Tool-Augmented Unified Retrieval Agent for AI Search

이 논문은 정적 콘텐츠와 실시간 동적 정보를 모두 처리할 수 있도록 RAG 와 에이전트 도구 사용을 결합한 3 단계 프레임워크인 TURA 를 제안하여, 대규모 산업용 AI 검색 시스템의 실시간 요구사항을 충족한다고 설명합니다.

핵심

TURA: AI 검색을 위한 '똑똑한 도우미'의 등장

이 논문은 우리가 매일 사용하는 검색 엔진이 어떻게 더 똑똑해지고, 실시간으로 필요한 일을 대신해 줄 수 있게 되었는지 설명합니다. 바로 TURA(Tool-Augmented Unified Retrieval Agent for AI Search)라는 새로운 시스템을 소개합니다.

간단히 말해, TURA 는 **"책을 읽는 것 **(기존 검색)을 가능하게 해주는 AI 입니다.

---

1. 왜 새로운 시스템이 필요했을까? (기존의 문제점)

기존의 AI 검색 (RAG) 은 마치 방대한 도서관의 사서와 같습니다.

• 장점: 도서관에 쌓여 있는 책 (웹사이트, 문서) 을 아주 빠르게 찾아서 요약해 줍니다.
• 단점: 하지만 이 사서는 실시간으로 변하는 정보나 특정 행동을 취하는 것은 할 수 없습니다.

예를 들어 생각해 보세요:

"내일 서울에서 부산으로 가는 기차표가 몇 시에 있고, 가격이 얼마야?"라고 물었을 때,

• 기존 AI: "인터넷에 떠도는 뉴스 기사나 블로그 글을 찾아봐요. 아마 10 시쯤 출발하는 기차가 있을 거예요."라고 추측만 합니다. (실제 표는 팔려서 없을 수도 있죠!)
• TURA: "잠깐만요! 바로 철도 공사의 시스템에 접속해서 실시간으로 남은 표를 확인하고, 바로 예매해 드릴까요?"라고 말합니다.

기존 AI 는 '책'만 읽을 수 있지만, TURA 는 '문'을 열고 '실제 행동'을 할 수 있는 능력을 얻었습니다.

---

2. TURA 는 어떻게 작동할까? (3 단계 마법)

TURA 는 세 가지 핵심 단계로 이루어진 초능력을 가진 팀처럼 작동합니다.

1 단계: 의도 파악 및 도구 찾기 (Intent-Aware Retrieval)

• 비유: 현명한 비서가 당신의 말을 듣고 필요한 '도구'를 골라내는 단계입니다.
• 작동: 사용자가 "내일 여행 계획 짜줘"라고 하면, TURA 는 이 말을 여러 조각으로 나눕니다. (날씨 확인, 숙소 찾기, 관광지 추천 등). 그리고 수천 개의 가능한 도구 (날씨 앱, 호텔 예약 시스템, 지도 앱 등) 중에서 정확히 필요한 도구들만 빠르게 찾아냅니다.
• 핵심: 사용자가 말한 '의도'를 정확히 파악해서, 쓸데없는 도구는 제외하고 필요한 도구만 선별합니다.

2 단계: 작업 계획 세우기 (DAG-based Task Planner)

• 비유: 건설 현장의 감독관이 일을 효율적으로 배분하는 단계입니다.
• 작동: 여러 가지 일을 동시에 해야 할 때, 순서대로 하나씩 하면 시간이 너무 걸립니다. TURA 는 어떤 일이 먼저 필요하고, 어떤 일은 동시에 해도 되는지 **작업 순서도 **(DAG)를 그립니다.
  • 예: "날씨"와 "숙소"는 동시에 검색해도 되지만, "숙소 위치"를 알아야만 "가장 가까운 맛집"을 찾을 수 있습니다.
• 핵심: 독립적인 일은 **동시에 **(병렬로) 처리해서 시간을 획기적으로 단축시킵니다.

3 단계: 빠른 실행자 (Distilled Agent Executor)

• 비유: 수련을 마친 젊은 기사가 거대한 용 (거대 AI) 의 지혜를 그대로 받아서 빠르게 행동하는 단계입니다.
• 작동: 보통 이런 복잡한 일을 하려면 무겁고 느린 거대 AI 가 필요합니다. 하지만 TURA 는 거대 AI(선생님) 가 어떻게 생각해서 행동했는지 학습시킨 가볍고 빠른 AI(학생) 를 사용합니다.
• 핵심: "생각하는 과정"은 학습했지만, 실제 실행할 때는 생각하는 시간을 생략하고 바로 정답을 내놓습니다. 그래서 속도가 매우 빠르고 비용도 적게 듭니다.

---

3. 실제 효과는 어떨까? (결과)

이 시스템은 바이두 (Baidu) 의 실제 검색 서비스에서 수천만 명의 사용자를 대상으로 테스트되었습니다.

• 정확도 향상: 기존 방식보다 답변의 정확도가 훨씬 높아졌습니다. 특히 항공권, 기차표, 주식 가격 등 실시간 정보가 필요한 질문에서 압도적인 성과를 보였습니다.
• 속도: 복잡한 작업을 병렬로 처리하고 가벼운 모델을 사용해서, 사용자는 기다림 없이 빠른 답변을 받습니다.
• 사용자 만족: 사람들이 "이거 정말 유용해!"라고 느끼는 비율이 크게 증가했습니다.

4. 한 줄 요약

TURA는 단순히 정보를 찾아주는 '책장'을 넘어, 사용자의 요청을 듣고 **실제 행동 **(예매, 검색, 계산 등)을 수행할 수 있는 능동적인 AI 비서로 진화한 시스템입니다.

이제 AI 는 "그런 정보가 인터넷에 있을 거예요"라고 말하는 것을 넘어, **"네, 바로 확인하고 예약해 드릴게요!"**라고 말할 수 있게 되었습니다.

기술 요약

1. 문제 정의 (Problem Definition)

대형 언어 모델 (LLM) 의 등장으로 검색 엔진은 대화형 AI 검색 제품으로 진화하고 있으며, 주로 웹 코퍼스를 기반으로 한 검색 증강 생성 (RAG, Retrieval-Augmented Generation) 방식을 사용합니다. 그러나 기존 RAG 패러다임은 다음과 같은 심각한 산업적 한계를 가지고 있습니다.

• 정적 콘텐츠의 한계: 기존 RAG 는 사전에 색인된 정적 웹 페이지에 의존합니다. 실시간으로 변하는 데이터 (예: 항공권 좌석, 재고 상태, 날씨 예보) 나 API 를 통한 상호작용이 필요한 동적 정보에는 접근이 불가능합니다.
• 상호작용 부재: 사용자의 복잡한 의도 (예: "2025 년 8 월 2 일 베이징에서 상하이로 가는 기차표 예약") 를 처리하려면 정적 문서 검색을 넘어 동적 도구 (Tool) 실행이 필요하지만, 기존 시스템은 이를 수행하지 못합니다.
• 지연 시간 (Latency) 문제: 복잡한 작업을 처리하기 위한 에이전트 (Agent) 방식은 종종 높은 추론 지연 시간을 유발하여 대규모 산업 시스템에 적용하기 어렵습니다.

이러한 격차를 해소하기 위해 TURA는 정적 RAG 와 동적 정보 소스 (데이터베이스, 실시간 API 등) 를 통합하는 새로운 에이전트 프레임워크를 제안합니다.

2. 방법론 (Methodology)

TURA 는 의도 인식 검색 (Intent-Aware Retrieval), DAG 기반 작업 계획 (DAG-based Task Planning), 경량 증류 에이전트 실행 (Distilled Agent Executor) 의 3 단계 프레임워크로 구성됩니다.

2.1 의도 인식 MCP 서버 검색 (Intent-Aware MCP Server Retrieval)

사용자의 복잡한 쿼리를 해결할 수 있는 적절한 도구 (MCP 서버) 를 효율적으로 식별하는 단계입니다.

• 다중 의도 쿼리 분해 (Multi-Intent Query Decomposition): 강력한 LLM 을 사용하여 단일 쿼리를 여러 개의 원자적 하위 쿼리 (Atomic Sub-queries) 로 분해합니다. (예: "여행 계획" → "날씨 조회", "호텔 예약", "명소 추천" 등으로 분리)
• 시맨틱 색인 증강 (Semantic Index Augmentation): 사용자 질문과 API 설명 간의 '어휘 간극 (Lexical Gap)'을 해소하기 위해, 각 서버의 설명을 기반으로 생성형 LLM 을 활용해 다양한 시나리오의 합성 쿼리 (Synthetic Queries) 를 생성하여 색인을 증강시킵니다.
• 밀집 벡터 검색 (Dense Vector Retrieval): 증강된 색인을 기반으로 하위 쿼리별 관련 서버를 검색하고, 모든 하위 쿼리의 점수를 집계하여 최종 후보 서버 집합을 선정합니다.

2.2 DAG 기반 작업 계획 (DAG-based Task Planner)

검색된 도구들을 어떻게 실행할지 최적의 순서를 계획하는 단계입니다.

• 작업 의존성 모델링: 하위 작업들 간의 데이터 의존성을 유한 방향 비순환 그래프 (DAG, Directed Acyclic Graph) 로 모델링합니다.
• 병렬 실행 최적화: 서로 의존하지 않는 작업들 (예: 날씨 조회와 호텔 검색) 은 병렬로 실행하여 전체 시스템 지연 시간 (Latency) 을 획기적으로 단축합니다. 의존성이 있는 작업 (예: 경로 계획은 호텔 위치와 명소 위치가 필요함) 은 순차적으로 실행됩니다.

2.3 증류된 에이전트 실행 (Distilled Agent Executor)

계획된 작업을 실제로 수행하는 실행 엔진입니다.

• 혼합 논리 증류 (Mixed-Rationale Distillation):
  • 학습 (Train-with-thought): 거대 교사 모델 (Teacher Model) 이 생성한 고품질 실행 궤적 (Reasoning + Action) 을 학습 데이터로 사용하여 경량 학생 모델 (Student Model) 을 미세 조정 (SFT) 합니다.
  • 추론 (Infer-without-thought): 실제 서비스 시에는 추론 과정 (Thought) 을 생략하고 행동 (Action) 만 직접 생성하도록 프롬프트를 설계합니다.
• 효과: 이 방식을 통해 교사 모델과 유사한 정확도를 유지하면서도, 추론 지연 시간을 크게 줄이고 계산 비용을 절감합니다.

3. 주요 기여 (Key Contributions)

1. 통합 검색 - 실행 프레임워크 제안: 정색색인된 문서와 동적 트랜잭션 API 를 모두 MCP(Model Context Protocol) 서버로 통합하여, 정적 RAG 의 한계를 넘어선 최초의 체계적인 아키텍처를 제시했습니다.
2. TURA 아키텍처 개발: 의도 인식 검색, DAG 기반 병렬 계획, 지연 시간 최적화 증류 에이전트를 결합한 새로운 에이전트 설계 방식을 제안했습니다.
3. 대규모 산업 검증 및 벤치마크 공개:
   • 바이두 (Baidu) 의 실제 프로덕션 로그를 기반으로 한 MCP-Bench 벤치마크를 공개했습니다. (10,683 개 쿼리, 61 개 MCP 서버, 전문가 주석 포함)
   • 수천만 명의 사용자를 대상으로 한 대규모 A/B 테스트를 통해 실제 환경에서의 유효성을 입증했습니다.

4. 실험 결과 (Results)

MCP-Bench (오프라인) 결과:

• 정확도 (Accuracy): TURA 는 기존 LLM+RAG(65.3%) 대비 **87.5%**의 인간 평가 정확도를 기록하며 압도적인 성능을 보였습니다.
• 신뢰성 (Faithfulness): 할루시네이션을 줄이고 도구에서 얻은 사실에 기반한 답변 비율이 **96.2%**로, 기존 RAG(72.4%) 보다 크게 향상되었습니다.

온라인 A/B 테스트 결과 (프로덕션 환경):

• 세션 성공률 (SSR): 기존 시스템 대비 8.9%p 향상 (55.1% → 64.0%).
• 전체 성능 우위: 사용자 만족도 평가에서 TURA 가 기존 시스템보다 8.7% 더 우수한 성능을 보였습니다.
• 문제 발생률 감소: 전체 이슈 발생 건수가 16.7% 감소했으며, 특히 실시간 데이터 정확도가 필요한 여행 및 날씨 분야에서 오류가 크게 줄었습니다.

성능 최적화 (증류 에이전트):

• 증류된 4B 파라미터 모델 (Qwen3-4B Distilled) 은 671B 파라미터 교사 모델 (Deepseek-V3) 보다 **높은 정확도 (88.3% vs 82.4%)**를 달성하면서도, 지연 시간 (P80) 은 750ms로 대폭 단축되었습니다.

5. 의의 및 결론 (Significance)

TURA 는 AI 검색의 패러다임을 **'수동적 정보 검색'에서 '능동적 도구 활용'**으로 전환하는 중요한 이정표입니다.

• 실시간성 확보: 정적 웹 검색만으로는 불가능했던 항공권 예약, 재고 확인 등 실시간 상호작용이 필요한 복잡한 사용자 의도를 해결할 수 있게 되었습니다.
• 산업적 확장성: DAG 기반 병렬 처리와 증류된 경량 에이전트를 통해 대규모 시스템이 요구하는 낮은 지연 시간 (Low-latency) 과 높은 처리량을 동시에 충족시켰습니다.
• 미래 지향적 아키텍처: 다양한 동적 데이터 소스를 통합하는 표준화된 프레임워크 (MCP) 를 제시함으로써, 차세대 대화형 AI 검색 서비스의 청사진을 제시했습니다.

결론적으로 TURA 는 LLM 기반 검색이 단순한 정보 제공을 넘어 실제 업무 수행 (Action) 이 가능한 지능형 에이전트로 진화할 수 있음을 실증한 획기적인 연구입니다.