Towards AI Search Paradigm

이 논문은 단순한 사실적 질의부터 복잡한 추론 작업까지 다양한 정보 요구에 대응하기 위해 마스터, 플래너, 실행자, 작성자라는 네 개의 LLM 기반 에이전트가 협업하는 차세대 AI 검색 패러다임인 'AI Search Paradigm'을 소개하고, 이를 구현하기 위한 핵심 방법론과 인프라 최적화 전략을 제시합니다.

핵심

이 논문은 구글이나 바이두 같은 기존 검색 엔진이 어떻게 진화하여 **'AI 검색 (AI Search)'**이라는 새로운 시대를 열었는지에 대한 청사진을 제시합니다.

기존 검색 엔진이 단순히 "키워드를 입력하면 관련 문서 목록을 쭉 보여준다"는 방식이었다면, 이 새로운 시스템은 **"사용자가 궁금한 것을 직접 해결해 주는 똑똑한 비서 팀"**처럼 작동합니다.

이 복잡한 기술을 일반인이 이해하기 쉽게 한 편의 드라마 제작 팀에 비유해서 설명해 드리겠습니다.

---

🎬 AI 검색: "똑똑한 비서 팀"이 만드는 답변

이 시스템은 혼자 모든 일을 하는 거대한 로봇이 아니라, 각자 역할이 뚜렷한 **4 명의 전문가 (에이전트)**로 구성된 팀입니다. 사용자가 질문을 던지면 이 팀이 즉석에서 모여서 문제를 해결합니다.

1. 매니저 (Master Agent): "팀장님"

• 역할: 사용자의 질문을 듣고 "이건 쉬운 문제인가, 어려운 문제인가?"를 판단합니다.
• 비유: 영화 촬영 현장의 프로듀서입니다.
  • "오늘 날씨 어때?" 같은 쉬운 질문이면, 그냥 작가 (Writer) 한 명만 보내서 대답하게 합니다.
  • "한무제와 카이사르 중 누가 몇 살 더 많았는지 계산해 줘" 같은 복잡한 질문이면, **기획자 (Planner)**와 **실무자 (Executor)**까지 불러모아 팀을 구성합니다.
  • 만약 팀원들이 실수를 하거나 막히면, 다시 상황을 분석해서 계획을 수정하도록 지시합니다.

2. 기획자 (Planner Agent): "작가/감독"

• 역할: 복잡한 문제를 작은 조각으로 나누고, 어떤 도구를 써야 할지 계획을 세웁니다.
• 비유: 시나리오 작가이자 감독입니다.
  • "한무제와 카이사르의 나이 차를 구해줘"라는 큰 질문을 받으면, 이를 세 단계로 쪼갭니다.
    1. 한무제 생년월일 찾기 (검색 도구 사용)
    2. 카이사르 생년월일 찾기 (검색 도구 사용)
    3. 두 날짜를 비교해서 나이 차 계산 (계산기 도구 사용)
  • 이 순서를 **DAG(방향성 비순환 그래프)**라는 '작업 지도'로 그려서, 누가 먼저 무엇을 해야 하는지 명확하게 정합니다.

3. 실행자 (Executor Agent): "현장 스태프"

• 역할: 기획자가 만든 계획대로 실제로 일을 수행합니다. 검색을 하거나, 계산기를 두드리거나, 코드를 실행합니다.
• 비유: 현장 촬영 스태프입니다.
  • 기획자가 "한무제 생년월일 찾아와!"라고 하면, 인터넷 검색 도구를 켜서 정보를 가져옵니다.
  • 만약 검색 결과가 부족하거나 틀리면, 다시 검색하거나 다른 도구를 찾아서 정보를 보완합니다.
  • 이 과정에서 필요한 도구 (날씨 예보, 주식 가격, 계산기 등) 를 상황에 따라 유연하게 꺼내 씁니다.

4. 작가 (Writer Agent): "편집자/내레이션"

• 역할: 실행자가 가져온 여러 조각의 정보를 하나로 합쳐서, 사람이 읽기 편하고 자연스러운 답변을 만듭니다.
• 비유: 최종 편집자이자 내레이터입니다.
  • "한무제는 156 년, 카이사르는 100 년에 태어났다"는 건조한 데이터만 있는 게 아니라, "한무제가 카이사르보다 56 살 더 많았으며, 두 사람은 서로 다른 시대에 살았다"는 이야기로 만들어냅니다.
  • 정보 중 중복되거나 틀린 부분은 걸러내고, 최종적으로 사용자에게 완벽한 답변을 전달합니다.

---

🚀 기존 검색 vs AI 검색: 어떤 차이가 있을까?

기존 검색 (구글/바이두 등):

• 방식: "키워드 입력" → "문서 목록 10 개 보여줌" → "사용자가 직접 클릭해서 찾아봄".
• 한계: "한무제와 카이사르의 나이 차"를 물어보면, 검색 엔진은 두 사람의 생년월일이 적힌 문서 10 개를 보여줄 뿐입니다. 나이 차를 직접 계산해서 알려주지는 못합니다. 사용자가 직접 계산기를 켜서 계산해야 합니다.

AI 검색 (이 논문 제안):

• 방식: "질문 입력" → 팀이 모여서 계획 수립 → 직접 검색하고 계산 → 완성된 답변 제공.
• 장점: 사용자가 직접 문서를 넘겨보다가 계산기를 두드릴 필요 없이, 시스템이 모든 과정을 대신 해줍니다. 마치 비서가 "네, 한무제가 카이사르보다 56 살 더 많았어요. 이유는 이렇습니다..."라고 보고하는 것과 같습니다.

---

⚡ 더 빠르고 똑똑하게 만드는 기술들

이 팀이 너무 느리거나 비싸게 작동하지 않도록, 논문에서는 몇 가지 '속도 향상 기술'도 소개합니다.

1. 도구 문서 다듬기 (DRAFT): 도구 사용 설명서를 사람이 읽는 게 아니라 AI 가 이해하기 쉽게 자동으로 수정하고 다듬습니다. (예: "이 버튼을 누르면 계산이 됩니다"를 "계산기 도구 호출"로 명확히 번역)
2. 가볍게 만들기 (Lightweighting): AI 모델이 너무 무겁고 느리다면, 불필요한 부분을 잘라내거나 (가지치기), 숫자 정밀도를 줄여서 (양자화) 빠르게 작동하게 합니다. 마치 무거운 SUV 를 경량화해서 스포츠카처럼 만드는 것과 같습니다.
3. 사용자 피드백 학습: 사용자가 "좋아요"를 누르거나, 답변을 보고 얼마나 오래 머물렀는지 (체류 시간) 를 보고, AI 가 "아, 이런 답변을 좋아하구나"라고 스스로 학습합니다.

---

💡 결론: 왜 이것이 중요한가요?

이 논문은 단순히 "검색 결과가 더 좋아졌다"는 것을 넘어, 검색의 패러다임 자체를 바꾸고 있습니다.

• 과거: "정보를 찾는 것" (사용자가 직접 찾아야 함)
• 미래: "문제를 해결하는 것" (AI 가 대신 찾아주고 계산하고 정리해 줌)

이 시스템은 복잡한 질문일수록 그 진가를 발휘합니다. 단순한 사실 확인은 기존 검색도 잘하지만, 여러 정보를 조합하고 추론해야 하는 복잡한 문제에서는 이 4 명의 비서 팀이 인간보다 훨씬 빠르고 정확하게 답을 찾아냅니다.

결국 이 기술은 우리가 정보를 얻는 방식을 '검색'에서 '해결'로 바꿔주는, AI 시대의 새로운 표준이 될 것입니다.

기술 요약

1. 문제 정의 (Problem)

기존의 검색 엔진과 RAG 시스템은 다음과 같은 근본적인 한계를 가지고 있습니다.

• 단순한 문서 검색의 한계: 전통적인 검색 엔진은 사용자의 질의에 대한 관련 문서 목록을 반환할 뿐, 사용자가 직접 정보를 찾아서 종합해야 하는 부담을 줍니다.
• 복잡한 추론 부족: 현재 대부분의 RAG 시스템은 '검색 - 생성 (Retrieve-then-Generate)'의 일회성 파이프라인에 의존합니다. 이는 여러 단계의 추론이 필요하거나, 상충되는 정보를 해결하고, 다양한 도구를 조합해야 하는 복잡한 질의 (예: "한무제와 줄리어스 카이사르 중 누가 몇 살 더 많았는가?") 에 실패합니다.
• 동적 도구 활용의 부재: 기존 시스템은 정적인 파이프라인을 따르며, 질의의 복잡도에 따라 유연하게 도구 (검색, 계산기, 코드 실행 등) 를 선택하거나 재계획 (Re-planning) 하는 능력이 부족합니다.

2. 방법론 (Methodology)

이 논문은 **4 개의 LLM 기반 에이전트 (Master, Planner, Executor, Writer)**로 구성된 모듈형 멀티 에이전트 아키텍처를 제안합니다.

2.1. 멀티 에이전트 아키텍처

• Master Agent (마스터): 사용자의 질의 복잡도와 의도를 분석하여 적절한 에이전트 팀을 구성합니다. 단순 질의는 Writer 에게, 복잡한 질의는 Planner 를 포함한 팀에 할당합니다. 또한 하위 에이전트의 실행을 실시간으로 모니터링하며, 실패 시 재계획 (Re-plan) 을 지시합니다.
• Planner Agent (플래너): 복잡한 질의를 처리합니다. MCP(Model-Context Protocol) 기반의 도구 플랫폼에서 적합한 도구를 동적으로 선택하고, 질의를 DAG(Directed Acyclic Graph, 방향성 비순환 그래프) 형태의 하위 작업으로 분해합니다. 각 노드는 실행 가능한 서브 태스크이며, 노드 간 의존성을 정의합니다.
• Executor Agent (실행자): 플래너가 생성한 DAG 에 따라 각 서브 태스크를 실행합니다. 외부 도구 (웹 검색, 계산기 등) 를 호출하고, 결과의 품질을 평가하여 불충분할 경우 재실행하거나 대체 도구를 사용합니다.
• Writer Agent (라이터): 모든 서브 태스크의 결과를 종합하여 일관성 있고 문맥에 풍부한 최종 답변을 생성합니다. 중복 정보를 필터링하고 출처를 명확히 합니다.

2.2. 핵심 기술적 구성 요소

• 동적 역량 경계 (Dynamic Capability Boundary): 질의에 따라 LLM 의 내재 지식과 외부 도구 집합을 동적으로 결합하여 작업 범위를 확장합니다.
• DAG 기반 작업 계획: ReAct 등의 반복적 추론 대신, 한 번의 추론으로 전체 작업 흐름을 DAG 로 구조화하여 병렬 실행과 효율성을 높입니다.
• 도구 최적화 (Tool Optimization):
  • DRAFT: LLM 과 도구의 상호작용 피드백을 통해 도구 API 문서 (Tool API Documents) 를 자동 개선합니다.
  • COLT: 질의와 도구의 협력 관계 (Collaborative Learning) 를 그래프 기반으로 학습하여, 단일 질의에 필요한 도구 세트를 완전하게 검색합니다.
• LLM 선호도 정렬 (LLM Preference Alignment):
  • LLM 라벨링 및 랭킹: RankGPT 와 TourRank(토너먼트 방식) 를 통해 대량의 문서를 효율적으로 재랭킹합니다.
  • 생성 보상 (Generation Reward): 생성된 답변의 정확도를 기반으로 검색 및 랭킹 모델을 강화학습 (RL) 으로 최적화합니다.
• 강건한 RAG 및 PA-RAG:
  • ATM (Adversarial Tuning with Multi-agent): 적대적 공격 (허위 정보 주입, 문서 순서 뒤섞기) 을 통해 생성 모델의 강건성을 훈련시킵니다.
  • PA-RAG: 정보의 충실성 (Informativeness), 강건성 (Robustness), 인용 품질 (Citation Quality) 을 동시에 최적화하는 선호도 정렬 기법을 도입합니다.
• 경량화 (Light-Weighting LLM):
  • 알고리즘 수준: 로컬 어텐션 (Local Attention), 구조적 가지치기 (Structured Pruning) 를 통해 모델 크기와 연산량을 줄입니다.
  • 인프라 수준: 프리필 - 디코드 분리 (Prefill-Decode Separation), 양자화 (Quantization), 추측적 디코딩 (Speculative Decoding), 의미 기반 캐싱 (Semantic Caching) 등을 통해 지연 시간을 단축합니다.

3. 핵심 기여 (Key Contributions)

1. 새로운 AI 검색 패러다임의 개념화: 정적인 검색 파이프라인을 넘어, 동적으로 에이전트 팀을 구성하고 DAG 기반 계획, 실행, 재계획을 수행하는 멀티 에이전트 아키텍처를 제시했습니다.
2. 핵심 에이전트 방법론의 구체화:
   • 도구 문서 자동 개선 (DRAFT) 및 협력적 도구 검색 (COLT) 기술.
   • 강화학습 (GRPO, MAPPO) 을 활용한 플래너 및 전체 시스템의 공동 최적화.
   • LLM 선호도에 맞춘 검색 및 랭킹 정렬 기술.
3. 검색 지향적 생성 및 최적화 기술: RAG 시스템의 강건성을 높이는 적대적 훈련 (ATM) 과 사용자 피드백 기반 정렬 (RLHB), 그리고 효율적인 추론을 위한 경량화 기술들을 체계적으로 정리했습니다.
4. 실제 적용 및 검증: 바이두 검색 (Baidu Search) 에서의 대규모 온라인 A/B 테스트와 인간 평가를 통해 시스템의 유효성을 입증했습니다.

4. 결과 (Results)

• 휴먼 평가 (Human Evaluation):
  • 복잡한 질의 (Complex Queries) 에서 기존 웹 검색 시스템 대비 **13% 의 상대적 개선 (NWR)**을 보였습니다.
  • 중간 복잡도 질의에서도 5% 개선, 단순 질의에서는 기존 시스템과 동등한 성능을 유지했습니다.
• 온라인 A/B 테스트 (Baidu Search):
  • CQR (Change Query Rate): -1.45% (사용자가 검색어를 수정하는 비율 감소, 만족도 향상).
  • PV (Page Views): +1.04% 증가.
  • DAU (Daily Active Users): +1.85% 증가.
  • Dwell Time (체류 시간): +0.52% 증가.
  • 모든 지표가 통계적으로 유의미한 (p < 0.05) 개선을 보였습니다.
• 케이스 스터디: "한무제와 카이사르의 나이 차이"와 같은 다단계 추론 질의에서 기존 시스템은 실패하거나 불완전한 답변을 내놓은 반면, 제안된 시스템은 도구 호출과 계산을 통해 정확한 답변을 도출했습니다.

5. 의의 및 결론 (Significance)

이 논문은 단순한 검색 엔진의 진화를 넘어, 인공지능이 인간의 정보 탐색 행위를 모방하고 보조하는 새로운 패러다임을 제시합니다.

• 신뢰성과 적응성: 복잡한 다단계 추론이 필요한 현실 세계의 문제를 해결할 수 있는 신뢰할 수 있고 적응적인 AI 검색 시스템의 청사진을 제공합니다.
• 산업과 학계의 융합: 산업계의 실제 인프라 (MCP, 대규모 트래픽) 와 학계의 최신 연구 (RL, Adversarial Training, Agent Collaboration) 를 결합한 실용적인 가이드라인을 제시합니다.
• 미래 방향: 모듈형 에이전트 간의 협업 최적화, 도구 통합의 심화, 그리고 효율적인 추론을 위한 경량화 기술이 향후 AI 검색 발전의 핵심 방향임을 시사합니다.

결론적으로, 이 연구는 사용자가 복잡한 정보를 직접 찾아야 하는 인지적 부하를 줄이고, 정확하고 문맥을 이해하는 답변을 제공하는 차세대 검색 시스템의 실현 가능성을 입증했습니다.