문제: "스코트 더릭슨과 에드 우드가 같은 국적인가요?"라는 복잡한 질문을 받으면, 기존 AI 는 바로 "국적"을 검색합니다. 하지만 두 사람의 국적을 각각 따로 찾아서 비교해야 한다는 '전체 그림'을 보지 못해, 엉뚱한 정보를 찾거나 헷갈려 할 수 있습니다.
한계: 단순히 검색 횟수를 늘리는 것은, 실수를 반복하며 더 많은 종이를 뒤지는 것과 같습니다. 정보가 많아져도 정답을 찾는 '전략'이 없으면 소용없습니다.
이제 APEX-Searcher는 전략적인 탐정으로 변신합니다. 이 탐정은 두 가지 특별한 능력을 갖췄습니다.
1 단계: "대본 작성자" (RL 기반 계획 수립)
이 탐정은 질문에 답하기 전에 먼저 **작전 계획서 (대본)**를 작성합니다.
비유: 복잡한 사건을 해결할 때, 바로 범인을 잡으려 하지 않습니다. 먼저 "1. 스코트 더릭슨의 국적은?", "2. 에드 우드의 국적은?", "3. 둘이 같은지 비교하기"처럼 작은 단계로 나누어 순서대로 해결할 계획을 세웁니다.
기술적 설명: 이 계획 세우기 능력은 **강화학습 (RL)**이라는 훈련을 통해 배웁니다. 마치 체스 선수가 수많은 게임을 통해 "어떤 수를 두면 이길 확률이 높은가?"를 학습하듯, AI 도 "어떤 질문 순서로 나누면 정답을 찾기 쉬운가?"를 스스로 학습합니다.
2 단계: "현장 요원" (SFT 기반 탐색 및 실행)
계획이 세워지면, 이제 현장 요원이 그 계획을 실행합니다.
비유: 계획서에 따라 "먼저 스코트 더릭슨의 국적을 찾아보자"라고 명령을 받으면, 요원은 필요한 정보만 딱 집어서 가져옵니다. 만약 정보가 부족하면 "아, 이걸로 부족하네. 에드 우드의 배경을 더 찾아봐야겠다"라고 스스로 판단하여 추가 검색을 합니다.
기술적 설명: 이 실행 능력은 **지도 미세 조정 (SFT)**을 통해 훈련됩니다. 마치 훌륭한 수사관에게 "이런 사건은 이렇게 조사해라"라고 수많은 사례를 가르쳐 주는 것처럼, AI 가 복잡한 정보를 찾아내고 정리하는 방법을 배웁니다.
🚀 왜 이 방법이 더 좋은가요?
기존 방법들은 **"검색 횟수"**를 늘리는 데 집중했지만, APEX-Searcher 는 **"검색의 질 (전략)"**을 높였습니다.
기존 방식: "이걸 찾아봐, 아니 그거 말고 저걸 찾아봐, 아니 다시 그거 찾아봐..." (무작정 반복)
APEX-Searcher: "우선 A 를 찾아서 B 를 확인하고, 그다음 C 를 찾아서 D 를 비교하자. 만약 C 가 없으면 E 를 찾아보자." (명확한 로드맵)
📊 결과는 어떨까요?
연구팀은 이 시스템을 여러 복잡한 퀴즈 (HotpotQA, 2Wiki 등) 에 적용해 보았습니다.
결과: 기존 AI 들보다 훨씬 높은 정확도를 보였습니다. 특히 작은 규모의 AI 모델 (3B, 7B) 에서도 큰 향상을 보여, **"작은 뇌도 전략만 잘 세우면 큰 일을 할 수 있다"**는 것을 증명했습니다.
핵심 발견: 단순히 정보를 많이 찾는 것보다, 질문을 잘 쪼개고 (계획), 필요한 때만 찾아내는 (탐색) 능력이 정답을 찾는 데 훨씬 중요했습니다.
💡 결론
이 논문은 AI 에게 **"무작정 검색하는 것"이 아니라 "생각하며 계획하는 능력"**을 심어주면, 훨씬 똑똑하고 정확한 답변을 할 수 있음을 보여줍니다. 마치 미로에서 헤매는 사람이 **지도와 나침반 (계획)**을 갖게 되어 미로를 빠르게 빠져나가는 것과 같습니다.
이 기술은 앞으로 AI 가 복잡한 문제를 해결하거나, 실시간으로 변하는 정보를 다룰 때 매우 유용하게 쓰일 것입니다.
1. 문제 정의 (Problem)
대형 언어 모델 (LLM) 은 방대한 텍스트 코퍼스로 학습되었지만, 훈련 시점 이후의 지식은 알 수 없으며 (지식 고갈), 사실적 오류 (할루시네이션) 를 발생시키는 취약점이 있습니다. 이를 해결하기 위해 검색 증강 생성 (RAG) 이 도입되었으나, 기존 RAG 는 주로 단일 회차 검색에 의존합니다.
복잡한 멀티홉 (Multi-hop) 질문 (여러 단계의 추론과 상호 의존적인 증거가 필요한 질문) 의 경우, 단일 검색으로는 정답을 도출하기 어렵습니다. 기존 연구들은 검색 횟수를 늘리거나 쿼리를 개선하는 반복적 RAG (Iterative RAG) 에 집중했으나, 이는 전략적 계획 (Strategic Planning) 능력을 간과했습니다.
기존 방식의 한계: 각 단계에서 "지금 찾은 정보로 다음에 무엇을 찾아야 할까?"라는 전술적 (Tactical) 반응에 그칩니다.
필요한 접근: "이 복잡한 질문에 답하기 위한 전체 계획은 무엇이며, 어떤 하위 문제들을 어떤 순서로 풀어야 하는가?"라는 전략적 (Strategic) 계획이 선행되어야 합니다.
2. 방법론 (Methodology)
본 논문은 APEX-Searcher (Agentic Planning & EXploration Searcher) 라는 새로운 프레임워크를 제안합니다. 이는 복잡한 검색 작업을 고수준 계획 (High-Level Planning) 과 저수준 탐색 (Low-Level Exploration) 으로 분리하여 최적화하는 3 단계 파이프라인을 가집니다.
A. 전체 아키텍처
Stage I: RL 기반 에이전트 계획 (Agentic Planning)
복잡한 질문을 논리적으로 연결된 하위 질문들의 시퀀스로 분해합니다.
강화학습 (RL, GRPO 알고리즘) 을 사용하여 계획 에이전트를 훈련시킵니다.
보상 함수: 생성된 계획과 인간이 작성한 정답 계획 (Gold Standard) 간의 의미적 유사성 (F1-score) 을 기반으로 합니다.
하위 질문 간 의존성은 #1, #2 와 같은 참조 기호를 통해 명시적으로 처리합니다.
Stage II: SFT 기반 에이전트 탐색 및 추론 (Agentic Exploration)
계획된 하위 질문들을 순차적으로 해결하는 실행 에이전트 (Execution Agent) 입니다.
지도 미세조정 (SFT) 을 통해 훈련됩니다.
동적 루프:
지식 충분성 평가: 현재 축적된 지식만으로 답할 수 있는지 판단합니다.
적응형 멀티홉 검색: 정보가 부족하면 새로운 쿼리를 생성하고 검색을 반복합니다 (최대 홉 수 제한).
컨텍스트 관리: 중복 문서 필터링, 이전 단계의 답변을 참조하여 쿼리 생성, 지식 베이스 (QA 쌍) 점진적 업데이트.
Stage III: 최종 답변 합성
모든 하위 질문이 해결된 후, 축적된 지식 베이스를 바탕으로 최종 답변과 신뢰도 점수를 생성합니다.
B. 핵심 기술적 특징
계층적 최적화: 전략적 계획 (RL) 과 전술적 실행 (SFT) 을 분리하여 각각의 능력을 전문적으로 향상시킵니다.
지식 관리 (Knowledge Manager): 검색된 문서와 생성된 답변을 실시간으로 관리하여 다음 단계의 컨텍스트로 활용합니다.
데이터 생성: Self-instruct 기법을 활용하여 고품질의 멀티턴 검색 지시 데이터 (Instruction Data) 를 대량 생성하여 SFT 에 활용했습니다.
3. 주요 기여 (Key Contributions)
APEX-Searcher 프레임워크 제안: LLM 의 검색 및 추론 능력을 강화하기 위해 에이전트 계획 (Agentic Planning) 과 탐색 (Exploration) 을 통합한 새로운 RAG 프레임워크를 제시했습니다.
RL 기반 계획 능력 강화: 복잡한 멀티홉 질문을 해결하기 위해 작업 분해 (Task Decomposition) 보상을 활용한 강화학습을 도입하여 LLM 의 전략적 계획 능력을 획기적으로 개선했습니다.
계획 기반 검색 패러다임 구축: 계획된 하위 질문들을 기반으로 한 SFT 를 통해 LLM 의 다중 턴 검색 및 탐색 능력을 최적화했습니다.
광범위한 실험 검증: 여러 벤치마크 (HotpotQA, 2WikiMultiHopQA, MuSiQue, Bamboogle) 에서 기존 방법론보다 우수한 성능을 입증했습니다.
4. 실험 결과 (Results)
벤치마크 성능: Qwen2.5-7B 및 3B 모델을 기반으로 한 실험에서, 기존 SOTA 방법론 (Search-o1, Search-R1, ReasonRAG 등) 을 모두 능가했습니다.
평균 정확도 (EM): 7B 모델 기준 기존 최강 베이스라인 대비 약 8.2%, 3B 모델 기준 13.1% 의 향상폭을 기록했습니다.
특히 3B 모델: 베이스라인 대비 149% 의 성능 향상을 보이며, 작은 모델에서도 프레임워크의 효과가 극대화됨을 입증했습니다.
Ablation Study (성분 분석):
계획 (Plan) + RL + 탐색 (SFT) 이 모두 결합되었을 때 최적의 성능을 발휘했습니다.
RL 없이 계획 모듈만 도입하면 오히려 성능이 저하될 수 있으나, RL 을 통해 계획의 질을 높이면 성능이 크게 개선됩니다.
SFT 는 특히 작은 모델의 실행 능력 (검색 및 추론) 을 보완하는 데 결정적인 역할을 했습니다.
파라미터 민감도 분석: 검색 문서 수 (Num) 는 3 개까지 증가할 때 성능이 향상되지만, 그 이상은 노이즈로 인해 성능이 떨어집니다. 반면, 최대 추론 홉 수 (Hop) 는 5 까지 증가할수록 성능이 꾸준히 향상되었습니다.
5. 의의 및 결론 (Significance)
전략적 계획의 중요성 강조: 단순한 검색 횟수 증가가 아닌, LLM 의 내재적 계획 능력을 강화하는 것이 복잡한 멀티홉 질문 해결의 핵심임을 입증했습니다.
에이전트 시스템의 진화: 수동적인 응답을 넘어, 스스로 계획을 수립하고 환경을 탐색하며 목표를 달성하는 진정한 에이전트 (Agentic) 시스템의 가능성을 보여주었습니다.
실용적 가치: RL 과 SFT 를 결합한 두 단계 훈련 방식은 LLM 이 복잡한 정보 검색 작업을 효율적이고 정확하게 수행할 수 있도록 하는 새로운 표준을 제시합니다.
이 연구는 RAG 시스템이 단순한 정보 검색을 넘어, 복잡한 추론 작업을 수행할 수 있는 지능형 에이전트로 발전하는 중요한 디딤돌이 되었습니다.