기술 요약: SAGE – 딥 리서치 에이전트를 위한 검색 벤치마킹 및 개선

1. 문제 정의

딥 리서치 에이전트는 여러 소스에 걸쳐 정보를 반복적으로 검색하고 합성함으로써 복잡한 질의를 해결할 수 있는 강력한 시스템으로 부상했습니다. LLM 기반 리트리버(retriever)는 지시 이행 및 추론 능력에서 강력한 역량을 보여주었으나, 한 가지 중요한 의문이 남아 있습니다: LLM 기반 리트리버가 딥 리서치 에이전트 워크플로우에 효과적으로 기여할 수 있는가?

기존의 상용 에이전트들은 대규모 웹 코퍼스를 대상으로 하는 독점적 검색 API에 의존하며, 이는 종종 표면 형태 매칭(surface-form matching)에 의존합니다. 반면, LLM 기반 리트리버는 의미론적 이해를 위해 설계되었습니다. 그러나 딥 리서치 에이전트 특유의 쿼리 생성 동작(자연어 질의와 다를 수 있음)이 의미론적 리트리버의 강점과 일치하는지는 불분명합니다. 또한, 기존의 과학 문헌 검색 데이터셋은 오래된 논문에 의존하거나 현대적 에이전트에 필요한 다단계 추론 능력을 평가하지 못하는 경우가 많습니다.

2. 방법론

2.1 SAGE 벤치마크

이를 조사하기 위해 저자들은 추론 집약적인 과학 문헌 검색을 위해 설계된 벤치마크인 SAGE(Scientific AGentic retrieval Evaluation)를 도입합니다.

• 코퍼스: 컴퓨터 과학, 자연 과학, 의료, 인문학의 네 가지 도메인을 아우르는 200,000개의 최신 오픈 액세스 과학 논문 컬렉션.
• 질의: 두 가지 유형으로 나뉘는 1,200개의 질의:
  1. 단답형 질문(Short-form Questions): 메타데이터, 도표/표, 그리고 논문 간의 관계(예: 인용 중복)에 대한 집중적인 추론을 요구합니다. 답변은 검증 가능하며 유일합니다.
  2. 개방형 질문(Open-ended Questions): 실제 연구 시나리오(예: 문헌 검토)에 기반하며, 여러 관련 논문을 합성하는 것을 요구합니다. 답변은 관련성에 따라 가중치가 부여된 여러 정답을 가집나다.
• 데이터 큐레이션: LLM(GPT-5-mini)을 프롬프팅하여 논문의 메타데이터, 추출된 도표/표, 그리고 참조 중복(최소 4개의 공통 참조를 공유하는 논문)으로부터 정보를 합성해야 하는 과업을 생성하도록 하여 질문을 제작했습니다.

2.2 실험 설정

본 연구는 두 가지 조건 하에서 딥 리서치 에이전트의 성능을 평가합니다:

1. 웹 검색(Web Search): GPT-5, Gemini-2.5-Pro 및 오픈 소스 DR Tulu를 포함한 6개의 에이전트를 각각의 네이티브 웹 검색 능력을 사용하여 평가합니다.
2. 코퍼스 검색(Corpus Search): DR Tulu를 제어된 백본 에이전트로 사용하고, 웹 검색 도구를 다음의 특정 리트리버로 교체합니다:
   • BM25: 전통적인 희소 렉시컬(sparse lexical) 리트리버.
   • gte-Qwen2-7B-instruct: 일반적인 LLM 기반 리트리버.
   • ReasonIR: 추론 집약적 과업을 위해 특별히 학습된 LLM 기반 리트리버.

2.3 제안된 솔루션: 코퍼스 수준의 테스트 타임 스케일링(Corpus-Level Test-Time Scaling)

관찰된 성능 격차를 해결하기 위해, 저자들은 코퍼스 수준의 테스트 타임 스케일링 프레임워크를 제안합니다. 이는 에이전트의 쿼리 생성을 수정하는 대신, 문서 코퍼스 자체를 증강하는 방식입니다.

• 메커니즘: LLM(Qwen3-Next-80B-A3B-Instruct)이 각 논문을 처리하여 서지 메타데이터와 핵심 기여를 요약하는 8개의 주제 관련 키워드를 추출합니다.
• 구현: 이러한 키워드와 메타데이터를 문서 텍스트 앞에 추가합니다. 이는 키워드 매칭에 의존하는 기성 리트리버, 특히 키워드 매칭을 사용하는 리트리버가 검색을 더 쉽게 할 수 있도록 신호를 풍부하게 함으로써 코퍼스를 강화합니다.

3. 주요 결과

3.1 웹 검색에서의 에이전트 성능

• 독점 모델 vs 오픈 소스: GPT-5가 단답형 질문에서 전반적으로 앞섭니다. 그러나 오픈 소스인 DR Tulu는 경쟁력이 있으며, 단답형 질문에서 폐쇄형 Gemini-2.5 시리즈 에이전트보다 우수한 성능을 보입니다.
• 검색 효율성: 검색 양이 정확도의 주요 동인은 아닙니다. GPT-5와 같이 성능이 더 좋은 에이전트는 무차별적인 검색보다는 더 정확한 쿼리 분해와 표적화된 증거 선택을 수행하는 경향이 있습니다.
• 쿼리 분해: 독점 모델은 구절 형태의 의미론적 구조를 갖춘 쿼리를 생성하는 경향이 있는 반면, DR Tulu는 종종 구조화되지 않은 키워드 나열식 하위 쿼리를 생성합니다.

3.2 코퍼스 검색에서의 리트리버 성능

• BM25의 우세: 놀랍게도, BM25는 단답형 질문에서 LLM 기반 리트리버보다 약 30% 더 높은 성능을 보입니다.
  • 이유: 딥 리서치 에이전트는 키워드 중심의 하위 쿼리를 생성합니다. 이러한 동작은 표면 형태 매칭(BM25)과 잘 일치하지만, 자연어 쿼리에 대해 학습된 LLM 기반 리트리버에게는 "쿼리-리트리버 불일치(Query-Retriever Mismatch)"를 일으키며, 파편화된 키워드 문자열에 직면했을 때 성능이 저하됩니다.
• 개방형 질문: 개방형 질문에서는 성능 격차가 줄어듭니다. BM25와 gte-Qwen은 유사한 결과를 달성하며, ReasonIR은 두 쿼리 유형 모두에서 최하위를 기록했습니다.
• 다양성 문제: LLM 기반 리트리버는 고정된 검색 예산 하에서 BM25에 비해 검색된 문서의 다양성(검색당 고유 참조 수)이 낮습니다.

3.3 코퍼스 수준 스케일링의 영향

• 단답형 이득: 코퍼스 수준의 스케일링(키워드/메타데이터 추가)을 적용하면 단답형 질문에 대해 BM25의 성능이 8.18% 향상됩니다. LLM 기반 리트리버는 0.9%~2.5%의 미미한 향상만을 보였습니다.
• 개방형 이득: 모든 리트리버에 걸쳐 개선 폭은 미미합니다(1.7%~2.5%). 저자들은 이를 에이전트의 쿼리 분해 시 다양성이 낮아, 코퍼스 증강과 상관없이 검색되는 증거의 폭이 제한되기 때문이라고 설명합니다.

3.4 절제 연구(Ablation Study)

• 정보 민감도: 쿼리 구성 요소(메타데이터, 멀티모달 세부 정보, 관계)의 중요성은 검색 방법에 따라 달라집니다. 웹 검색 시에는 에이전트가 논문의 세부 사항에 민감하지만, 코퍼스 검색 시에는 논문 간의 관계가 지배적이 됩니다.
• 리트리버 인지 능력: 리 retrieval 백엔드는 어떤 쿼리 정보가 성능을 주도하는지를 크게 결정합니다.

4. 의의 및 주장

본 논문은 통제된 과학 도메인 내에서 딥 리서치 에이전트와 LLM 기반 리트리버 간의 협업에 대한 첫 번째 체계적인 조사를 제공한다고 주장합니다.

• 핵적인 발견: 저자들은 중요한 불일치를 강조합니다: 기존의 딥 리서치 에이전트는 전통적인 희소 리트리버(BM25)에 의해 더 잘 지원되는 키워드 중심의 하위 쿼리를 생성하며, 이는 최첨단 LLM 기반 의미론적 리트리버보다 낫습니다.
• 실질적 기여: 제안된 코퍼스 수준의 테스트 타임 스케일링은 에이전트나 리트리버를 재학습시키려 하기보다, 에이전트의 쿼리 스타일에 맞춰 코퍼스를 적응시킴으로써 검색 성능을 높이는 실용적이고 훈련이 필요 없는 방법을 제공합니다.
• 벤치마크 효용성: SAGE는 오래된 문헌에 의존하거나 다단계 추론 요구 사항이 부족했던 기존 데이터셋의 한계를 해결하며, 추론 집약적인 검색을 평가하기 위한 엄격하고 최신의 벤치마크를 제공합니다.

저자들은 리트리버와 에이전트 사이의 효과적인 협업을 위해서는 추가적인 적응이 필요하다고 결론지으며, 특히 현재의 에이전트들이 기초가 되는 리트리버 유형에 맞춰 쿼리 생성 전략을 아직 적응시키지 못하고 있다는 점을 언급했습니다.