🤖 AI

Fetch-then-Explore: Decoupling Selection from Extraction over a Persistent Workspace for Search Agents

이 논문은 페이지 선택과 증거 추출을 분리하여 지속적인 파일 시스템 워크스페이스를 유지함으로써, 에이전트가 이전에 가져온 페이지를 필요에 따라 다시 방문하고 정보를 추출할 수 있게 함으로써 기존의 일시적인 인터페이스보다 복잡한 검색 벤치마크에서 정확도를 크게 향상시키는 검색 에이전트 프레임워크인 "Fetch-then-Explore"를 소개한다.

원저자: Qi Liu, Yiqun Chen, Zidan Chen, Yan Gao, Yi Wu, Yao Hu, Jiaxin Mao, Fengbin Zhu, Tat-Seng Chua

게시일 2026-08-04

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Qi Liu, Yiqun Chen, Zidan Chen, Yan Gao, Yi Wu, Yao Hu, Jiaxin Mao, Fengbin Zhu, Tat-Seng Chua

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 거대한 미스터리를 풀려는 탐정이라고 상상해 보세요. 하지만 단 하나의 범죄 현장이 아니라, 단서들이 인터넷 전체에 흩어져 있습니다. 당신에게는 아주 똑똑한 조수(AI 에이전트)가 있어, 당신과 대화하고, 문제를 생각하며, 답을 찾기 위해 도구를 사용할 수 있습니다. 이것이 바로 AI 검색 에이전트의 세계입니다. 이 디지털 탐정들은 단순히 책 한 권을 읽는 것이 아니라, 수천 개의 웹사이트를 뒤져 정보를 찾아내고, 사실들을 짜 맞추며, 진실을 밝혀내야 합니다.

이를 위해 에이전트에게는 두 가지 주요 기술이 필요합니다. 바로 적절한 웹 페이지를 찾는 것과 그 페이지를 읽는 것입니다. "찾는 것"은 검색 엔진을 사용하여 잠재적인 단서 목록을 얻는 것으로 생각할 수 있습니다. "읽는 것"은 더 까다로운 부분입니다. 과거에는 에이전트가 링크를 클릭하면, 페이지 전체를 통째로 삼키거나 적어도 큰 덩어리를 즉시 뇌리에 박아 넣어야 했습니다. 그것은 마치 500페이지짜리 소설을 건네받으며, 아직 어느 장에 답이 있는지조차 모르는 상태에서 "지금 당장 이걸 읽고 결말을 말해봐"라는 명령을 받는 것과 같았습니다. 만약 세부 사항 하나를 놓친다면, 책을 버리고 다시 도서관으로 가서 처음부터 다시 확인해야 했습니다. 이 논문은 탐정이 같은 페이지를 계속 재독하지 않아도 되도록, 이러한 디지털 책들을 다루는 더 스마트한 방법을 탐구합니다.

문제점: "지금 읽지 않으면 잃어버리는" 함정

당신이 AI 친구와 함께 고도의 심리전이 담긴 "클루(Clue)" 게임을 하고 있다고 상상해 보세요. 당신이 "Acme Corp의 공동 창립자는 누구인가요?"라고 묻습니다. AI는 웹을 검색하여 링크 목록을 찾아냅니다.

기존의 방식(방문 후 읽기, Visit-and-Read)에서는 AI가 링크를 선택하자마자 페이지 전체를 자신의 단기 기억 속으로 강제로 밀어 넣습니다. 이는 AI가 책을 집어 들고, 처음 몇 페이지를 읽은 뒤 요약하고, 나머지 부분은 쓰레기통에 처박아 버리는 것과 같습니다. 만약 AI가 나중에 "잠깐, 내가 알아야 하는 건 첫 번째 창립자가 아니라 두 번째 창립자인데?"라고 깨닫는다면, 그는 이전의 책을 다시 볼 수 없습니다. 책은 사라졌습니다. AI는 다시 도서관으로 가서 책을 다시 찾고 처음부터 다시 읽어야 합니다. 이 방식은 느리고 비용이 많이 들며, 너무 일찍 페이지의 잘못된 부분을 읽도록 강요받기 때문에 중요한 세부 사항을 놓치는 경우가 빈번합니다 lack습니다.

**브라우징(Browsing)**이라는 또 다른 방법은 조금 더 낫습니다. 이 방식은 AI가 페이지를 열고 요약하기 전에 주변을 둘러볼 수 있게 해줍니다. 하지만 함정이 있습니다. AI는 한 번에 단 하나의 페이지만 열 수 있다는 것입니다. 새로운 페이지를 여는 즉, 기존의 페이지는 기억 속에서 사라집니다. 이는 컴퓨터에서 창 하나만 띄워놓고 있는 것과 같습니다. 새 탭을 열면 기존 탭은 닫힙니다. 만약 AI가 페이지 A와 페이지 B의 사실을 비교해야 한다면, 끊임없이 왔다 갔다 하며 페이지를 다시 열고 다시 읽어야 합니다.

해결책: "디지털 서류함"

이 논문의 저자들은 **페치 앤 익스플로어(Fetch-then-Explore, 가져온 후 탐색하기)**라는 새로운 방법을 제안합니다. 그들은 문제가 단순히 AI가 어떻게 읽느냐가 아니라, 발견한 페이지를 어디에 보관하느냐에 있다는 것을 깨달았습니다.

AI에게 페이지를 즉시 읽게 하거나 임시 창에 한 페이지만 띄워두는 대신, 그들에게 지속적인 작업 공간(persistent workspace), 즉 하드 드라이브에 있는 개인용 디지털 서류함을 제공합니다.

작동 방식은 다음과 같습니다:

페치 (사서, The Librarian): AI가 유망한 링크를 발견하면, 아직 읽지 않습니다. 그저 페이지를 "페치(가져오기)"하여 서류함에 통째로 저장합니다. 그러면 "이 위치에 페이지 저장됨"이라는 아주 작은 영수증 하나를 받게 됩니다. 이 과정에는 비용이 거의 들지 않습니다.
익스플로어 (탐정, The Detective): 나중에 AI가 구체적인 질문(예: "공동 창립자는 누구인가?")을 갖게 되면, 서류함으로 갑니다. 페이지를 다시 다운로드할 필요가 없습니다. 그저 grep(초고속 검색 기능과 같은 도구)을 사용하여 저장된 파일에서 "공 공동 창립자"를 언급하는 정확한 줄을 찾아냅니다.

이것은 책을 대출한 뒤 책장에 꽂아두고, 며칠 뒤에 다시 돌아와서도 다시 대출할 필요 없이 언제든 다시 볼 수 있는 도서관과 같습니다. AI는 수십 개의 페이지를 저장해 두었다가, 언제든 다시 돌아와 "X에 대해 뭐라고 했었지?"라거나 "Y에 대한 부분을 보여줘"라고 물을 수 있습니다.

연구 결과: 되돌아가는 힘

연구진은 세 가지 "두뇌" 모델(AI 백본)과 두 가지 도전적인 인터넷 검색 벤치마크인 BrowseComp(매우 찾기 어려운 하나의 사실을 찾는 데 필요) 및 WideSearch(많은 사실이 담긴 큰 표를 채우는 데 필요)를 사용하여 이 새로운 방법을 기존 방식들과 비교 테스트했습니다.

결과는 명확했습니다:

더 높은 정확도: "Fetch-then-Explore" 방식이 승리했습니다. BrowseComp(어려운 사실 찾기) 테스트에서 이 방식은 세 가지 AI 두뇌 모두에서 다른 모든 방식을 앞질렀습니다. 예를 들어, 가장 강력한 AI 두뇌를 사용했을 때, 이 방식은 **70.5%**의 정확도를 기록하여 그다음으로 좋은 방식의 **66.0%**를 제쳤습니다.
비밀 병기: 이 성공의 가장 큰 이유는 **재방문(revisiting)**이었습니다. 서류함을 사용하는 AI는 어려운 과제에서는 12%에서 20%, 광범위한 과제에서는 최대 **75%**의 비율로 이미 보았던 페이지로 다시 돌아갔습니다. 페이지를 버려버리는 기존 방식들은 거의 돌아가지 않았습니다.
효율성: AI가 저장된 페이지를 즉시 다시 읽을 수 있었기 때문에, 웹을 반복해서 다시 검색하는 데 시간을 낭비하지 않았습니다. 실제로 이 방식은 더 나은 답을 얻으면서도 다른 방식들보다 더 적은 검색 쿼리를 사용했습니다.

이것이 왜 중요한가

이 논문은 AI가 정보를 어떻게 "보유"하느냐가 어떻게 "생각"하느냐만큼 중요하다는 것을 보여줍니다. 페이지를 선택하는 행위(서류함에 저장하기)와 정보를 추출하는 행위(나중에 읽기)를 분리함으로써, AI는 훨씬 더 유연해집니다. AI는 가설을 세우고, 저장된 페이지를 확인하고, 생각을 바꾸고, 다시 그 페이지를 확인하면서도 길을 잃지 않을 수 있습니다.

저자들은 이러한 "지속적인 작업 공간" 접근 방식이 길고 복잡한 연구 작업의 판도를 바꿀 것이라고 제안합니다. 이 방식은 AI를 움직이자마자 모든 것을 잊어버리는 조급한 독자에서, 증거를 체계적으로 정리하고 미스터리가 깊어질 때마다 언제든 다시 검토할 준비가 된 신중한 조사관으로 변화시킵니다. 이 연구는 AI에게 정보를 저장할 장소와—그것들을 다시 살펴볼 수 있는—자유를 주는 것이 더 똑똑하고 정확한 답변으로 이어진다는 점을 확인시켜 줍니다.

기술 요약: Fetch-then-Explore (FTE)

문제 정의

수십 번의 검색을 필요로 하는 복잡한 질문에 답하는 현재의 장기적 탐색(long-horizon search) 에이전트들은 페이지 콘텐츠를 검색 시점과 결합하는 두 가지 문서 접근 인터페이스에 주로 의존합니다.

방문 및 읽기 (Visit-and-Read): 이 인터페이스는 문서 선택과 증거 추출을 단일 동작으로 융합합니다. 에이전트가 URL을 방문하면, 에이-제는 즉시 고정된 렌더링 결과물(예: 목표 중심의 청크 창, LLM 요약 또는 절단된 본문)을 메시지 히스토리에 주입받습니다. 이는 에이전트가 구체적으로 어떤 사실이 필요할지 알기도 전에 특정 읽기 방식에 몰두하게 만듭니다. 초기 렌더링 범위를 벗어난 콘텐츠는 페이지를 다시 가져오지 않는 한 손실됩니다.
상태 유지 브라우징 (Stateful Browsing / Open-and-Find): 이 방식은 페이지를 일시적인 세션으로 열어 선택과 추출을 분리합니다. 그러나 한 번에 하나의 페이지만 보유할 수 있으며, 새 페이지를 열면 이전 페이지는 해제됩니다. 결과적으로, 에이전트가 주장을 검증하거나 새로운 관점에서 읽기 위해 나중에 페이지를 다시 방문해야 할 경우, 새로운 검색 비용을 지불하며 페이지를 다시 가져오고 렌더링해야 하며, 문서 전반에 걸쳐 증거를 축적하는 능력을 상실하게 됩니다.

두 패러다임 모두 선택된 페이지를 지연된 반복 추출을 위해 유지하지 못한다는 문제를 안고 있습니다. 여러 턴이 지난 후 다시 중요해진 페이지를 사용하려면 페이지를 다시 가져와서 컨텍스트 윈도우에 다시 렌더링해야 하며, 이는 장기적 추론을 비효율적으로 만들고 증거를 놓칠 가능성을 높입니다.

방법론: Fetch-then-Explore (FTE)

저자들은 페이지 선택과 증거 추출을 분리하고, 선택된 콘텐츠를 지속적인 외부 워크스페이스에 보관하는 Fetch-then-Explore (FTE) 패러다임을 제안합니다.

핵심 아키텍처

FTE는 표준 ReAct 에이전트 프레임워크 내에서 작동하지만, 문서 접근 도구 세트를 질문별 파일 시스템 캐시( $C_q$ )에서 작동하는 도구 세트로 교체합니다.

지속적 워크스페이스 (Persistent Workspace): 페이지 본문을 컨텍스트 윈도우에 직접 주입하거나 일시적인 세션에 두는 대신, FTE는 가져온 페이지의 전체 텍스트를 파일 시스템의 임시 디렉토리에 일반 텍스트 파일로 저장합니다.
분리된 도구 (Decoupled Tools):
- fetch(url): 페이지를 가져와 텍텍스트로 정규화한 뒤 $C_q$ 에 저장합니다. 이 도구는 콘텐츠 자체가 아니라 가벼운 기록(경로, 크기, 상태)만을 반환합니다. 선택 과정이 페이지 텍스트를 위한 컨텍스트 토큰을 소비하지 않으므로 선택 작업은 "거의 무료"가 됩니다.
- grep(pattern, path, context): 저장된 파일들에서 정규 표현식 매칭을 검색합니다. 전체 캐시(모든 가져온 페이지) 또는 특정 파일을 대상으로 검색할 수 있으며, 선택적 컨텍스트를 포함한 줄 번호가 매겨진 결과값을 반환합니다.
- read(path, offset, limit): 특정 파일에서 제한된 범위의 줄을 읽어, grep으로 찾은 결과에 대해 내용을 확장할 수 있게 합니다.
- list_fetched(): 캐시 콘텐츠를 나열합니다.
설계 원칙:
1. 분리 (Decoupling): 선택(fetch)은 추출(grep/read)과 분리됩니다. 에이전트는 스니펫을 바탕으로 페이지를 선택한 뒤, 자신의 가설이 더 명확해질 때까지 추출을 미룰 수 있습니다.
2. 유지 (Retention): 에이전트가 새로운 태스크로 이동하더라도 페이지는 제거되지 않습니다. 워크스페이스는 궤적(trajectory)에 따라 성장하며, 이를 통해 문서 전반에 걸쳐 증거를 축적할 수 있습니다.
3. 지연 및 반복 가능한 추출 (Deferred & Repeatable Extraction): 에이전트는 다시 가져오는 과정 없이 동일한 페이지에 대해 여러 차례 다른 가설로 쿼리를 던질 수 있습니다.

실험 설정

본 연구는 검색 백엔드(Serper API), 에이전트 하네스(ReAct), 그리고 백본 모델을 고정함으로써 문서 인터페이스의 영향을 격리하여 측정합니다.

백본 (Backbones): 다양한 역량 계층을 포괄하는 세 가지 모델: Qwen3.5-35B-A3B, Qwen3.5-122B-A10B, DeepSeek-V4-Pro.
벤치마크:
- BrowseComp: 단 하나의 찾기 어려운 사실을 찾기 위해 다단계 추론(multi-hop reasoning)이 필요한 딥 리서치 벤치마크 (1,266개 질문 중 200개 샘플링).
- WideSearch: 많은 페이지로부터 높은 재현율(high-recall)의 테이블 채우기가 필요한 광범위한 정보 탐색 벤치마크 (200개 태스크).
베이스라인 (Baselines):
- Snippet-only: 문서 접근 불가.
- Visit-Snippet / Visit-Summary: 서로 다른 압축 수준을 가진 표준 방문 및 읽기 방식.
- Open+Find: 일시적 세션을 사용하는 상태 유지 브라우징.

주요 결과

1. 성능 향상

BrowseComp: FTE는 세 가지 백본 모두에서 가장 높은 정확도(각각 44.5%, 52.5%, 70.5%)를 달 기록했습니다. 이는 가장 강력한 베이스라인보다 2~~4.5% 포인트, raw visit-snippet 베이스라인보다 7~~14% 포인트 높은 수치입니다.
WideSearch: FTE는 일반적으로 베이스라인과 대등하거나 이를 능가합니다. 122B 백본에서 베이스라인보다 앞서며, 122B/Pro 백본에서는 가장 강력한 베이스라인과 대등한 결과를 보였습니다. 다만, 가장 약한 백본에서는 visit-summary 베이스라인이 근소하게 앞섰습니다.
검색 효율성: FTE 에이전트는 베이스라인보다 더 적은 검색 쿼리를 발행합니다. 이미 보유한 정보로부터 증거를 추출할 수 있기 때문에, 정보를 찾기 위해 재검색에 의존하는 빈도가 낮습니다.

2. 행동 분석

페이지 재방문 (Revisiting Pages): 결정적인 행동 차이는 페이지를 떠난 후 다시 돌아올 수 있는 능력입니다. FTE는 BrowseComp에서 12~~20%, WideSearch에서는 **67~~76%**의 문서 재방문율을 보였으며, 이는 일시적 인터페이스의 3~10%와 대조적입니다.
절제 연구 (Ablation Studies):
- grep(맹목적 페이징 강제) 또는 read를 제거하면 성능이 크게 떨어지며, 두 도구가 모두 필요함을 입증합니다.
- grep을 단일 파일로 제한(전체 캐시 범위 제거)하면 추출 도구를 제거했을 때와 유사한 성능 저하가 발생합니다. 이는 단순한 지속성만으로는 부족하며, 축적된 워크스페이스 전체를 쿼리할 수 있는 능력이 핵심임을 나타냅니다.

의의 및 기여

본 논문은 세 가지 주요 기여를 주장합니다:

지속성의 식별: 기존의 검색 에이전트 인터페이스에서 탐구되지 않았던 축인 "지속성(persistence)"을 식별했습니다. 기존 에이전트들이 선택/추출을 융합하거나 일시적 세션을 사용하는 반면, FTE는 지속적인 외부 워크스페이스를 도입합니다.
통제된 격리: 하네스와 검색 백엔드를 고정함으로써 문서 인터페이스의 가치를 격리하여 입증했습니다. 연구 결과는 문서 접근을 지속적인 캐시로 외재화하는 것이 특히 딥 리서치 태스크(BrowseComp)에서 최종 태스크 정확도를 높이는 데 실질적인 이득을 준다는 것을 보여줍니다.
성능 향상의 메커니즘: 성능 향상은 페이지를 떠난 후 다시 돌아오는 능력이라는 구체적인 기능 덕분임을 밝혀냈습니다. 이를 통해 에이전트는 재검색 비용 없이 불완전한 가설을 수정하고 놓친 증거를 회복할 수 있으며, 이는 일시적 인터페이스가 근본적으로 갖지 못한 능력입니다.

저자들은 운영(operation)을 그 출력물을 담는 매체로부터 분리하는 것이 에이전트의 작업 기억(working memory)이 어디에 위치해야 하는지에 대한 구조적 질문을 던진다고 결론지으며, 외부의 지속적인 기질(substrate)이 장기적 탐색을 위한 컨텍스트 윈도우 기반 메모리의 유효하고 효과적인 대안이 될 수 있음을 시사합니다.