기술 요약: DR-DCI

문제 정의

대규모 코퍼스에 대한 에이전트 기반 검색은 **규모(scale)**와 제어(control) 사이의 근본적인 긴장 관계에 직면해 있습니다. 전통적인 검색 증강 생성(RAG) 시스템은 검색기 매개 인터페이스(예: BM25, ColBERT)에 의존하여 정렬된 문서 목록을 제공합니다. 이는 확장성은 뛰어나지만, 증거를 스니펫이나 제한된 뷰로만 노출함으로써 에이전트가 자료를 재구성하거나, 문서 간 제약 조건을 검증하거나, 유연한 교차 문서 작업을 수행하는 능력을 저해하여 에이전트의 역량을 제한합니다.

반대로, 최근의 직접 코퍼스 상호작용(Direct Corpus Interaction, DCI) 방식은 에이전트가 셸 실행 가능한 명령(예: grep, rg, find)을 통해 코퍼스와 상호작용할 수 있게 합니다. 이는 미세한 제어와 정밀도를 제공합니다. 그러나 대규모 코퍼스에 DCI를 직접 적용하는 것은 비효효율적이고 불안정합니다. 코퍼스 크기가 커질수록 터미널 명령은 느려지고, 타임아웃이 발생하기 쉬우며, 과도하게 무관한 출력을 생성하여 전역적인 탐색을 불가능하게 만듭니다. 핵심 병목 현상은 국소적 정밀도가 아니라, 집중적인 코퍼스 수준 탐색을 위한 확장 가능한 메커니즘의 부재입니다.

방법론: DR-DCI

저자들은 검색을 단순한 최종 증거 인터페이스가 아니라, 로컬 워크스페이스를 확장하기 위해 에이전트가 호출할 수 있는 액션으로 취급하는 프레임워크인 DR-DCI(Retriever-Steered Direct Corpus Interaction)를 소개합니다.

핵심 메커니즘

1. 동적 워크스페이스 확장: 에이전트는 전체 코퍼스 $C$에서 직접 작동하는 대신, 진화하는 로컬 워크스페이스 $W_t \subseteq C$를 유지합니다.
2. pull 액션: 에이전트는 pull(query, topK) 액션을 호출하여 숨겨진 코퍼스로부터 순위가 매겨진 후보 문서들을 워크스페이스로 실체화(materialize)합니다. 환경은 검색, 중복 제거 및 실체화(하드 링크를 통해)를 처리하고, 새로운 문서 $\Delta W_t$, 순위가 매겨진 프리뷰 $P_t$, 그리고 통계치를 반환합니다.
3. 로컬 DCI 작업: 문서가 실체화되면, 에이전트는 경계가 지정된 워크스페이스 $W_t$ 내에서 검색, 필터링, 비교 및 증거 검증을 수행하기 위해 터미널 스타일의 DCI 도구를 사용합니다.
4. 관심사의 분리:
   • **검색(Retrieval)**은 코퍼스 수준의 후보 발견(확장성)을 담당합니다.
   • DCI는 워크스페이스 수준의 문서 상호작용(정밀도)을 담당합니다.

주요 인터페이스 구성 요소

• 문서 간 DCI (Inter-document DCI): rg 및 grep과 같은 명령을 통해 에이전트는 여러 실체화된 문서들을 검색하여 제약 조건을 결합하고 브릿지 엔티티(bridge entities)를 추적할 수 있습니다.
• 문서 내 DCI (Intra-document DCI): 오프셋(offset)이 포함된 read 명령을 사용하여 단일 문서 내에서 정밀한 스팬(span) 단위 검증을 수행할 수 있습니다.
• 순위가 매겨진 프리뷰 (Ranked Previews): pull 액션은 에이전트의 조사를 가이드하기 위해 새로 추가된 문서의 순위가 매겨진 프리뷰를 반환하며, 이는 로컬 검증의 필요성을 대체하지 않습니다.
• 워크스페이스 보존형 컨텍스트 리셋 (Workspace-Preserving Context Reset): 추론 궤적(reasoning trajectory)이 실패할 경우(예: 낮은 신뢰도), 시스템은 신뢰할 수 없는 추론 이력은 폐기하되 실체화된 워크스페이스 $W_t$는 보존하는 복구 메커니즘입니다. 이후 새로운 에이전트 인스턴스가 기존의 증거를 사용하여 쿼리를 해결하려고 시도합니다.

구현 세부 사항

• 터미널 인식 인터페이스: 안정적인 로컬 작업을 보장하기 위해 문서들은 셸 안전한 파일명을 가진 루트-플랫(root-flat), 중복 제거된 워크스페이스에 실체화됩니다.
• 리트리버 백엔드: 이 프레임워크는 리트리버 백엔드에 구애받지 않으며, 희소(sparse, BM25) 및 밀집(dense, 예: Qwen3 8B) 검색을 모두 지원합니다. 다만 실험에서는 밀집 검색이 우수한 의미론적 발견 성능을 보였습니다.

주요 기여

1. 워크스페이스 관리로서의 검색: 본 논문은 검색을 일회성 컨텍스트 선택 모듈에서 에이전트의 환경을 수정하는 에이전트 호출 가능 작업으로 재정의합니다. 검색된 문서는 워크스페이스 상태로 지속되어, 이후의 도구 호출이 실체화된 후보들을 검색하고 검증할 수 있게 합니다.
2. 확장 가능한 DCI 인터페이스: DR-DCI는 검색이 코퍼스 수준의 탐색을 지원해야 하고 DCI가 로컬 증거 상호작용을 지원해야 한다는 통찰을 구체화합니다. 이러한 분리는 모든 검색 명령이 전체 코퍼스를 스캔할 필요 없이 DCI가 정밀도를 유지할 수 있도록 합니다.
3. 실증적 검증: 저자들은 세 가지 대규모 설정에서 이 접근 방식을 검증하여, 워크스페이스 확장이 고정된 코퍼스 검색을 개선하며 코퍼스 크기가 증가함에 따라 효과가 유지됨을 입증했습니다.

실험 결과

1. BrowseComp-Plus (고정 코퍼스)

• 성능: DR-DCI는 830개 쿼리로 구성된 BrowseComp-Plus 벤치마크에서 **71.2%**의 정확도를 달 기록하며, Raw-DCI(62.9%) 대비 8.3포인트 향상된 성능을 보였습니다.
• 효율성: 평균 도구 사용 횟수(30.94 vs 37.53), 실행 시간(146s vs 3139s), 예상 비용($34.91 vs $88.13)을 모두 줄였습니다.
• 컨텍스트 리셋: 워크스페이스 보존형 컨텍스트 리셋 메커니즘을 사용했을 때 정확도는 **73.25%**로 더욱 향상되었습니다.
• 비용-정확도 트레이드오프: DR-DCI는 o3 및 Claude Sonnet 4.6과 같은 외부 시스템과 비교하여 우수한 비용-정확도 트레이드오프를 보여주었습니다.

2. 제어된 코퍼스 스케일링 (BCP-100)

• 설정: 동일한 100개의 질문과 골드 증거를 유지하면서 FineWeb 방해 요소를 추가하여 코퍼스를 100K에서 10M 문서로 확장했습니다.
• 결과:
  • DR-DCI: 코퍼스 크기가 100배 증가함에 따라 정확도가 약 80%에서 약 70%로 완만하게 저하되었습니다. 도구 타임아웃과 비용은 제한된 범위 내에 있었습니다.
  • Raw-DCI: 반복적인 전체 코퍼스 터미널 검색이 타임아웃에 걸림에 따라 작은 규모 이상의 단계에서 불안정해지고 실행 불가능해졌습니다.
  • BM25 베이스라인: 안정적이었으나, 로컬 검증을 위한 실체화된 문서에 접근할 수 없었기 때문에 DR-DCI보다 성능이 현저히 낮았습니다.

3. 20M 규모의 Wiki-18 QA

• 설정: 6개의 QA 데이터셋(NQ, TriviaQA 등)에 대해 20M 규모의 파일-당-문서 코퍼스에서 평가했습니다.
• 결과: DR-DCI는 평균 점수 63.0을 기록하며, 검색 기반 및 학습된 검색 에이전트 베이스라인(예: R1-Searcher-7B, Search-R1-32B)을 능가했습니다.

절제 연구 (Ablation Studies)

• 동적 vs 정적: 동적 Pull(중간 삽입형 검색)이 정확도와 효율성 면에서 Single Pull(정적 워크스페이스)보다 우수했습니다.
• 순위가 매겨진 프리뷰: 순위가 매겨진 프리뷰를 제공하는 것이 숨겨지거나 섞인 프리뷰를 제공할 때보다 성능을 크게 향상시켜(82/100), 스티어링(steering)의 중요성을 입증했습니다.
• 문서 간 DCI: 문서 간 검색을 차단하자 정확도가 82/100에서 40/100으로 급락하였으며, 이는 순위가 매겨진 프리뷰만으로는 충분하지 않으며 문서를 비교하는 능력이 필수적임을 증명합니다.
• 리트리버 백엔드: BM25와 밀집(Dense) 검색 모두 작동했으나, 밀집 검색이 가장 좋은 결과(82/100)를 냈습니다.

의의 및 주장

본 논문은 DR-DCI가 거대한 코퍼스에 대해서도 정밀한 로컬 증거 상호작용을 유지하면서 DCI를 확장할 수 있는 실용적인 인터페이스를 제공한다고 주장합니다. 그 의의는 다음과 같이 규모와 제어 사이의 긴장을 해결하는 데 있습니다:

1. 발견과 검증의 분리: 검색을 통해 확장 가능한 후보 발견을 수행하고, DCI를 통해 정밀한 검증을 수행합니다.
2. 강건성 확보: 에이전트가 막대한 비용이나 타임아웃 없이 표준 RAG 설정에서 사용되는 것보다 몇 배나 큰 코퍼스에서도 효과적으로 작동할 수 있음을 보여줍니다.
3. 인터페이스 요구사항 정의: 효과적인 에이전트 기반 검색에는 단순한 검색뿐만 아니라, 에이전트의 조사를 가이드하기 위한 순위 기반 프리뷰 및 문서 간 검색 기능과 같은 특정 인터페이스 기능이 필요함을 확립합니다.

저자들은 DR-DCI를 기존의 에이전트 기반 검색 시스템을 보완하는 접근 방식으로 위치시키며, 초점을 "에이전트에게 어떻게 검색을 학습시킬 것인가"에서 "내구적인 워크스페이스 상태와 확장 가능한 상호작용 루프를 지원하기 위해 코퍼스 접근 인터페이스 자체를 어떻게 설계할 것인가"로 전환합니다.