💬 NLP

A New Role for Relevance: Guiding Corpus Interaction in Agentic Search

이 논문은 관련성 점수를 활용하여 순차적 문서 탐색 및 매치 재순위를 통해 조대-세부(coarse-to-fine) 코퍼스 상호작용을 유도함으로써, 기존의 검색 및 직접 상호작용 방식과 비교하여 복잡한 질의응답의 정확도와 효율성을 모두 향상시키는 관련성 인식 검색 에이전트인 RARG를 소개한다.

원저자: Jiangnan Li, Yuqing Li, Mo Yu, Jinchao Zhang, Jie Zhou

게시일 2026-07-28

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jiangnan Li, Yuqing Li, Mo Yu, Jinchao Zhang, Jie Zhou

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 미스터리를 해결하려는 탐정이라고 상상해 보십시오. 하지만 당신에게 주어진 것은 몇 권의 단서가 담긴 수첩이 아니라, 수백만 권의 책이 들어 있는 도서관입니다. 당신의 목표는 답을 품고 있는 단 하나의 특정 문장을 찾아내는 것입니다. 인공지능의 세계에서 이것을 "검색(retrieval)"이라고 부릅니다. 오랫동안 AI 어시스턴트들은 상위 10권의 책 제목을 빠르게 훑어보고는, 답이 첫 페이지에 있기를 바라며 당신에게 그 책들을 건네주는 사서처럼 행동해 왔습니다. 하지만 만약 답이 상위 10권 안에 들지도 못한 어떤 책의 400페이지에 있는 한 단락 속에 깊숙이 숨겨져 있다면 어떨까요? 혹은 그 단서가 매우 구체적인 패턴을 검색했을 때만 나타나는 아주 작고 특정한 구절이라면 어떨까요?

여기에서 "에이전틱 서치(Agentic Search)"가 등장합니다. 단순히 사서에게 목록을 요청하는 대신, AI "에이전트"에게는 도서관 안으로 직접 걸어 들어갈 수 있는 일련의 도구들이 주어집니다. 에이전트는 어떤 책이든 펼칠 수 있고, 특정 페이지를 읽을 수 있으며, 키워드를 추적하기 위해 검색 도구(디지털 "grep"이나 "find" 명령과 같은)를 사용할 수 있습니다. 하지만 함정이 있습니다. 만약 에이전트가 수백만 권의 책을 무작위로 검색하기 시작한다면, 올바른 단서를 찾기도 전에 엉뚱한 통로를 뒤지느라 몇 시간을 허비할 수도 있습니다. 연구자들이 던지는 핵심 질문은 이것입니다: 어떻게 하면 AI가 어떤 책을 먼저 열어야 할지, 그리고 어떤 문장을 읽어야 할지를 알게 하여, 더 빠르고 적은 노력으로 미스터리를 해결하게 할 것인가?

이제 여러분이 읽게 될 논문은 이 이야기에 새로운 등장인물을 소개합니다. 바로 RARG(Relevance-Aware RipGrep Search Agent, 연관성 인지형 RipGrep 검색 에이전트)입니다. RARG를 무작위로 검색하는 것이 아니라 매우 똑똑한 탐정이라고 생각해 보십시오. 탐정이 돋보기를 집어 들기도 전에, 그는 "연관성 지도(relevance map)"를 받습니다. 이 지도는 정답을 알려주는 것이 아니라, 어떤 책에 단서가 포함되어 있을 가능성이 가장 높은지를 알려줍니다. RARG는 이 지도를 사용하여 책을 여는 순서를 결정합니다. 가장 유망한 책부터 시작함으로써, 만약 답이 그곳에 있다면 탐정이 즉시 찾을 수 있도록 보장합니다.

하지만 RARG의 능력은 여기서 그치지 않습니다. 여기에는 두 가지 특별한 기술이 있습니다. 첫째, 탐정이 어디서부터 시작해야 할지 추측하며 시간을 낭비하지 않도록, 시작 단계에서 매우 관련성이 높은 몇 개의 단락을 "스타터 팩(starter pack)"으로 제공합니다. 둘째, 탐정이 여러 책에서 일치하는 문장들(hits)을 찾아내면, RARG는 엄격한 편집자 역할을 수행합니다. R-ARG는 그 모든 일치 항목을 살펴보고 재순위를 매겨, 가장 정보 가치가 높은 문장은 상단으로 올리고 지루하거나 무관한 문장은 숨깁니다. 이를 통해 탐정이 설령 원래 목록의 최상단에 없던 책에서 나온 단서일지라도, 가장 좋은 단서만을 볼 수 있도록 보장합니다.

연구진은 이 새로운 탐정을 기존의 방식들과 비교 테스트했습니다. 그 결과, 단순히 검색 전에 책 목록을 고르는 데만 연관성을 사용하는 것이 아니라, 에이전트가 검색을 수행하는 동안 연관성을 활용하여 검색을 안내함으로써 AI가 복잡한 질문을 훨씬 더 빠르게 해결한다는 것을 발견했습니다. 10만 개의 문서가 있는 도서관을 대상으로 한 테스트에서, 새로운 방식(RARG++)은 기존의 최고 방식들이 약 78%에 머물렀던 것과 달리 84%의 정확도에 도달했습니다. 도서관을 100만 개로 확장했을 때, 새로운 방식의 정확도는 79%로 떨어졌지만, 기존 방식들이 69%로 하락한 것에 비하면 여전히 상당한 격차를 유지했습니다. 이러한 하락에도 불구하고, 새로운 방식은 "도구 호출(tool calls, 검색 과정의 단계)" 횟수를 현저히 줄여 훨씬 더 저렴하고 빠르게 작동했습니다.

이 논문은 더 나은 AI 검색의 핵심은 단순히 더 큰 도서관이나 더 똑똑한 검색 도구를 갖는 것이 아니라, 에이전트에게 더 나은 방향 감각을 부여하는 것이라고 제안합니다. "연관성"을 단순한 필터에서 검색이 어떻게 진행되는지를 안내하는 가이드로 바꿈으로써, AI는 건초더미 전체를 옮기지 않고도 그 안의 바늘을 찾아낼 수 있습니다. 저자들은 이 접근 방식이 특정 답변을 찾는 것(수학 문제와 같은)과 정보 목록의 순위를 매기는 것 모두에 잘 작동함을 보여주며, 어디를 찾아야 하는지를 아는 것이 어떻게 찾아야 하는지를 아는 것만큼 중요하다는 것을 입증했습니다.

기술 요약: 에이전틱 검색에서의 관련성(Relevance)에 대한 새로운 역할 (RARG)

문제 정의

현재의 에이전틱 검색 시스템은 **확장성(scalability)**과 증거 국지화(evidence localization) 사이의 근본적인 긴장 상태에 직면해 있습니다. 전통적인 검색 에이전트는 검색기(retriever)가 문서를 순위 매기고 고정된 스니펫 세트를 대규모 언어 모델(LLM)에 노출하는 "top-k" 인터페이스에 의존합니다. 이러한 접근 방식은 문서 수준의 관련성과 증거 유용성을 혼동합니다. 즉, 매우 관련성이 높은 문서라도 결정적인 사실이 스니펫 제한에 의해 잘려 나간 구간에 숨겨져 있거나, 정적인 순위 목록이 지원할 수 없는 다단계 추론(multi-hop reasoning)을 요구할 수 있습니다.

반대로, **직접 코퍼스 상호작용(Direct Corpus Interaction, DCI)**은 에이전트가 터미널 도구(예: grep, cat)를 사용하여 원시 문서를 검색할 수 있게 하여 패턴 매칭이나 엔티티 추적과 같은 미세한 작업을 가능하게 합니다. 그러나 표준 DCI는 대체로 관련성을 고려하지 않습니다(relevance-agnostic). 이는 모든 문서를 동일하게 유망한 것으로 취급하여, 에이전트가 코퍼스를 맹목적으로 탐색하게 만듭니다. 이는 "검색 수렴(search convergence)" 문제를 야기합니다. 즉, 유용한 단서가 출력 스트림의 후반부에 나타나거나 출력 제한으로 인해 손실되어, 에이전트가 생산적이지 않은 검색 방향에 불필요한 상호작용을 낭비하게 만듭니다.

최 recent 하이브리드 접근 방식들은 상호작용 전 단계에서 검색을 통해 제한된 "작업 공간(working space)"(예: RISE, DR-DCI)을 구축하려고 시도합니다. 이러한 방법들은 검색 공간을 제한하기는 하지만, 여전히 관련성을 공간 구축을 위한 일회성 필터로만 취급합니다. 이들은 관련성 점수를 에이전트가 공간을 어떻게 탐색할지(탐색 순서) 또는 출력 예산이 초과되었을 때 어떤 로컬 매치(local matches)를 가시화할지를 안내하는 **실행 사전 확률(execution prior)**로 사용하는 데 실패합니다.

방법론: 관련성 인지형 RipGrep 검색 에이전트 (RARG)

저자들은 RARG를 제안합니다. RARG는 코퍼스 상호작용의 실행 흐름에 관련성 추정을 직접 통합하는 검색 에이전트입니다. RARG는 관련성을 정적인 선택 메커니즘에서 ripgrep (rg) 도구를 가이드하는 동적인 가이드로 변환합니다. 이 시스템은 조대(coarse)-정밀(fine) 단계의 세 가지 수준의 가이드를 기반으로 작동합니다.

1. 문서 수준 관련성 삽입 (RARG)

RARG는 문서 콘텐츠를 직접 반환하는 대신, 임베딩 검색기를 사용하여 에이전트가 생성한 쿼리와 관련된 상위 순위 문서들의 경로(최대 10,000개)를 포함하는 스코프 파일(/tmp/scope_N.txt)을 생성합니다.

실행 사전 확률: 에이전트는 rg를 사용하여 이 스코프 파일을 순차적으로 탐색하도록 지시받습니다.
순차적 탐색: 표준 rg는 멀티스레드로 실행되어 경로 순서를 파괴합니다. RARG는 -j1 플래그를 주입하여 단일 스레드 순차 스캐닝을 강제합니다. 이를 통해 전역적으로 관련성이 높은 문서의 매치가 출력 스트립의 앞부분에 먼저 나타나게 함으로써, 덜 관련 있는 것들보다 유망한 단서들을 먼저 노출할 수 있습니다.
도구 활용: 에이전트는 스코프를 생성하기 위해 embed_recall(query)를 사용하고, 해당 스코프 내를 검색하기 위해 cat scope | xargs rg를 사용합니다.

2. 진입점 초기화 (RARG+)

에이전트가 시작점을 찾는 데 시간을 낭비하는 것을 방지하기 위해, RARG+는 쿼리와 관련된 문단(스코프 내 상위 10개)의 작은 집합을 초기 스코프 매핑에 추가합니다. 이 문단들은 최종 답변 역할을 하는 것이 아니라, LLM이 첫 번째 정밀한 검색 패턴을 형성하기 위한 "진입점" 역할을 합니다.

3. 매치 수준 관련성 삽입 (RARG++)

관련 있는 문서 내부에서도 rg 출력은 잘릴 수 있으며, 이는 정보가 풍부한 발췌문이 노이즈 속에 파묻혀 보이지 않게 만들 수 있습니다. RARG++는 매치 자체에 대한 재순위화(reranking) 메커니즘을 도입합니다.

구성된 쿼리: 시스템은 전역 스코프 쿼리와 로컬 rg 패턴 키워드를 결합한 쿼리를 구성합니다.
재순위화: 임베딩 모델은 이 구성된 쿼리를 바탕으로 더 넓은 범위의 rg 매치(최대 $M=500$ )를 재순위화합니다.
선택: 상위 $m$ 개의 매치만을 LLM에 제시합니다. 이를 통해 전역적 관련성 점수가 낮은 문서에 있더라도 로컬 정보가 풍부한 발췌문이 모델에게 보일 수 있도록 보장합니다.

주요 기여

관련성의 재개념화: 본 논문은 관련성이 단순히 입력을 선택하거나 작업 공간을 관리하는 것을 넘어, 탐색 순서와 매치 가시성을 가이드하는 실행 사전 확률로서 작용해야 함을 식별했습니다.
RARG 아키텍처: 문서 순위를 유지하며 탐색을 수행하는 관련성 인지형 rg 에이전트를 제안하고, 진입점 초기화 및 매치 수준 재순위화를 통해 조대-정밀 가이드를 제공합니다.
실험적 검증: 관련성 인지형 상호작용이 도전적인 QA 및 추론 집약적 검색 작업에서 기존의 검색 전용 에이전트, 제한 없는 DCI, 그리고 공간 구축형 상호작용 에이전트보다 우수한 정확도-효율성 트레이드오프를 달 achieves함을 입증했습니다.

실험 결과

저자들은 BrowseComp-Plus(100K~1M 문서 규모의 도전적인 QA)와 BRIGHT(4개 도메인에 걸친 추론 집약적 검색)에서 RARG를 평가했습니다.

정확도 대비 비용 (BrowseComp-Plus):
- 100K 문서 코퍼스에서 GPT-5.4-mini를 사용했을 때, **RARG++**는 84%의 정확도를 달성하여 RISE(78%)와 DCI(78%)를 능가했습니다.
- 결정적으로, RARG++는 평균 23.9회의 도구 호출만 필요했습니다(RISE는 28.7회, DCI는 99.1회).
- GPT-5.4를 사용했을 때, RARG++는 훨씬 적은 턴 수로 91%의 정확도(RISE 대비 9포인트 상승)에 도달했습니다.
코퍼스 확장성:
- 코퍼스를 1M 문서로 확장했을 때, RARG++는 79%의 정확도를 유지한 반면, RISE-BM25는 69%로 떨어졌습니다. 이는 관련성 가이드형 탐색이 순수 렉시컬 확장(lexical expansion)보다 노이즈와 방해 요소가 증가하는 상황에서 더 견고함을 시사합니다.
추론 집약적 검색 (BRIGHT):
- BRIGHT에서 **RARG+**는 가장 높은 평균 **nDCG@10 (53.36)**을 기록하며, 검색 특화 모델인 NeMo 에이전트(52.89)와 DCI를 앞질렀습니다.
- 흥미롭게도, 광범위한 리콜(recall)을 선호하는 BRIGHT의 경우, RARG+ (초기화만 적용)가 RARG++ (재순위화까지 적용)보다 성능이 높았습니다. 이는 광범위한 후보 리콜이 필요한 작업에서는 공격적인 매치 수준 필터링이 빠른 수렴이 필요한 QA 작업보다 덜 최적일 수 있음을 시사합니다.

의의 및 주장

본 논문은 관련성 인지형 상호작용이 더 빠르고 신뢰할 수 있는 검색 수렴을 가능하게 한다고 주장합니다. 관련성을 실행 사전 확률로 전환함으로써 RARG는 다음과 같은 기능을 수행합니다:

문서 탐색 순서를 정렬하여 전역적으로 관련 있는 단서를 더 빨리 노출합니다.
문서 수준의 순위 지정이나 출력 제한에 의해 가려질 수 있는 정보가 풍부한 발췌문을 표면화합니다.
정확도를 유지하거나 개선하면서 도구 사용량을 크게 줄여, 정확도-효율성 프런티어를 효과적으로 발전시킵니다.

저자들은 이 접근 방식이 검색을 대체하는 것이 아니라, DCI의 고해율(high-resolution) 및 구성적(compositional) 인터페이스를 유지하면서도 생산적이지 않은 탐색으로 흐르는 경향을 완화하기 위해 검색을 상호작용 루프에 깊이 통합하는 것이라고 강조합니다. 결과는 관련성이 단순히 입력의 선택을 위한 신호가 아니라, 에이전틱 검색의 실행을 가이드하는 핵심적이고도 아직 충분히 활용되지 않은 신호임을 보여줍니다.