기술 요약: grep 만 있으면 되는 걸까? 에이전트 하네스가 에이전트 검색을 어떻게 재형성하는가

문제 제기

검색 증강 생성 (RAG) 이 에이전트 시스템에서 널리 채택되고 있지만, 기존 문헌은 검색 전략 선택이 에이전트 아키텍처 및 도구 호출 패러다임과 어떻게 상호작용하는지에 대한 체계적인 비교가 부족합니다. 현재 연구는 종종 어휘 기반 (예: grep, BM25) 검색과 밀집 (시맨틱 벡터) 검색을 고립된 상태에서 평가하거나, 검색된 문서가 단순히 프롬프트에 연결되는 고정된 파이프라인 내에서만 평가합니다. 이러한 접근법은 모델이 무엇을 검색할지, 몇 개의 쿼리를 발행할지, 그리고 결과가 충분한지 여부를 결정하는 현대 에이전트의 특징인 반복적이고 도구 매개적인 루프를 간과합니다.

또한, 두 가지 중요한 실용적 차원이 아직 충분히 탐구되지 않았습니다:

1. 도구 출력 표현: 검색 결과의 전달 방식 (인라인 주입 대 파일 기반 읽기) 이 모델 성능에 미치는 영향.
2. 노이즈 강건성: 관련 없는 주변 텍스트 (방해 요소) 의 비율이 관련 자료에 비해 증가함에 따라 검색 전략이 어떻게 저하되는지.

더욱이, 제공자 네이티브 CLI 에이전트 (예: Claude Code, Codex, Gemini CLI) 의 등장으로 커스텀 빌드 하네스와 근본적으로 다른 새로운 유형의 에이전트 시스템이 등장했지만, 이러한 아키텍처적으로 구별되는 환경 전반에 걸친 검색 전략의 효과는 아직 연구되지 않았습니다.

방법론

저자들은 LongMemEval 벤치마크의 116 개 질문 하위 집합을 사용하여 두 가지 실험으로 구성된 실증 연구를 수행했습니다. 이 벤치마크는 지식 업데이트, 시간적 추론, 선호도 회상 등 여섯 가지 범주에 걸친 장기 대화 기억 작업을 에이전트에게 테스트합니다.

실험 설정

• 코퍼스: Chronos 전처리 파이프라인을 통해 추출된 지역화된 대화 턴과 구조화된 시간적 이벤트.
• 검색 전략:
  • 어휘 기반: 원본 텍스트에 대한 grep 기반 정규식/부분 문자열 매칭.
  • 시맨틱: 재랭킹 단계를 거친 근접 이웃 (ANN) 을 사용한 벡터 검색.
• 에이전트 하네스:
  • 커스텀: Chronos, 동적 프롬프팅과 도구 루프에 대한 세밀한 제어를 갖춘 LangChain 기반 하네스.
  • 제공자 네이티브 CLI: Claude Code, Codex, Gemini CLI. 여기서 에이전트는 직접 bash 명령어를 실행합니다.
• 도구 호출 아키텍처:
  • 표준 (인라인): 검색 결과가 컨텍스트 창에 직접 주입되는 도구 응답 메시지로 반환됨.
  • 프로그래밍 방식 (파일 기반): 결과가 디스크에 기록됨; 에이전트는 콘텐츠에 액세스하기 위해 명시적으로 파일을 읽거나 검색해야 함.
• 모델: 다섯 개의 LLM (Claude Opus 4.6, Claude Haiku 4.5, GPT-5.4, Gemini 3.1 Pro, Gemini 3.1 Flash-Lite) 에서 평가됨.
• 평가: 참조 답변에 대한 답변 정확도를 평가하기 위해 보조 LLM (GPT-4o) 이 채점자로 작용했으며, 일관성을 보장하기 위해 고정된 프롬프트를 사용했습니다.

실험 1: 검색 모드, 하네스, 전달 방식

이 실험은 전체 코퍼스가 노출된 상태에서 검색 모드 (grep 대 벡터), 하네스 유형, 도구 전달 방식 (인라인 대 파일 기반) 이 종단 간 정확도에 미치는 영향을 분리하여 분석했습니다.

실험 2: 노이즈 증가에 따른 컨텍스트 확장

이 실험은 관련 "오라클" 세션을 둘러싼 관련 없는 "방해 요소" 세션의 수를 점진적으로 증가시켜 강건성을 테스트했습니다. 연구는 노이즈가 축적됨에 따라 검색 계열이 어떻게 분기하는지 관찰하기 위해 이산적인 세션 제한 (s5, s10, s20, s30, 전체) 에서 grep 전용과 벡터 전용 성능을 비교했습니다.

주요 결과

1. 에이전트 루프에서 어휘 검색이 종종 시맨틱 검색보다 우수함

복잡한 추론에는 시맨틱 검색이 우월하다는 가정과 달리, 실험 1 의 대부분의 구성에서 grep 이 일반적으로 벡터 검색보다 높은 정확도를 보였습니다.

• 인라인 전달: 모든 하네스 - 모델 쌍에서 어휘 검색이 밀집 검색보다 일관되게 강력했습니다. 가장 큰 차이는 Chronos 와 Gemini 3.1 Flash-Lite 에서 관찰되었습니다 (grep 86.2% 대 벡터 62.9%).
• 파일 기반 전달: 비교가 변화했습니다. 프로그래밍 방식 벡터 검색이 10 개의 하네스 - 모델 쌍 중 5 개에서 프로그래밍 방식 grep 을 초과했습니다. 그러나 파일 기반 전달로의 전환은 일부 조합에서 심각한 성능 저하를 초래했습니다 (예: GPT-5.4 를 사용하는 Codex 는 인라인 grep 의 93.1% 에서 프로그래밍 방식 grep 의 55.2% 로 하락). 이는 파일 읽기 워크플로의 복잡성이 검색 혜택을 상쇄할 수 있음을 시사합니다.

2. 하네스 아키텍처가 성능을 주도함

하네스 (커스텀 대 제공자 네이티브) 의 선택은 정확도에 지대한 영향을 미쳤으며, 종종 검색 전략을 교체하는 것보다 크거나 동등한 영향을 미쳤습니다.

• 동일한 기본 모델 (예: Claude Opus 4.6) 은 커스텀 Chronos 하네스 하에서는 93.1% 의 정확도를 달성했지만, 동일한 검색 방법을 사용하더라도 Claude Code CLI 하네스 하에서는 76.7% 에 그쳤습니다.
• 이는 에이전트 시스템에서 "검색"이 실제로 "검색 + 오케스트레이션"임을 나타내며, 시스템 프롬프트, 도구 설명, 결과 형식이 쿼리 스케줄링 및 종결에 상당한 영향을 미친다는 것을 의미합니다.

3. 노이즈 확장 및 비단조성

실험 2 에서 검색 성능은 노이즈가 증가함에 따라 단조롭게 저하되지 않았습니다.

• 교차점: grep 과 벡터 검색의 상대적 성능은 세션 제한과 특정 하네스에 따라 다양했습니다. 예를 들어, Chronos 하네스에서는 벡터 검색이 종종 낮은 세션 제한 (s5–s20) 에서 더 강력했지만, 특정 모델의 경우 높은 제한에서 grep 이 이를 앞질렀습니다. 반면, Gemini CLI 에서는 벡터 검색이 모든 제한에서 우세하게 남았습니다.
• 유도적 편향: 연구는 제공자별 도구 (예: stdout 의 청크화 방식, 기본 힌트) 가 에이전트가 어휘적 정밀도에서 시맨틱적 폭 중 무엇을 더 얻는지에 영향을 미치는 안정적인 유도적 편향을 도입한다고 시사합니다.

주요 기여

이 논문은 세 가지 주요 통찰을 제공합니다:

1. 검색, 하네스, 표현: 어휘 기반과 밀집 검색 간의 선택은 고립적으로 평가될 수 없으며, 에이전트 오케스트레이션 레이어와 도구 출력 표출 방식 (인라인 대 파일) 과 함께 고려되어야 함을 입증합니다.
2. 노이즈와 규모: 관련 없는 콘텐츠가 증가함에 따라 종단 간 행동이 어떻게 진화하는지 특징짓고, 검색 계열이 에이전트 루프의 특정 워크플로우 및 중지 기준에 따라 노이즈와 어떻게 다르게 상호작용하는지 밝힙니다.
3. 에이전트 스택 전반의 이질성: 검색 효과성이 아키텍처적으로 구별되는 하네스 전반에 걸쳐 안정적이지 않음을 보여줍니다. 커스텀 하네스에서는 잘 작동하는 전략이 동일한 기본 코퍼스를 가진 경우에도 제공자 네이티브 CLI 에서는 실패할 수 있습니다.

중요성과 주장

저자들은 겸손하게도 그들의 발견이 검색 메커니즘, 하네스 오케스트레이션, 전달 경로를 독립적인 설계 선택이 아닌 단일 공동 평가 시스템으로 강조한다고 주장합니다.

• 컨텍스트 엔지니어링: 이 논문은 도구 결과가 어떻게 표현되는지 (인라인 대 파일) 가 검색 순위를 뒤집을 수 있는 중요한 컨텍스트 엔지니어링 결정이라고 주장합니다.
• 작업 특수성: 저자들은 그들의 결론이 종종 문자 그대로의 스패인에 의존하는 답변이 필요한 장기 기억 대화 QA 에 묶여 있음을 지적합니다. 그들은 grep 이 보편적으로 우월하다고 주장하지는 않지만, 특정 작업 분포와 코퍼스 하에서는 종단 간으로 승리할 수 있다고 말합니다.
• 벤치마킹 함의: 이 연구는 고정된 파이프라인에서 검색 지표 (예: BM25 대 ANN) 만 보고하는 것이 에이전트 발판이 도입하는 변이를 과소평가한다고 시사합니다. 향후 벤치마크는 도구 전달 및 오케스트레이션을 포함한 전체 에이전트 루프를 고려해야 합니다.

이 논문은 어휘 기반 검색이 문자 그대로의 스패인 복구가 필요한 작업에 대한 강력한 기본값이지만, 최적의 전략은 특정 에이전트 스택, 모델의 능력, 검색 결과의 전달 메커니즘에 크게 의존한다고 결론지었습니다.