기술 요약: GR EPSEEK: 직접 코퍼스 상호작용을 위한 검색 에이전트 훈련

문제 제기

대형 언어 모델 (LLM) 검색 에이전트는 일반적으로 추론 전에 순위가 매겨진 문서 목록을 가져오기 위해 (희소 또는 밀집 임베딩을 사용하는) 사전 계산된 검색 인덱스에 의존합니다. 이러한 패러다임은 정보 탐색을 고정된 텍스트 청크와 관련성 점수로 제한하여, 종종 정확한 엔티티 매칭, 심볼릭 패턴 검색, 또는 유사한 엔티티의 "혼동"을 초래하는 밀집 임베딩이 다중 홉 추론이 필요한 시나리오에서 실패합니다. furthermore, 인덱스를 우회하여 셸 명령어를 통해 원시 코퍼스를 검색하는 현대적 접근 방식 (직접 코퍼스 상호작용, DCI) 은 종종 추론 시 대형 독점 모델에 프롬프팅을 의존하여 높은 계산 비용과 운영 비효율성 (예: 쿼리 시간이 1 시간을 초과) 을 초래합니다.

본 연구는 **직접 코퍼스 상호작용 (DCI)**을 효율적으로 수행할 수 있는 컴팩트한 오픈 가중치 모델 훈련의 과제를 다룹니다. 목표는 검색 에이전트가 코퍼스를 실행 가능한 환경으로 취급하여 grep, rg와 같은 셸 명령어를 발행하여 원시 텍스트에서 직접 증거를 찾고, 필터링하며, 구성할 수 있도록 하는 동시에 대규모 코퍼스에서의 강화 학습 (RL) 불안정성과 순차적 셸 실행의 지연 병목 현상을 극복하는 것입니다.

방법론

저자들은 특수화된 실행 엔진을 지원으로 하는 2 단계 파이프라인을 통해 훈련된 GrepSeek DCI 검색 에이전트를 소개합니다.

1. 2 단계 훈련 파이프라인

학습을 안정화하고 과도하게 광범위한 명령어나 과도한 컨텍스트 검색과 같은 퇴행적 행동을 방지하기 위해, 저자들은 콜드스타트 전략을 followed by RL 최적화를 제안합니다.

• 콜드스타트 데이터 생성:

  • 역방향 단계 (튜터): 정답을 인지하는 튜터 LLM 이 질문과 금표 정답을 하위 쿼리 체인으로 분해합니다. 이는 (정답에서 질문으로) 역방향으로 검색 궤적을 구성하며, 현재 목표에 함축된 문서를 검색하는 셸 명령어를 제안합니다. 핵심적으로, 튜터는 에이전트가 알려진 정답을 악용하는 것이 아닌 진정한 정보 탐색 행동을 학습하도록 보장하기 위해 검색 명령어에 목표 엔티티나 그 별칭을 사용하는 것을 금지하는 정답 유출 금지 규칙을 강제합니다.
  • 전방향 단계 (플래너): 정답을 인지하지 못하는 플래너 LLM 은 관찰 가능한 역사에 기반하여 추론 흔적과 명령어를 생성하여 추론 시 행동을 시뮬레이션합니다.
  • 정렬: 튜터는 플래너의 추론을 논리적으로 검증된 역방향 명령어를 동기화하도록 편집하되, 인과적 역사에 엄격히 기반하도록 합니다.
  • 품질 필터링: 궤적은 정답 생성에 충분한 정보를 포함하고 미래 상태 유출을 방지하기 위해 일관성 검사를 통과하도록 필터링됩니다.

• 최적화:

  • 지도 미세 조정 (SFT): 에이전트는 먼저 안정적인 인과적 기반 검색 명령어를 학습하기 위해 합성 콜드스타트 데이터셋으로 미세 조정됩니다.
  • 그룹 상대 정책 최적화 (GRPO): 정책은 GRPO 를 사용하여 추가로 정제됩니다. 각 쿼리에 대해 궤적 그룹이 샘플링되고, 금표 정답과의 토큰 수준 F1 중첩을 기반으로 보상이 계산되며, 그룹 내에서 정규화됩니다. 이진 형식 보상은 구조적 유효성 (추론 및 도구 사용을 위한 적절한 XML 태그) 을 보장합니다.

2. 효율적 실행 엔진

수십 기가바이트 규모의 코퍼스에서 DCI 를 실용적으로 만들기 위해, 저자들은 의미 보존 분할 병렬 실행 엔진을 개발했습니다.

• 분할: 코퍼스는 줄 정렬된 조각으로 분할됩니다.
• 병렬 분류: 셸 파이프라인은 동적으로 분류됩니다. 상태가 없는 파이프라인 (예: rg, grep, cut, tr) 은 조각 간에 병렬로 실행됩니다. 전역 상태나 줄 간 종속성을 가진 파이프라인은 순차적 실행으로 대체됩니다.
• 축소 전략: 엔진은 결정적 규칙 (예: 상태 없는 경우 연결, Top-N 의 경우 로컬 head 후 전역 head, 카운트의 경우 스칼라 합계, 정렬된 출력의 경우 k-way 병합) 을 사용하여 부분 출력을 집계하여 순차적 실행과 바이트 정확히 동등함을 보장합니다.
• 지속적 데몬: 장기간 실행되는 데몬은 코퍼스를 메모리 (또는 메모리 매핑) 에 유지하여 반복적인 도구 호출에 대한 프로세스 시작 오버헤드를 제거합니다.

주요 기여

1. GrepSeek 에이전트: 실행 가능한 셸 명령어를 통해 원시 텍스트 코퍼스와 직접 상호작용하도록 학습된 컴팩트한 훈련된 검색 에이전트로, DCI 를 추론 시 프롬프팅 전략에서 학습된 능력으로 전환합니다.
2. 안정적 훈련 파이프라인: 역방향 검증된 콜드스타트 데이터 생성과 GRPO 를 결합한 새로운 2 단계 접근 방식으로, 단순 적용이 실패하는 대규모 코퍼스에서 RL 훈련을 효과적으로 안정화합니다.
3. 의미 보존 병렬 엔진: 순차적 실행과 엄격한 바이트 정확 동등성을 유지하면서 셸 기반 검색을 최대 7.6 배까지 가속화 (지연을 5.39 초에서 0.71 초로 감소) 하여 DCI 를 대화형 에이전트에 실현 가능하게 만드는 실행 엔진입니다.
4. 종합 평가: 단일 홉 및 다중 홉 데이터셋을 포함한 7 개의 오픈 도메인 QA 벤치마크에 걸친 광범위한 실험으로, GrepSeek 이 인덱스 기반 RAG 및 기타 에이전트 베이스라인을 능가함을 입증했습니다.

결과

실험은 2100 만 개 문서의 위키피디아 코퍼스를 사용하여 7 개의 벤치마크 (Natural Questions, TriviaQA, PopQA, HotpotQA, 2WikiMultihopQA, MuSiQue, Bamboogle) 에서 수행되었습니다.

• 성능: GrepSeek 은 가장 강력한 전체 토큰 수준 F1 점수 (0.5691) 와 정밀 일치 (0.4948) 를 달성하여, 가장 우수한 밀집 검색 베이스라인 (Search-R1 with Qwen3-4B, 0.5441 F1) 및 기타 에이전트 프레임워크를 크게 능가했습니다.
• 다중 홉 추론: 모델은 밀집 검색기가 종종 혼동하는 희귀 심볼릭 패턴과 정확한 엔티티 이름을 성공적으로 분리한 다중 홉 데이터셋에서 특히 강력한 향상을 보였습니다 (예: HotpotQA 에서 +0.0631 F1, 2WikiMultihopQA 에서 +0.0879).
• 효율성: GrepSeek 은 더 긴 추론 궤적으로 인해 밀집 검색 (4.77 초) 에 비해 더 높은 엔드투엔드 추론 지연 (8.67 초) 을 가지지만, 오프라인 인덱싱의 필요성을 제거 (3.262.4 A100 시간 절약) 하고 메모리 발자국을 원시 코퍼스 크기 (14GB) 로 줄여 밀집 인덱스 (70221GB) 대비 효율적입니다.
• 절대 실험: SFT 단계 또는 GRPO 최적화 중 하나를 제거하면 심각한 성능 저하가 발생하여 구조적 초기화와 정책 정제의 필요성을 확인했습니다.

중요성과 주장

본 논문은 **직접 코퍼스 상호작용 (DCI)**이 검색 에이전트를 위한 전통적인 인덱스 기반 검색의 실용적이고 경쟁력 있는 대안이라고 주장합니다. 코퍼스를 실행 가능한 환경으로 취급함으로써 에이전트는 미세한 어휘적 구분을 보존하고 정확한 엔티티 매칭을 처리하며 밀집 임베딩 공간에서 흔히 발생하는 의미적 혼동을 피하는 "외과적" 정보 검색을 수행할 수 있습니다.

저자들은 GrepSeek 이 안정적이고 인과적으로 기반을 둔 초기화를 제공할 때 컴팩트한 모델이 RL 을 통해 복잡한 검색 행동을 학습할 수 있음을 보여준다고 강조합니다. 표면 형태 변형 (예: 악센트 기호) 에 대한 한계와 의미적 순위 매기기가 부족하다는 제한 사항이 있지만, 저자들은 정밀도, 확장성, 그리고 값비싼 인덱싱의 제거가 DCI 를 지식 집약적 작업, 특히 다단계 추론과 정확한 증거 구성이 필요한 작업에 가치 있는 패러다임이라고 주장합니다. 이 연구는 직접 코퍼스 상호작용과 인덱스 기반 방법을 결합한 향후 하이브리드 아키텍처의 기초를 마련합니다.