COSEARCH: Joint Training of Reasoning and Document Ranking via Reinforcement Learning for Agentic Search

1. 문제 정의 (Problem)

에이전트 검색 (Agentic Search) 은 복잡한 질문에 답하기 위해 에이전트가 반복적으로 추론하고, 검색 쿼리를 생성하며, 검색된 정보를 종합하는 작업입니다. 최근 강화 학습 (RL) 을 통해 이러한 에이전트의 추론 능력이 크게 향상되었으나, 기존 접근법 (예: Search-R1) 은 검색 시스템을 고정된 도구 (Fixed Tool) 로 간주합니다. 즉, 에이전트만 학습하고 검색 (Retrieval) 및 랭킹 (Ranking) 시스템은 변경되지 않습니다.

저자들은 이 가정이 성능 향상의 주요 병목 현상임을 지적합니다.

• 오라클 검색 (Oracle Retrieval) 실험: 정답이 포함된 문서를 최상단에 배치하는 이상적인 검색 환경을 가정했을 때, 7B 파라미터 에이전트는 평균 F1 점수가 +14.7%, 3B 에이전트는 +26.8% 향상되었습니다.
• 이는 에이전트의 추론 능력이 아무리 뛰어나도, 검색 시스템이 관련 문서를 제대로 찾지 못하면 성능이 제한됨을 의미하며, 검색 시스템과 추론 에이전트를 분리하여 학습하는 방식의 한계를 보여줍니다.

2. 방법론 (Methodology: COSEARCH)

저자들은 COSEARCH 프레임워크를 제안합니다. 이는 추론 에이전트 (Main Agent) 와 생성형 문서 랭커 (Generative Ranker) 를 동시에 강화 학습 (RL) 하는 방식입니다.

핵심 구성 요소

1. 이중 단계 검색 시스템:
   • 1 단계: 고정된 밀도 검색기 (Dense Retriever) 가 N 개의 후보 문서를 가져옵니다.
   • 2 단계: 학습 가능한 생성형 랭커 (Generative Ranker) 가 후보 문서 중 K 개를 선택하고 재랭킹하여 에이전트에게 제공합니다.
2. 그룹 상대 정책 최적화 (GRPO) 적용:
   • 기존 GRPO 는 동일한 입력 프롬프트에서 생성된 여러 응답을 그룹화하여 이점 (Advantage) 을 계산합니다.
   • 문제점: 랭커의 입력은 에이전트의 추론 경로 (Trajectory) 에 따라 생성된 하위 쿼리 (Sub-query) 이므로, 각 롤아웃마다 입력이 달라 직접적인 그룹화가 불가능합니다.
   • 해결책 (Semantic Grouping): 하위 쿼리들을 토큰 수준의 F1 유사도로 클러스터링하여 의미적으로 동일한 쿼리들을 그룹화합니다. 이를 통해 추가적인 롤아웃 없이도 GRPO 학습에 필요한 유효한 그룹을 형성합니다.
3. 복합 보상 설계 (Composite Reward):
   • 랭커의 성능을 평가하기 위해 두 가지 신호를 결합합니다.
     • 관련성 보상 (Relevance Reward): 정답이 포함된 문서가 상위에 있는지 확인하는 Hit@k 기반의 즉각적인 피드백.
     • 궤적 보상 (Trajectory-level Reward): 최종 답변의 정확도 (F1) 를 반영한 장기적 피드백.
   • 동작 원리: 후보 집합에 정답 문서가 있고 랭킹이 낮을 때는 관련성 보상만, 랭킹이 높을 때는 최종 답변 정확도 보상도 추가하여 학습합니다.

3. 주요 기여 (Key Contributions)

1. 검색의 병목 현상 규명: 오라클 검색 실험을 통해 고정된 검색 시스템이 에이전트 성능의 상한선을 결정하는 핵심 요소임을 실증했습니다.
2. COSEARCH 프레임워크 제안: 추론 에이전트와 생성형 랭커를 RL 을 통해 공동 학습 (Joint Training) 하는 새로운 아키텍처를 제시했습니다.
3. 기술적 혁신:
   • 의미적 그룹화 (Semantic Grouping): 다양한 하위 쿼리를 클러스터링하여 랭커에 GRPO 를 적용할 수 있게 함.
   • 복합 보상 메커니즘: 검색 품질과 최종 작업 성공을 동시에 고려한 효율적인 보상 함수 설계.
4. 성능 입증: 7 개의 QA 벤치마크에서 기존 최강 기법 (Search-R1 등) 을 능가하는 결과를 달성했습니다.

4. 실험 결과 (Results)

• 벤치마크: PopQA, NQ, TriviaQA (단일 홉) 와 HotpotQA, 2Wiki, Musique, Bamboogle (다중 홉) 등 7 개 데이터셋.
• 모델 구성: 메인 에이전트 (Qwen2.5-7B 또는 3B) 와 랭커 (Qwen2.5-7B).
• 주요 성과:
  • 7B 에이전트: Search-R1 대비 상대적 F1 6.6% 향상.
  • 3B 에이전트: Search-R1 대비 상대적 F1 10.8% 향상 (약한 에이전트일수록 검색 개선의 효과가 큼).
  • 오라클 갭 축소: 7B 에이전트의 경우 오라클 검색과의 성능 격차를 약 27% 줄였습니다.
• Ablation Study:
  • 의미적 그룹화를 제거하면 성능이 3.3% 하락하여 그룹화 전략의 중요성을 입증.
  • 복합 보상 (관련성 + 궤적) 을 제거하면 성능이 저하됨.
  • 랭커와 에이전트의 백본을 공유하면 경량화되지만 성능이 떨어짐 (경쟁하는 그라디언트 문제).

5. 의의 및 결론 (Significance)

이 연구는 에이전트 검색 시스템의 성능 향상을 위해서는 추론 능력뿐만 아니라 검색 (검색 및 랭킹) 시스템 자체를 함께 최적화해야 한다는 중요한 통찰을 제공합니다.

• 기존 패러다임의 전환: 검색을 고정된 도구로 보는 관점에서, 에이전트와 검색 시스템이 상호 보완적으로 학습하는 공동 최적화 (Joint Optimization) 패러다임으로의 전환을 주도합니다.
• 실용성: 추가적인 대규모 데이터 라벨링 없이 RL 과 규칙 기반 보상을 통해 검색 시스템을 효율적으로 개선할 수 있음을 보여줍니다.
• 미래 전망: 복잡한 정보 탐색 (Deep Research) 에이전트를 개발할 때, 추론 모델과 검색 모델의 통합 학습이 필수적인 요소임을 시사합니다.

요약하자면, COSEARCH 는 "검색이 나쁘면 추론이 아무리 좋아도 소용없다"는 문제를 해결하기 위해, 검색기를 에이전트와 함께 강화 학습으로 훈련시키는 새로운 방법론을 제시하고 그 유효성을 입증한 연구입니다.