기술 요약: SearchMaster

문제 정의

대규모 언어 모델(LLM) 기반 검색 에이전트를 학습시키기 위해서는 진정한 멀티홉(multi-hop) 검색 작업과 검색 도구를 효과적으로 활용하는 궤적(trajectory)을 포함한 고품질 데이터가 필요합니다. 기존의 파이프라인은 대개 비용이 많이 드는 인간 주석, 전문가 시연, 또는 더 강력한 교사 모델에 의존하여 데이터를 생성합니다. 셀프 플레이(self-play)는 자율적으로 데이터를 생성할 수 있는 잠재적인 해결책을 제공하지만, 현재의 검색 에이전트 셀프 플레이 방식은 다음과 같은 뚜렷한 실패 모드(failure modes)를 겪습니다:

1. 가짜 멀티홉 질문(Pseudo Multi-Hop Questions): 모델이 복잡해 보이지만 실제로는 단일 문서나 시드 텍스트만으로 답변 가능한 질문을 생성하여, 문서 간 증거를 요구하지 못하는 경우입니다.
2. 오도된 난이도 신호(Misleading Difficulty Signals): 단순히 롤아웃(rollout) 성공률에만 의依赖하여 작업 난이도를 추정하면, 단순 조회 작업과 심층적인 다단계 검색이 필요한 작업을 구분하지 못하는 경우가 발생합니다.
3. 과도한 오픈 드리프트(Over-Opening Drift): 모델이 새로운 타겟 증거를 획득하는 대신 이미 본 문서를 다시 방문하는 등 open 도구에 과도하게 의존하여, 길지만 얕은 브라우징 궤적을 만드는 현상입니다.

핵심 과제는 단순히 더 많은 데이터를 생성하는 것이 아니라, 증거에 기반한 작업, 다단계 검색, 그리고 효율적인 도구 사용을 강화하도록 셀프 플레이 루프를 안정화하는 것입니다.

방법론: SearchMaster 프레임워크

SearchMaster는 로컬 검색 환경 내에서 **제안자(Proposer, 작업 생성자)**와 해결사(Solver, 작업 응답자) 역할을 모두 수행하는 단일 LLM 정책($\pi_\theta$)을 학습시키는 정교하고 규제된 셀프 플레이 프레임워크입니다. 초기 모델의 동결된 복사본은 검증자(Verifier) 역할을 합니다. 이 프레임워크는 표준 셀프 플레이의 실패 모드를 해결하기 위해 세 가지 특정 메커니즘을 채택합니다.

1. 증거 체인 생성기 (Evidence-Chain Generator, ECG)

가짜 멀티홉 질문을 방지하기 위해, 제안자는 탐색 과정에서 명시적으로 문서 간 증거 체인을 구축해야 합니다.

• 프로세스: 시드 문서에서 시작하여, 제안자는 반복적으로 엔티티/사실을 선택하고, 연결된 문서를 검색하며, 체인을 확장합니다 ($c_j = e_{j,1} \to \dots \to e_{j,n}$).
• 제약 조건: 최종 질문($q_j$)은 이 전체 체인으로부터 엄격하게 유도되며, 답변이 단일 문서에서는 발견될 수 없다는 명시적인 요구 사항을 포함합니다.
• 필터링: 후보들은 도구 사용, 형식, 유효성 및 파라미터 지식(parametric-knowledge)에 대한 4가지 필터를 거쳐 질문이 유효하고, 체인에 의해 뒷받침되며, 도구 없이는 답변할 수 없는지 확인합니다.

2. 검색 깊이 보상 (Search-Depth Reward, SDR)

성공률 기반의 난이도 추정 한계를 해결하기 위해, SearchMaster는 단순히 이진 성공 여부가 아니라 성공적인 롤아웃의 검색 깊이를 기준으로 작업을 보상합니다.

• 지표: 작업 난이도는 모든 성공적인 Solver 롤아웃 중 최소 검색 깊이($h_{min}$)에 의해 점수가 매겨집니다. 만약 어떤 작업이 얕은 검색으로 해결될 수 있다면 낮은 보상을 받게 되어, 모델이 "지름길" 작업을 학습하는 것을 방지합니다.
• 함수: 보상은 목표 깊이($H_{sdr}$)에서 포화(saturate)되도록 설계되어, 무의미하게 긴 검색을 보상하지 않으면서도 비사소한(non-trivial) 검색 깊이를 요구하는 작업을 선호하도록 합니다.

3. 과도한 오픈 페널티 (Over-Opening Penalty, OOP)

도구 사용을 규제하고 중복된 문서 열람을 방지하기 위해, 제안자와 해결자 모두에게 OOP를 적용합니다.

• 메커니즘: 페널티는 open 동작 대비 search 동작의 비율($\rho_{oop}$)을 기준으로 계산됩니다. 이는 open 횟수가 search 횟수를 크게 초과하는 궤적에 페널티를 부여함으로써, 정당한 다중 문서 탐색은 허용하되 이미 본 문서를 재방문하는 것을 억제합니다.
• 적용: 동일한 정책을 공유하므로, 두 역할 모두에 대해 기본 보상에서 페널티를 차감합니다.

최적화

프레임워크는 **그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)**를 사용합니다.

• 데이터 흐름: 각 시드 문서에 대해, 제안자는 $K_P$개의 후보 작업을 생성합니다. 통과된 작업은 Solver에 의해 해결($K_S$ 롤아웃)됩니다.
• 선택: 가장 높은 보상을 받은 통과된 작업에 대한 Solver 롤아웃만 Solver 그룹을 위해 유지되며, 모든 제안자 롤아웃은 Proposer 그룹을 위해 유지됩니다.
• 업데이트: 공유 정책은 SDR 및 OOP 구성 요소가 포함된 정규화된 보상으로부터 유도된 토큰 수준의 어드밴티지(advantage)를 사용하여 공동으로 업데이트됩니다.

주요 기여

1. 근거 기반 셀프 플레이의 정립: 본 논문은 검색 에이전트의 셀프 플레이를 스스로 생성된 감독(supervision)을 정착시키고 규제하는 문제로 정립하여, 잠재적으로 노이즈가 많은 루프를 신뢰할 수 있는 학습 메커니즘으로 전환했습니다.
2. 3부 구성 제어 메커니즘: ECG, SDR, OOP의 도입은 검색 셀프 플레이의 특정 실패 모드(가짜 멀티홉, 얕은 난이도 추정, 도구 오용)를 명시적으로 해결합니다.
3. 인간 없는 학습 (Human-Free Training): 이 프레임워크는 인간이 라벨링한 QA 쌍이나 전문가 시연 없이도, 로컬 검색 환경만을 활용하여 효과적인 검색 에이전트 학습 데이터를 생성하고 활용할 수 있음을 입증합니다.

실험 결과

저자들은 Qwen3.5-9B 백본을 사용하여 6개의 심층 검색 벤치마크에서 SearchMaster를 평가했습니다.

• 성능 향상: 프레임워크는 평균 정확도를 38.19%에서 51.52%로 (+13.3 포인트) 개선했습니다.
• 특정 벤치마크: BrowseComp-Plus 벤치마크에서 모델은 30.12%에서 60.24%로 30.1 포인트의 상승을 달성했습니다.
• 데이터 효율성: 이러한 결과는 외부 인간 데이터 없이 20회의 반복을 통해 생성된 1,280개의 적격 시드 문서만을 사용하여 달성되었습니다.

의의 및 주장

본 논문은 SearchMaster가 셀프 플레이 루프를 안정화함으로써 검색 에이전트를 학습시키기 위한 확장 가능한 솔루션을 제공한다고 주장합니다. 증거 구축, 작업 난이도(검색 깊이를 통해), 그리고 도구 사용의 균형을 학습 목표의 명시적인 부분으로 만듦으로써, 이 프레임워크는 검색 에이전트의 "자기 진화(self-evolution)"를 가능하게 합니다. 결과는 근거 기반의 규제된 셀프 플레이가 인간의 주석이나 더 강력한 교사 모델에 의존하는 방법과 대등한 고품질 학습 데이터를 생성할 수 있음을 시사하며, 진정한 멀티홉 검색 및 효율적인 도구 사용 능력을 크게 향상시킵니다.