기술 요약: SD-Search

문제 정의

내부 추론과 외부 검색 호출을 교차하여 수행하는 검색 증강 추론 에이전트는 개별 검색 쿼리의 품질에 크게 의존합니다. 그러나 이러한 에이전트를 위한 표준 강화 학습 (RL) 접근 방식 (예: 그룹 상대 정책 최적화, GRPO) 은 일반적으로 결과 수준 보상(예: 최종 답변의 정확성) 을 활용합니다. 이러한 형식은 롤아웃의 모든 토큰에 동일한 경로 수준 보상을 할당하여 개별 검색 결정에 대한 단계별 크레딧을 제공하지 못합니다. 결과적으로 모델은 잘 구성된 고가치 쿼리와 중복되거나 열악한 쿼리를 구별할 수 있는 신호를 받지 못합니다.

이를 해결하기 위한 최근 시도인 프로세스 감독(예: Thinker, StepSearch) 은 외부 리소스에 의존하여 단계별 신호를 주입합니다. 이는 문제를 분해하기 위해 훨씬 더 큰 교사 모델 (예: 72B 파라미터) 이나 더 강력한 외부 시스템 (예: GPT-4o) 의 주석을 활용합니다. 이러한 방법들은 성능을 향상시키지만 상당한 비용과 외부 API 나 모델에 대한 의존성을 초래하며, 이러한 리소스가 사용 가능한 환경으로 적용 범위를 제한합니다.

방법론: SD-Search

저자들은 외부 교사나 보조 주석이 필요 없는 온-정책 히인사이드 자기 증류(On-Policy Hindsight Self-Distillation) 를 기반으로 한 SD-Search프레임워크를 제안합니다. 핵심 혁신은 단일 모델이 조건부 컨텍스트에 의해서만 구분되는 두 가지 역할을 수행하는 온-정책 히인사이드 자기 증류입니다.

1. 학생 뷰: 정책은 결정 시점에 사용 가능한 경로 접두사만 보는 표준 추론 시간 조건 하에서 작동합니다.
2. 교사 뷰: 동일한 정책 파라미터는 히인사이드 블록($h(G)$) 에 조건부적으로 설정됩니다. 이 블록은 동일한 질문에서 샘플링된 형제 롤아웃 그룹의 검색 경로와 결과 레이블 (CORRECT/INCORRECT) 을 집계합니다. 중요한 점은 교사가 이러한 롤아웃의 '마스킹'된 뷰를 보며, 답변을 직접 추출할 수 없도록 하위 추론, 검색된 문서, 최종 답변은 폐기하고 검색 구간과 결과 레이블만 유지한다는 것입니다.

학습 목적

이 방법은 **토큰 수준 제이슨-샨논 발산 **(JSD) 손실을 사용하여 검색 쿼리 위치 ($Q_\tau$) 에서 학생의 쿼리 분포를 교사의 분포와 정렬합니다.

• 교사 분포: 교사는 전체 롤아웃 그룹의 결과를 알기 때문에, 검색 토큰에 대한 예측 분포는 암묵적으로 어떤 쿼리가 성공으로 이어졌고 어떤 쿼리가 그렇지 않았는지를 인코딩합니다.
• 학생 정렬: 학생은 쿼리 위치에서 자신의 분포와 교사 분포 간의 JSD 를 최소화합니다. 이는 GRPO 의 거친 경로 수준 이점과 보완적인 조밀한 단계별 신호를 제공합니다.
• 통합: 전체 손실은 $L_{total} = L_{GRPO} + \alpha_{SD} L_{SD}$입니다. JSD 항은 이점 추정기나 GRPO 롤아웃 샘플링 과정을 수정하지 않고 보조 손실로 추가됩니다.

주요 설계 선택

• 미래 마스킹: 히인사이드 블록은 검색되지 않은 토큰 (THINK, DOCUMENTS, ANSWER) 을 마스킹하여 교사가 검색된 컨텍스트에서 답변을 보고 "속임수"를 쓰거나 검색 분포가 붕괴되는 것을 방지합니다.
• 결과 대비: 교사는 형제 롤아웃의 이진 결과 레이블에 조건부적으로 설정됩니다. 이 대비를 통해 교사는 성공적인 쿼리 패턴을 강화하고 실패한 패턴에서 확률 질량을 재분배할 수 있으며, 이는 감독받는 특정 롤아웃이 실패로 끝날지라도 가능합니다.
• 워밍업: 자기 증류 신호가 도입되기 전에 정책이 구조화된 경로 형식을 학습할 수 있도록 증류 계수가 0 인 워밍업 기간이 사용됩니다.

주요 기여

1. 프레임워크: SD-Search 는 표준 질문 - 답변 쌍을 사용하여 결과 보상 학습에 필요한 것 이상으로 외부 교사나 주석이 필요 없는 온-정책 히인사이드 자기 증류를 통해 검색 증강 추론에 단계별 감독을 제공하는 최초의 프레임워크입니다.
2. 목적: 정책의 쿼리 분포를 히인사이드 조건부 분포와 정렬하는 새로운 토큰 수준 JSD 목적 함수입니다. 이는 단일 보조 순전향 통과와 하나의 손실 항만으로 기존 GRPO 파이프라인에 원활하게 통합됩니다.
3. 경험적 검증: 7 개의 단일 홉 및 멀티 홉 QA 벤치마크에 대한 광범위한 실험은 SD-Search 가 외부 리소스에 의존하는 프로세스 감독 기준선과 일치하거나 능가하며, 순수 결과 보상 기준선보다 우수한 성능을 보임을 입증합니다.

실험 결과

저자들은 7 개의 벤치마크 (NQ, TriviaQA, PopQA, HotpotQA, 2Wiki, MuSiQue, Bamboogle) 에서 Qwen2.5-3B및 Qwen2.5-7B백본을 사용하여 SD-Search 를 평가했습니다.

• 3B 규모: SD-Search 는 평균 정밀 일치 (EM) 0.428을 달성하여 가장 강력한 결과 보상 기준선 (AutoRefine: 0.405, MR-Search: 0.414) 을 능가했고, 72B 교사에 의존하는 선도적인 프로세스 감독 기준선인 Thinker(0.430) 와 통계적으로 일치했습니다.
• 7B 규모: SD-Search 는 평균 EM 0.476에 도달하여 Thinker(0.452) 와 AutoRefine(0.455) 을 포함한 모든 기준선을 능가했습니다.
• 확장 행동: Thinker 는 모델 크기가 증가함에 따라 결과 보상 기준선 대비 성능 향상이 감소하고 결국 음수가 되는 반면 (고정된 외부 교사가 병목 현상이 되기 때문), SD-Search 의 이득은 1.5B 에서 14B 에 이르는 모든 규모에서 양수로 유지됩니다. 이는 이 방법이 학생의 자체 컨텍스트 내 읽기 능력과 함께 확장됨을 시사합니다.
• 효율성: 이 방법은 결과 보상 기준선에 비해 15.5% 의 엔드투엔드 학습 오버헤드(8×H800 GPU 에서 측정) 를 발생시킵니다. 이 오버헤드는 경쟁 방법에서 요구하는 72B 교사 모델이나 GPT-4o 주석 파이프라인의 막대한 추론 비용을 피하면서 표준 RL 루프 내부에 완전히 포함되어 있습니다.

중요성과 주장

이 논문은 전통적으로 외부 소스에서 얻어지던 단계별 신호가 히인사이드 조건부화를 통해 정책 자체에서 복원될 수 있다고 주장합니다. 단일 학습 그룹 내의 성공 및 실패 롤아웃 간의 대비를 활용함으로써, 정책은 외부 감독 없이 고품질 검색 결정을 식별하는 법을 학습합니다.

저자들은 SD-Search 를 프로세스 감독보다 더 접근하기 쉽고 확장 가능한 대안으로 위치시킵니다. 이는 값비싼 외부 모델이나 API 에 대한 의존성을 제거하여 제한된 자원을 가진 실무자에게도 고품질 단계별 감독을 실현 가능하게 합니다. 또한, 결과는 자기 증류에서의 "교사"가 별도의 더 큰 모델일 필요가 없음을 시사합니다. 오히려 동일한 정책이 자신의 탐색 결과에 접근할 수 있게 되면, 자신의 검색 전략을 효과적으로 안내할 충분한 정보를 보유하게 됩니다.

한계점: 저자들은 이 방법이 현재 골드 답변에서 파생된 이진 결과 레이블에 의존하고 있어, 점수 매길 수 있는 참조가 있는 작업으로 제한된다고 지적합니다. 또한, 롤아웃 전체 그룹이 동일한 결과 (모두 성공 또는 모두 실패) 를 공유하는 시나리오에서는 히인사이드 대비의 효과가 저하될 수 있으나, 이는 더 작은 규모에서는 덜 빈번합니다.