기술 요약: STAMP – 딥 서치 에이전트를 위한 출처 기반 신용 할당 (Provenance-Guided Credit Assignment)

1. 문제 정의: 보상-신용 불일치 (The Reward-Credit Mismatch)

관계 검증 및 증거 수집을 위해 다단계 웹 네비게이션을 수행하는 딥 서치 에이전트는 점차 강화 학습(RL)을 통해 훈련되고 있습니다. 그러나 현재의 훈련 패러다임은 **보상-신용 불일치(reward-credit mismatch)**라고 불리는 근본적인 단절 문제를 겪고 있습니다.

• 궤적 수준 스코어링 (Trajectory-Level Scoring): GRPO와 같은 표준 RL 방식은 결과의 정답 여부, 인용 품질 또는 증거 커버리지를 기반으로 전체 롤아웃(rollout)에 단일 스칼라 보상을 할당합니다. 이 보상은 해당 궤적 내의 모든 액션 토큰에 균등하게 방송됩니다.
• 불일치 현상: 이러한 균등한 방송은 특정 증거를 성공적으로 노출한 액션과 그렇지 못한 액션을 구분하지 못합니다. 경험적 분석에 따르면, 정답 궤적에서도 83.5%의 단계가 타겟 증거를 생성하지 못하며, 오답 궤적에서도 7.0%의 단계는 여전히 유용한 엔티티나 관계 증거를 노출합니다.
• 결과: "증거 채널(evidence channel)" — 즉, 어떤 특정 검색이나 읽기 액션이 처음으로 지원 문서를 드러냈는지 식별하는 것 — 은 아직 충분히 활용되지 못한 감독 신호로 남아 있습니다. 단순히 스칼라 보상에 단계별 보너스를 추가하는 것은 보너스들이 합산되어 다시 균등하게 방송되기 때문에, 의도했던 시간적 국소화(temporal localization)를 지워버려 효과가 없는 경우가 많습니다.

2. 방법론: STAMP

저자들은 궤적이 검증하는 '무엇(what)'과 그 증거를 처음으로 가용하게 만든 '어떤 액션(which action)'을 분리하는 프레임워크인 STAMP(Step-level Trace-guided Advantage Modulation with Provenance)를 제안합니다. STAMP는 궤적 수준의 보상을 변경하거나 그룹 내 궤적의 상대적 순위를 바꾸지 않고 작동합니다.

핵심 구성 요소

1. 참조 기반 검증 (Reference-Based Verification):

   • 각 쿼리에 대해 타겟 숨겨진 엔티티와 단일 홉(single-hop) 사실 관계를 정의하는 증거 그래프 $G=(V, E)$가 훈련 시 구축됩니다.
   • 검증기(LLM 기반 추출기-매처로 구현됨)는 궤적 내 인용된 문서가 그래프에 정의된 특정 엔티티나 제약 조건을 지원하는지 판단합니다. 이는 임의의 중간 액션을 직접 점수 매길 필요가 없는 참조 기반 판단입니다.

2. 최초 노출 귀속 (First-Exposure Attribution, Provenance):

   • STAMP는 문서를 소비한 액션이 아니라, 해당 문서를 처음으로 노출한 액션에 신용을 부여합니다. (예: URL을 반환한 검색 쿼리)
   • 모든 지원 문서 $d$에 대해, 시스템은 $d$가 가용해진 가장 이른 단계 $t$를 식-별합니다. $d$에 대한 모든 신용은 이 단계에 할당됩니다.
   • 신용은 검증된 엔티티 또는 관계로부터 지원되는 문서들에 대해 균등하게 배분되되, 단일 단계가 그래디언트를 독점하는 것을 방지하기 위해 캡 $C$에 의해 제한됩니다.

3. 부호 보존 어드밴티지 변조 (Sign-Preserving Advantage Modulation):

   • STAMP는 곱셈 변조 연산자 $M_c(A) = A(1 + \text{sign}(A)c)$를 통해 이 단계별 신용을 GRPO 업데이트 프로세스에 주입합니다.
   • 메커니가즘:
     • 양의 어드밴티지(positive-advantage) 궤적($A > 0$)의 경우, 증거를 노출한 단계는 강화가 증폭됩니다 ($1+c$).
     • 음의 어드밴티지(negative-advantage) 궤적($A < 0$)의 경우, 증거를 노출한 단계는 단순히 페널티를 받는 대신 감쇄됩니다 ($1-c$). 이는 실패한 롤아웃 내의 유용한 검색 액션이 무정보적인 것으로 취급되는 것을 방지합니다.
     • 이 변조 방식은 원래의 어드밴티지 부호를 보존하여, 궤적 수준의 보상과 그룹 내 순위가 유지되도록 합니다.
   • 이 접근법은 합산형 셰이핑(additive shaping, 합의 임계값이 필요함)이나 거듭제곱 기반 스케일링(power-based scaling, 의미를 역전시킬 수 있음)의 함정을 피합니다.

3. 실험 설정

• 베이스 모델: Qwen3-30B-A3B-Thinking-2507.
• 데이터셋: 위키피디아에서 합성된 이중 언어 훈련 데이터 (SFT용 3,000개 쿼리, RL용 2,600개 쿼리).
• 벤치마크: BrowseComp, BrowseComp-ZH, xbench-DS.
• 베이스라인: 동일한 SFT 초기화, 훈련 데이터 및 검색 도구를 사용하되 보상 설계만 다른 통제된 비교 대상:
  • GRPO: 이진 결과 보상.
  • E-GRPO: 엔티티 히트 레이트(hit rate) 보상.
  • C-GRPO: 인용 루브릭(citation-rubric) + 결과 보상.

4. 주요 결과

STAMP는 모든 벤치마크와 보상 베이스라인에서 일관되게 성능을 향상시키며, 이는 출처 기반 신용 할당이 상호 보완적인 최적화 신호를 포착함을 입증합니다.

• 성능 향상:
  • 표준 GRPO 베이스라인 대비: +2.0 (BrowseComp), +5.5 (BrowseComp-ZH), +3.0 (xbench-DS).
  • E-GRPO 대비: +1.1 ~ +1.7 포인트.
  • C-GRPO 대비: +2.2 ~ +3.5 포인트.
• 절제 연구 (Ablation Studies):
  • 검증 (Verification): LLM 기반 검증이 단순 문자열 매칭보다 성능이 훨씬 뛰어납니다.
  • 귀속 (Attribution): "최초 노출(earliest-exposure)" 귀속 방식이 "모든 단계(all-step)" 귀속 방식보다 우수하여, 발견 액션을 식별하는 것의 가치를 확인했습니다.
  • 변조 (Modulation): 경계가 있는 변조(bounded modulation)와 음의 어드밴티지 감쇄가 모두 중요합니다. 캡을 제거하거나 음의 궤적을 무시하면 성능이 저하됩니다.
• 훈련 역학 (Training Dynamics): STAMP는 베이스라인보다 더 빠르게 수렴하고 더 높은 관계 검증률을 달exe합니다. 신용 할당은 희소하게 유지되며 (~10–12%의 단계), 이는 이 방법이 중요한 특정 액션에 최적화 압력을 성공적으로 집중시키고 있음을 나타냅/니다.

5. 의의 및 주장

본 논문은 STAMP가 추가적인 인간 주석을 요구하거나 근본적인 궤적 수준 보상 구조를 변경하지 않고도, **인용 출처(citation provenance)**를 검증 가능한 단계별 신호로 활용함으로써 딥 서치 RL의 핵심적인 간극을 해결한다고 주장합니다.

• 직교성 (Orthogonality): 이 방법은 궤적 수준 보상의 선택(결과 전용, 엔티티 인식 또는 루브릭 기반)과 직교하며, 모든 경우에 가산적인 이득을 제공합니다.
• 효율성: 프로세스 보상 모델(PRM)을 학습시키거나 롤아웃 생성 중에 복잡한 토큰 수준 보상 모델링을 수행하는 데 드는 계산 비용을 피할 수 있습니다. 검증과 귀속은 사후(post-hoc)에 이루어집니다.
• 해석 가능성: 증거를 그것이 노출된 특정 검색 쿼리나 읽기 액션으로 추적함으로써, 이 방법은 에이전트의 실제 정보 탐색 행동과 일치하는 명확한 신용 할당 메커니즘을 제공합니다.

저자들은 인용 출처가 궤적 수준의 보상만으로는 포착할 수 없는 최적화 신호를 담고 있으며, 이를 통해 더 세밀한 신용 할당을 통한 딥 서치 에이전트 개선의 견고한 경로를 제시한다고 결론짓습니다.