기술 요약: EviSD – 검색 증강 에이전트를 위한 증거 조건부 자기 증류(Evidence-Conditioned Self-Distillation)

문제 정의

검색 증강 언어 에이전트는 외부 검색을 활용하여 추론과 정보 수집을 교차 수행합니다. 최근의 결과 기반 강화 학습(RL) 방법론인 GRPO(Group Relative Policy Optimization)는 검증 가능한 최종 답변을 통해 학습을 가능하게 하지만, 신용 할당(credit assignment) 측면에서 근본적인 한계를 가집니다. 결과 기반 보상은 생성된 모든 토큰에 동일한 궤적 이득(trajectory advantage)을 전달합니다. 결과적으로 시스템은 다음과 같은 상황을 구분할 수 없습니다:

• 결정적인 증거를 찾아낸 효과적인 검색 쿼리.
• 가치가 없는 중복되거나 모호한 검색.
• 중간 추론 토큰과 최종 답변 토큰.

이러한 "결과 전용(outcome-only)" 피드백은 인스턴스별 결정을 국지화하는 데 실패하며, 특히 초기 쿼리가 후속 추론의 품질을 결정하는 다회차(multi-turn) 시나리오에서 성공 또는 실패를 이끈 특정 행동(검색 또는 답변)을 최적화하는 것을 어렵게 만듭니다.

기존 접근 방식들은 검색 특화 보상이나 단계별 추정치를 통해 신용의 정밀도를 높이려 시도하지만, 특정 샘플링된 행동을 가이드하기 위해 무엇이 인스턴스별 정보로 사용되어야 하는지를 결정하는 메커니는 부족한 경우가 많습니다. 반대로, 온-폴리시 자기 증류(OPSD) 방식은 특권적 교사 컨텍스트(privileged teacher contexts)를 도입하지만, 종종 궤적 유래의 사후 지식(hindsight)이나 태스크 수준의 기술에 의존하며, 이는 주어진 쿼리에 필요한 구체적인 증거를 직접 식별하지 못할 수 있습니다.

방법론: EviSD

저자들은 인스턴스 수준의 지원 증거를 특권 정보로 사용하여 결과 유래 신용을 정교화하는 프레임워크인 EviSD(Evidence-Conditioned Self-Distillation)를 제안합니다. 이 방법은 두 가지 핵심 설계 결정에 따라 작동합니다.

1. 인스턴스 수준의 특권 컨텍스트 구축

EviSD는 지원 증거(학습 데이터에 주석 처리됨)를 검색 행동을 위한 특권 정보로, **정답(golden answers)**을 답변 행동을 위한 특권 정보로 취급합니다.

• 검색 행동의 경우: 교사 모델은 현재 QA 인스스턴스의 주석 처리된 지원 증거($E_q$)를 조건으로 합니다. 이는 특정 쿼리 문자열을 규정하지 않으면서도, 유용한 쿼리가 무엇을 찾아내야 하는지에 대한 관점을 제공합니다.
• 답변 행동의 경우: 교사는 정답($C_q$)을 조건으로 합니다.
• 행동 정렬(Action Alignment): 특권 컨텍스트는 학생 모델이 검색 또는 답변 행동을 생성할 때만 원래의 컨텍스트 앞에 추가됩니다. 그 외의 토큰(추론, 구분자)에 대해서는 컨텍스트가 변경되지 않습니다.

2. 행동 국지화 및 결과 앵커링 신용 변조(Action-Localized, Outcome-Anchored Credit Modulation)

E-viSD는 별도의 증류 손실을 최적화하는 대신, 교사-학생 간의 차이를 GRPO 이득에 대한 유계된 보정치로 변환합니다.

• 교사-학생 대비: 동일한 정책이 원래 컨텍스트로부터 샘PLING하는 학생이자, 특권 컨텍스트 하에서 동일한 행동을 재점수화하는 교사로서 작동합니다. 신호는 두 관점 사이의 분리된 로그 가능도 비(detached log-likelihood ratio, $\delta$)입니다.
• 국지화: 변조는 생성된 검색 및 답변 행동의 내용 토큰($m^{act}$)에만 적용됩니다. 추론 토큰과 검색된 구절은 원래의 GRPO 신용을 유지합니다.
• 변조 함수: 특권 신호는 유계 함수를 통해 결과 유래 이득($A$)의 크기를 변조합니다:
  $$\Delta A^{priv} = \lambda |A| \tanh(\tau \delta) m^{act}$$
  $$\hat{A} = A + \Delta A^{priv}$$
  여기서 $\lambda$는 최대 상대적 보정 비율을 제어하고, $\tau$는 민감도를 제어합니다. 결정적으로 $\lambda < 1$인 경우, 보정치는 원래 이득의 부호를 역전시킬 수 없습니다. 결과 보상이 업데이트 방향을 결정하는 앵커 역할을 유지하며, 특권 정보는 특정 행동 토큰에 대한 신용의 강도만을 정교화합니다.

학습 및 추론

• 학습: 모델은 궤적을 샘플링하고, 결과 보상을 계산하며, 검색/답변 턴에 대해 특권 컨텍스트를 구축하고, 행동을 재점수화하여 교사-학생 간의 차이를 생성한 뒤, 변조된 이득 $\hat{A}$를 사용하여 표준 클립된 GRPO 목적 함수 내에서 정책을 업데이트합니다.
• 추론: 배포된 에이전트는 이전과 동일하게 작동합니다. 특권 컨텍스트와 교사 관점은 제거되며, 추론 파이프라인이나 추가적인 지연 시간의 변경을 요구하지 않습니다.

주요 기여

1. 증거 조건부 프레임워크: EviSD는 검색 행동을 위한 특권 교사 컨텍스트로서 인스턴스 수준의 지원 증거를 사용하는 새로운 방식과, 답변 행동을 위한 정답 활용 방식을 도입했습니다.
2. 행동 국지화 변조: 결과 유래의 GRPO 이득을 교사-학생 간의 분리된 차이로 변환하는 신용 변조 규칙을 제안합니다. 이 방식은 별도의 증류 목적 함수를 필요로 하지 않으며 추론 시의 변경도 필요하지 않습니다.
3. 성능 및 견고성: EviSD는 7개의 QA 벤치마크와 3개의 모델 백본(Qwen2.5-3B, 7B, Qwen3-1.7B)에 대해 최첨단(SOTA) 결과를 달술하며, 가장 강력한 베이스라인보다 1.3~2.3 매크로 평균 Exact Match(EM) 포인트 높은 성능을 보였습니다.

실험 결과

저자들은 단일 홉 및 다중 홉 추론을 다루는 7개 데이터셋(NQ, TriviaQA, PopQA, HotpotQA, 2WikiMQA, MuSiQue, Bamboogle)에서 EviSD를 평가했습니다.

• 전반적인 성능: EviSD는 평가된 모든 설정에서 가장 높은 매크로 평균 EM을 달성했습니다. Qwen2.5-7B 백본에서 두 번째로 우수한 방법(SDAR)보다 1.3~2.3 포인트 높은 성능을 기록했습니다.
• 검색 효율성: EviSD는 더 적은 횟수의 검색(궤적당 1.87회 vs SDAR의 2.16회)으로 더 높은 성공률을 보였으며, 이는 검색 행동에 대한 더 정밀한 가이드를 나타냅니다.
• 절제 연구(Ablation Studies):
  • 특권 소스: 인스턴스별 증거를 정답 전용 컨텍스트로 대체했을 때 성능이 2.1 EM 포인트 감소하여, 검색 행동을 감독하는 데 있어 증거의 가치를 확인했습니다.
  • 국지화: 변조를 전체 응답(행동 구간이 아닌)에 적용했을 때 성능이 7.1 포인트 감소하여, 가이드를 행동 토큰에 국지화하는 것의 필요성을 입증했습니다.
  • 학습 역학: EviSD는 경쟁 모델에 비해 매끄러운 온-폴리시 성공률 곡선과 낮은 KL 발산(KL divergence)을 유지하여, 급격한 편차 없이 안정적인 정책 개선을 시사했습니다.
• 민감도: 이 방법은 특권 증거의 품질에 대한 민감도가 낮았습니다. 골드 증거를 관련 검색 문서로 대체해도 성능 저하가 미미했습니다.

의의 및 주장

본 논문은 EviSD가 결과 보상의 확장성을 희생하지 않으면서도 검색 에이전트를 위한 신용 할당의 간극을 해결한다고 주장합니다. 지원 증거를 특권 정보로 취급함으로써, 이 프레임워크는 쿼리 자체를 규정하지 않으면서도 어떤 정보가 필요한지를 에이전트가 식별하도록 유도합니다.

저자들은 EviSD가 다음과 같은 점에서 기존의 자기 증류 방식과 구별된다고 강조합니다:

1. 궤적 유래의 사후 지식이나 재사용 가능한 기술이 아닌 인스턴스별 증의를 사용합니다.
2. 별도의 증류 목적 함수를 최적화하는 것이 아니라 결과 신용을 변조합니다.
3. 결과 보상에 의해 결정된 업데이트 방향을 보존하면서 특정 행동에 대한 신용의 크기를 정교화합니다.

궁극적으로 EviSD는 증거 조건부 자기 증류를 통한 신용 할당의 정교화가 배포 가능한 추론 아키텍처를 유지하면서도, 다양한 모델 규모와 세대에서 검색 증강 추론 능력을 크게 향상시킬 수 있음을 보여줍니다.