🤖 machine learning

Beyond Outcome Rewards: Step-Level Self-Distilled Policy Optimization for Deep Search Agents

이 논문은 웹에서 추출한 증거 앵커(Evidence Anchors)와 단계별 이득 가중치(step-level advantage weights)를 활용하여 신용 할당(credit assignment)을 강화하고 최소한의 계산 오버헤드로 표준 GRPO를 능가함으로써, 심층 탐색 에이전트 학습 시 발생하는 정보 비대칭 문제를 해결하는 새로운 프레임워크인 단계별 자기 증류 정책 최적화(Step-Level Self-Distilled Policy Optimization, SSPO)를 소개한다.

원저자: Haoze Wu, Chuqiao Kuang, Tianyi Zhuang, Xiaoguang Li

게시일 2026-08-14

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Haoze Wu, Chuqiao Kuang, Tianyi Zhuang, Xiaoguang Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 명탐정이 되는 법을 가르치고 있다고 상상해 보세요. 인공지능의 세계에서 이 로봇은 '에이전트(agent)'라고 불리며, 인터넷을 검색하고, 페이지를 읽고, 점들을 연결하여 복잡한 퍼즐을 해결하는 것이 임무입니다. 정말 숙련되기 위해서는 연습이 필요하지만, 여기서 까다로운 문제가 발생합니다. 보통 선생님은 사건이 완전히 끝난 후에야 성적을 매깁니다. 로봇이 미스터리를 해결하면 금색 별을 받고, 실패하면 0점을 받는 식이죠. 문제는 미스터리를 해결하는 데 50단계가 걸렸을 수도 있다는 점입니다. 로봇이 마지막 단서 하나를 놓쳐서 실패한 것일까요? 아니면 세 번째 단계에서 저지른 아주 작은 실수가 모든 것을 망친 것일까요? 결과적인 점수만으로는, 로봇은 어떤 단계가 좋았고 어떤 단계가 나빴는지 알지 못한 채 추측만 하며 눈을 가린 채 움직이는 것과 같습니다. 이는 똑똑한 검색 에이전트를 만드는 데 있어 거대한 장벽입니다.

이를 해결하기 위해 과학자들은 '자기 증류(self-distillation)'라는 기술을 시도해 왔습니다. 이것은 로봇이 이미 정답을 알고 있는 '유령' 버전의 자신으로부터 배우는 과정이라고 생각하면 됩니다. 유령(선생님)은 해답과 단서들을 보고 있지만, 실제 로봇(학생)은 처음부터 스스로 답을 찾아내야 합니다. 핵심 아이디어는 학생이 선생님의 사고방식을 모방하는 것입니다. 하지만 인터넷이라는 무질서하고 개방된 세상에서는 이 방식이 종종 역효과를 냅니다. 정답을 알고 있는 선생님은 지름길을 택해 단 3단계 만에 사건을 해결해 버립니다. 이 선생님을 따라 하려는 학생 역시 지름길을 택하는 법을 배우게 되며, 실제로 검색하는 고된 노력을 건너뛰게 됩니다. 이는 마치 학생이 책을 읽지도 않고 선생님의 최종 에세이를 그대로 베끼는 것과 같습니다. 정답인 단어들은 적어 내려가겠지만, 조사하는 방법은 전혀 배우지 못하게 되는 것입니다.

이 논문은 이러한 탐정 로봇을 훈련시키는 새로운 방법인 SSPO(Step-Level Self-Distilled Policy Optimization, 단계별 자기 증류 정책 최적화)를 소개합니다. 로봇이 단순히 선생님의 지름길을 복제하게 두는 대신, 저자들은 **증거 앵커(Evidence Anchors)**라는 특별한 도구를 만들었습니다. 이것은 선생님이 책상 위에 남겨둔 포스트잇이라고 상상해 보세요. 이 포스트 l잇들은 정답을 직접 알려주는 대신, 조사의 각 단계에서 필요한 구체적이고 결정적인 증거들을 강조해 줍니다. 예를 들어, "용의자는 파리에 있다"라고 말하는 대신, 포스트잇에는 "화요일 항공 기록을 확인하라"라고 적혀 있을 수 있습니다.

마법은 로봇이 이 메모로부터 학습하는 방식에서 일어납니다. 저자들은 만약 로봇이 이미 사건을 올바르게 해결하고 있다면, 굳이 그 스타일을 바꾸도록 강요해서는 안 된다는 점을 깨달았습니다. 따라서 SSPO는 로봇이 사건을 틀렸을 때만 이 특별한 교수법을 사용합니다. 로봇이 실패했을 때, 시스템은 로봇의 어지러운 검색 경로와 선생님의 '증거 앵커'를 비교합니다. 만약 로봇이 선생님이 강조한 결정적인 증거를 놓쳤다면, 시스템은 해당 단계에 더 큰 '벌점'(더 혹독한 교훈)을 부여합니다. 반대로 로봇이 이상한 길로 돌아갔더라도 여전히 유용한 단서를 찾아냈다면, 시스템은 너그럽게 넘어가 줍니다.

결정적으로, 이 논문은 이 방법이 단순히 로봇을 더 똑똑하게 만드는 것을 넘어, 더 나은 검색가로 만든다는 것을 보여줍니다. 로봇은 넓고 막연한 그물을 던지는 대신, 올바른 증거를 찾기 위해 정밀하고 표적화된 질문을 던지는 법을 배웁니다. 세 가지 도전적인 검색 벤치마크(BrowseComp, GAIA, FRAMES) 테스트에서, 이 새로운 방법은 로봇이 더 빠르게 학습하고 더 높은 성능을 내도록 도왔습니다. 실제로, 이 새로운 방법으로 100단계를 훈련한 로봇은 기존 방식으로 200단계를 훈련한 로봇보다 더 우수한 성과를 보였습니다. 저자들은 우리가 단순히 최종 성적에만 집중하는 것이 아니라 각 검색 단계의 질에 집중함으로써, 운 좋게 맞히는 자가 아닌 진정으로 효율적인 조사관인 에이전트를 구축할 수 있다고 제안합니다.

기술 요약: 딥 서치 에이전트를 위한 단계별 자기 증류 정책 최적화 (SSPO)

문제 정의

딥 서치 에이전트는 수십 단계(예: 검색 실행, 페이지 브라우징, 추론 정교화 등)에 걸친 장기 호라이즌 궤적(long-horizon trajectories)을 운용합니다. GRPO(Group Relative Policy Optimization)와 같은 표준 강화 학습(RL) 방식은 일반적으로 궤적당 단 하나의 이진 결과 보상(binary outcome reward)만을 제공합니다. 이러한 희소한 감독(sparse supervision)은 심각한 신용 할당(credit assignment) 병목 현상을 야기합니다. 즉, 모델은 어떤 특정 중간 단계가 성공이나 실패를 이끌었는지에 대한 가이드를 받지 못합니다.

온-폴리시 자기 증류(On-Policy Self-Distillation, OPSD)는 모델 자신의 로짓(logits)을 조밀한 토큰 수준의 교사(teacher)로 사용하여 수학 및 코드와 같은 단일 턴 추론 작업에서 성공을 거두었으나, 이를 멀티 턴 검색 에이전트로 확장하는 데는 근본적인 어려움이 따릅니다:

극단적인 정보 비대칭성: 특권 정보(예: 선별된 증거 및 정답)에 접근할 수 있는 '교사' 모델은 검색 과정을 크게 축소시킵니다(예: 학생 모델은 17.7회인 반면 교사는 3.5회의 도구 호출). 단순 증류는 학생이 견고한 검색 전략을 개발하기보다 도구 사용을 조기에 포기하도록 유도하여, 학생이 이 간결함을 모방하게 만듭니다.
자연스러운 특권 정보의 부재: 오픈 엔드 웹 검색은 전체 정답 경로를 드러내지 않으면서 교사 접두사(teacher prefix) 역할을 할 수 있는 준비된 참조 솔루션이나 실행 피드백이 부족합니다.

방법론: SSPO

저자들은 정보 비대칭의 위험과 조밀한 감독의 필요성 사이의 긴장을 해결하기 위해 설계된 프레임워크인 **단계별 자기 증류 정책 최적화(Step-Level Self-Distilled Policy Optimization, SSPO)**를 제안합니다. 이 방법은 두 가지 핵심 구성 요소로 이루어집니다.

1. 증거 앵커 (Evidence Anchors, 특권 정보)

정답 경로 전체를 드러내지 않으면서 교사에게 필요한 컨텍스트를 제공하기 위해, 저자들은 증거 앵커를 구축합니다. 이는 질문에 답하는 데 필요한 핵심 추론 조건을 포착하는, 웹에서 추출된 간결한 단계별 증거 스니펫입니다.

구축: 최첨단 LLM이 각 QA 쌍에 대해 정답을 뒷받침하는 증거를 식별합니다.
사용: 이 앵커들은 학생이 잘못된 궤적을 생성했을 때만 교사 모델의 접두사(prefix)로 사용됩니다. 또한 교사가 동일한 실수를 반복하지 않도록 학생의 오답도 함께 제공됩니다.

2. 단계별 어드밴티지 가중치 (Step-Level Advantage Weighting)

교사와 학생의 분포 간의 발산(divergence)을 최소화하는 대신(이는 '지름길 문제'를 야기함), SSPO는 교사-학생 간의 불일치를 GRPO 목적 함수 내의 단계별 어드밴티지 가중치로 변환합니다.

메커니즘: 궤적 내의 각 단계 $\tau$ 에 대해, 특권 컨텍스트를 가진 교사와 학생 사이의 로그 결합 가능도 비율( $\Delta^{step}_{\tau}$ )을 계산합니다.
적용: 이 신호는 오답 궤적에 대해서만 적용됩니다.
- 방향과 크기의 분리: 결과 보상은 정책 업데이트의 방향(궤적을 강화하거나 억제)을 결정하며, 교사 신호는 각 단계에서의 업데이트 크기를 조절합니다.
- 가중치 로직:
  - 학생이 교사에 의해 거부된 단계에서 과도하게 확신할 경우( $\Delta^{step}_{\tau} < 0$ ), 페널티가 증폭됩니다.
  - 학생이 교사에 의해 승인된 단계에서 불확실할 경우( $\Delta^{step}_{\tau} > 0$ ), 페널티가 감소하여 유효한 중간 추론을 보존합니다.
  - 정답 궤적은 행동 다양성을 보존하기 위해 건드리지 않습니다.
입도(Granularity): 감독은 개별 토큰이 아닌 검색 동작(생각 + 도구 호출)의 자연스러운 단위와 일치하도록 정렬되어, 신호가 정보 탐색 과정과 일치하도록 합니다.

주요 기여

가정의 붕괴 식별: 본 논문은 자기 증류를 멀티 턴 검색으로 확장하는 것이 단일 턴 작업에서 유효했던 가정들(완만한 교사-학생 격차 및 기존의 특권 정보 존재)을 깨뜨린다는 점을 입증하며, 근본적으로 다른 설계가 필요함을 보여줍니다.
증거 앵커: 정답 경로를 드러내지 않으면서도 검색 동작의 구조와 일치하는 새로운 형태의 특권 정보인 압축된 단계별 증거 스니펫을 도입했습니다.
SSPO 알고리즘: 자기 증류 신호를 최적화 대상이 아닌 어드밴티지 가중치로 사용하는 정책 최적화 방법입니다. 이 접근 방식은 특권 정보 유출과 정답 궤적의 다양성 억제를 피하면서 미세한 프로세스 감독을 주입합니다.

실험 결과

방법론은 세 가지 정보 탐색 벤치마크인 BrowseComp, GAIA, FRAMES에서 Qwen3-8B를 대상으로 평가되었습니다.

성능: SSPO는 표준 GRPO를 지속적으로 능가합니다. 평균적으로 SSPO는 콜드 스타트 베이스라인 대비 +4.8의 향상을 달성한 반면, GRPO는 +2.4를 기록했습니다.
샘플 효율성: 100 스텝 동안 훈련된 SSPO가 200 스텝 동안 훈련된 GRPO를 능가하여 우수한 샘플 효율성을 입증했습니다.
효율성: 이 방법은 (교사를 위한 단 한 번의 추가 순전파 패스로 인해) 단계당 약 5%의 계산 오버헤드만을 추가합니다.
훈련 역학: 분석 결과, SSPO는 조기 포화 현상을 보이는 GRPO와 비교하여 훈련 전반에 걸쳐 더 높은 보상과 더 안정적인 그래디언트 노름(gradient norm)을 유지합니다. 엔트로피 곡선 또한 정렬되어 있어, 성능 향상이 탐색 증가보다는 더 효과적인 정책 업데이트에서 기인함을 시사합니다.
절제 연구(Ablation Studies):
- 직접 증류(발산 최소화)는 도구 사용을 붕괴시키고 GRPO보다 낮은 성능을 보입니다.
- 토큰 수준의 가중치는 불충분하며, 정보 탐색 동작에 맞추기 위해서는 단계 수준의 가중치가 필요합니다.
- 증거 앵커는 프로세스 감독의 주요 동력이며, 오답 피드백은 최종 실패를 처벌하는 보완적 역할을 수행합니다.

의의 및 주장

본 논문은 SSPO가 특권 감독을 검색 단계의 자연스러운 구조와 정렬함으로써 딥 서치 에이전트의 신용 할당 문제를 성공적으로 해결한다고 주장합니다. 업데이트 방향(결과 보상에 의해 결정됨)과 업데이트 크기(단계별 자기 증류에 의해 조절됨)를 분리함으로써, 이 방법은 에이전트가 더 정밀하고 증거에 기반한 정보 탐색을 하도록 유도합니다.

저자들은 이 접근 방식이 에이전트가 교사의 정보 비대칭성을 상속받지 않으면서도 더 나은 검색 전략을 학습할 수 있게 하며, 최소한의 계산 오버헤드로 탁월한 성능을 달성한다는 점을 강조합니다. 결과는 정교하게 구조화된 미세한 프로세스 감독이 딥 서치 에이전트를 희소한 결과 보상의 한계를 넘어 확장시키는 데 필수적임을 시사합니다.