💬 NLP

Search-E1: Self-Distillation Drives Self-Evolution in Search-Augmented Reasoning

Search-E1 는 복잡한 외부 감독이나 보조 모듈에 의존하지 않고 QA 벤치마크에서 최첨단 성능을 달성하기 위해 순수한 GRPO 와 오프라인 자기 증류만을 사용하여 검색 증강 추론 에이전트를 향상시키는 자기 진화 방법입니다.

원저자: Zihan Liang, Yufei Ma, Ben Chen, Zhipeng Qian, Xuxin Zhang, Huangyu Dai, Lingtao Mao

게시일 2026-05-22

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zihan Liang, Yufei Ma, Ben Chen, Zhipeng Qian, Xuxin Zhang, Huangyu Dai, Lingtao Mao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

매우 똑똑하지만 약간 서툰 학생 (AI) 이 까다로운 퀴즈 문제를 풀려고 노력한다고 상상해 보세요. 이 학생은 정답을 찾기 위해 도서관 (검색 엔진) 을 활용해 사실을 찾아볼 수 있지만, 언제 찾아보고 무엇을 물어볼지 직접 결정해야 합니다.

대부분의 기존 방법은 이 학생이 에세이를 완전히 끝낼 때까지 기다린 뒤 가르칩니다. 최종 답이 맞으면 교사는 금색 별을 주고, 틀리면 빨간 X 를 찍습니다. 문제는 무엇일까요? 학생은 어떤 구체적인 단계에서 실수했는지 알지 못합니다. 잘못된 질문을 했을까요? 잘못된 단락을 읽었을까요? 산만해졌을까요? 그들은 그저 전체 시도가 실패했다는 사실만 알 뿐입니다.

Search-E1은 이 학생을 가르치는 새롭고 더 간단한 방법입니다. 이는 초지능 인간 교사나 화려한 추가 로봇, 특별한 보상 시스템이 필요하지 않습니다. 대신 **"자기 진화 (Self-Evolution)"**라는 기법을 두 단계의 춤으로 활용합니다.

1 단계: "모두 시도해 보기" 단계 (GRPO)

먼저 학생에게 같은 질문을 다섯 번 내립니다.

한 번의 시도에서는 도서관을 헤매며 터무니없는 질문을 하고 실패할 수 있습니다.
다른 시도에서는 완벽한 질문을 던져 올바른 책을 찾아내고 빠르게 정답을 얻을 수 있습니다.

시스템은 이 다섯 번의 시도를 살펴보고 "좋아, 정답을 맞춘 그 시도가 이번 라운드의 '금표준 (Gold Standard)'이다"라고 말합니다. 하지만 앞서 언급했듯, 이는 학생에게 "그 에세이 전체를 잘 썼네"라고만 알려줄 뿐, "그 특정 질문을 잘 던졌네"라고 알려주지는 않습니다.

2 단계: "되감고 배우기" 단계 (오프라인 자기 증류)

이제 마법이 일어납니다. 시스템은 실패한 시도 (학생) 와 성공한 시도 (교사) 를 가져옵니다.

여기에 영리한 트릭이 있습니다:

시스템은 학생에게 원래 질문을 줍니다.
시스템은 교사에게 같은 질문을 주지만, 동시에 치트 시트를 건네줍니다. 바로 다른 시도에서 학생이 취했던 전체 성공 경로입니다.
교사는 치트 시트를 읽고 말합니다. "내가 지금 이 질문에 답하고, 올바른 경로를 알고 있다면, 바로 다음에 이렇게 말할 것이다."
그 후 학생은 교사의 말을 듣고, 단계별로 그 말에 맞춰보도록 강요받습니다.

학생은 단순히 "맞았다/틀렸다"는 말을 듣는 것이 아닙니다. 토큰 단위 (단어 단위) 로 어떻게 더 잘 생각해야 하는지 정확히 보여줍니다. "아, 알겠다! 내가 '대통령은 누구인가?'라고 물었을 때, 교사는 '1990 년의 대통령은 누구였는가?'라고 물었구나. 그게 차이점이야!"

이것이 특별한 이유는 무엇일까요?

외부 교사 불필요: 보통 이런 수준의 세부 사항을 얻으려면 모든 단계를 채점하기 위해 초지능 AI(예: 720 억 파라미터 모델) 가 필요합니다. Search-E1 은 학생의 자신의 성공적인 시도들을 교사처럼 활용합니다. 마치 교수가 채점해 줄 때까지 기다리는 대신, A 를 받은 학생이 자신의 시험지를 스스로 공부하는 것과 같습니다.
추가 장비 불필요: 다른 방법들은 어떤 단계가 좋았는지 파악하기 위해 복잡한 도구를 추가합니다. Search-E1 은 표준적인 "시도하고 다시 시도하기" 루프만 사용하며, 그 사이에 "자신의 성공을 공부하기" 단계를 추가할 뿐입니다.
결과: 이 방법을 일곱 가지 다른 퀴즈 도전 과제에서 테스트했을 때, Search-E1 을 사용한 학생은 더 복잡한 방법을 사용한 다른 학생들보다 훨씬 높은 점수를 받았습니다. 특히 여러 개의 정보를 연결해야 하는 "멀티홉 (multi-hop)" 질문에서 탁월했는데, 이런 질문들은 실수할 수 있는 단계가 많기 때문이며, 이 방법은 깨진 구체적인 단계들을 바로잡아주기 때문입니다.

요약하자면: Search-E1 은 AI 가 실패하게 한 뒤, 마치 완벽한 교과서처럼 자신의 성공적인 시도들을 스스로 연구하게 함으로써 더 똑똑해지도록 가르칩니다. 외부의 도움 없이 매 순간 무엇을 말해야 할지 정확히 배우는 것입니다.

기술 요약: Search-E1

문제 제기

대형 언어 모델 (LLM) 은 강력한 추론 능력을 달성했지만, 사전 학습 지식에 제한을 받으며 학습 후 발생하는 정보를 통합할 수 없다는 한계가 있습니다. 검색 증강 추론 에이전트는 내부 추론과 외부 검색 호출을 교차시킴으로써 이를 해결합니다. 그러나 이러한 에이전트의 현재 사후 학습 파이프라인은 최종 답변의 정확성만을 기반으로 한 보상을 사용하여 결과 수준 강화 학습 (RL), 일반적으로 그룹 상대 정책 최적화 (GRPO) 에 의존합니다.

이러한 궤적 수준의 감독은 중요한 한계를 초래합니다. rollout 의 모든 토큰은 특정 검색 쿼리가 잘 형성되었는지 여부와 상관없이 동일한 기울기 신호를 받습니다. 이를 극복하기 위해 최근 연구들은 다음과 같은 정교한 장치를 도입했습니다:

외부 감독: 더 강력한 교사 모델 (예: 72B 모델) 에서 하위 질문을 증류하거나 GPT-4o 와 같은 모델의 주석을 통해 단계별 보상을 도출합니다.
보조 모듈: 별도의 학습 단계나 제한적인 가정을 요구하는 프로세스 보상 모델, 사후 비판가 (retrospective critics), 또는 내재적 추정기를 부착합니다.
구조적 변경: 트리 검색 또는 다단계 커리큘럼을 통해 rollout 을 재구성합니다.
수동 설계 보상: 특정 검색 단계에 대한 보너스와 페널티를 조정합니다.

이러한 방법들은 개선을 가져오지만, 학습 파이프라인을 비대하게 만들고 자원이나 설계에 의존하게 만들어 보편적으로 사용 가능하지 않을 수 있습니다. 본 논문은 이러한 장치가 필요한지 질문하며, 정책의 자체 데이터만을 사용하여 단계별 감독을 달성하는 방법을 제안합니다.

방법론: Search-E1

Search-E1 은 표준 GRPO와 **오프라인 자기 증류 (OFSD)**를 교차하는 자기 진화 파이프라인입니다. 이는 외부 교사, 보조 모듈, 표준 질문 - 답변 쌍을 넘어선 주석을 필요로 하지 않습니다.

1. GRPO 라운드 (탐색)

파이프라인은 정확한 일치 결과 보상을 사용하는 표준 GRPO 라운드로 시작합니다.

각 질문 $q$ 에 대해, 현재 정책 $\pi_{\theta}$ 에서 $G$ 개의 궤적 그룹이 샘플링됩니다.
보상은 최종 답변의 정확성에 따라 할당됩니다.
정책은 표준 GRPO 손실로 업데이트되며, 여기서 이득 (advantage) 은 궤적 내의 모든 토큰에 공유됩니다. 이 단계는 궤적 공간을 탐색하지만 조밀한 단계별 신호는 부족합니다.

2. OFSD 라운드 (결집)

GRPO 라운드가 수렴한 후, 정책은 자체 rollout 에서 조밀한 토큰 수준 신호를 추출하기 위해 오프라인 자기 증류 단계를 수행합니다.

페어 마이닝: 수렴된 정책의 rollout 풀에서 각 질문에 대해 궤적 쌍 $(\tau_{ref}, \tau_{stu})$ $(τ_{r e f}, τ_{s t u})$ 가 구성됩니다.
- 참조 ( $\tau_{ref}$ ): 가장 적은 검색 호출을 가진 올바른 궤적 ( $R=1$ ).
- 학생 ( $\tau_{stu}$ ): 참조와 최대한 다른 잘못된 궤적 ( $R=0$ ) 이거나, 잘못된 형제가 존재하지 않는 경우 가장 뚜렷한 올바른 궤적.
비대칭 조건 설정: 동일한 정책 파라미터 $\theta$ $θ$ 가 교사와 학생으로 작용하지만 다른 프롬프트 하에서 작동합니다.
- 학생: 표준 추론 프롬프트 $P_S(q) = [\text{instruction}] \parallel q$ 에 조건부.
- 교사: 효율적인 참조 궤적을 전문가 가이드로 노출하는 특권 프롬프트 $P_T(q, \tau_{ref}) = [\text{instruction}] \parallel q \parallel \tau_{ref}$ 에 조건부.
토큰 수준 순방향 KL 목적 함수: 학생은 특권 컨텍스트 하에서 교사의 분포와 추론 시 분포를 정렬하도록 훈련됩니다.
- 손실은 검색된 텍스트를 제외한 정책이 생성한 위치에서 계산됩니다.
- 포인트 클리핑 (pointwise clipping) 메커니즘 ( $\tau_{clip}$ ) 은 희귀한 이상치에 의한 기울기 지배를 방지하기 위해 고발산 토큰의 기여도를 제한합니다.
- 목적 함수는 다음과 같습니다: $L_{OFSD} = \frac{1}{|R_\tau|} \sum_{p \in R_\tau} \sum_{v} \min(P^{tch}_p(v) \cdot \log \frac{P^{tch}_p(v)}{P^{stu}_p(v)}, \tau_{clip})$ .
구현: OFSD 는 GRPO 체크포인트에 부착된 LoRA 어댑터를 통해 실현됩니다. 교사 패스는 고정된 기본 가중치를 사용하고, 학생 패스는 활성 LoRA 가중치를 사용합니다.

3. 교차 루프

파이프라인은 다음과 같이 반복됩니다:

GRPO 라운드: 결과 수준 RL 을 통해 정책을 업데이트합니다.
OFSD 라운드: 업데이트된 정책의 rollout 에서 쌍을 마이닝하고 KL 발산을 최소화하도록 LoRA 어댑터를 훈련한 후, 어댑터를 기본 가중치에 병합합니다.
이 사이클이 반복되며, 각 반복은 모델이 백본의 용량 한계에 도달할 때까지 긍정적인 개선을 제공합니다.

주요 기여

Search-E1 파이프라인: 외부 교사, 보조 모듈, 또는 비표준 주석을 필요로 하지 않고, 바닐라 GRPO 와 오프라인 자기 증류를 교차하는 자기 진화 프레임워크.
OFSD 목적 함수: 정책이 서로 다른 조건 설정 컨텍스트 하에서 교사와 학생으로 작용하는 페어형 오프라인 자기 증류 메커니즘. 이는 정책의 자체 GRPO rollout 에서 완전히 파생된 조밀한 단계별 감독을 제공하기 위해 포인트 클리핑이 적용된 토큰 수준 순방향 KL 을 활용합니다.
실증적 성능: 단일 홉 및 멀티 홉을 포함한 7 개의 QA 벤치마크에서 입증된 바와 같이, Search-E1 은 외부 감독 없이 오픈소스 방법 중 최첨단 결과를 달성합니다.

실험 결과

이 방법은 Qwen2.5-3B-Instruct와 Qwen2.5-7B-Instruct를 사용하여 7 개의 QA 벤치마크에서 평가되었습니다.

전체 성능: Search-E1 은 3B 모델로 평균 정밀 일치 (EM) 0.440을 달성하여 해당 규모의 모든 오픈소스 베이스라인을 능가했습니다.
결과 보상 베이스라인과의 비교: 평균적으로 가장 강력한 결과 보상 베이스라인 (AutoRefine-Base) 보다 3.5 포인트 더 높은 성능을 보였습니다. 특히 멀티 홉 데이터셋에서 개선이 두드러졌습니다 (예: Bamboogle 에서 +12.0, 2Wiki 에서 +6.6). 이는 복잡한 멀티 스텝 검색 체인이 포함된 궤적일 때 단계별 정렬이 가장 유익함을 시사합니다.
프로세스 감독 베이스라인과의 비교: Search-E1 은 7 개 벤치마크 중 6 개에서 외부 주석 (StepSearch) 및 상태 기반 그룹화 (GiGPO) 에 의존하는 방법들을 능가했습니다.
- GPT-4o 주석을 사용하지 않고도 4 개의 모든 멀티 홉 벤치마크에서 StepSearch 를 능가했습니다.
- 2Wiki, MuSiQue, HotpotQA 에서 GiGPO 를 능가했습니다. 유일한 예외는 Bamboogle 이었으며, 저자들은 이를 작은 테스트 분할 크기와 GiGPO 의 앵커 상태 그룹화를 선호하는 브리지 엔티티 쿼리의 특수한 성질 때문이라고 설명합니다.
애블레이션: GRPO 와 OFSD 의 교차 루프가 일관된 긍정적 개선을 제공하며, RL 설정에서 일반적으로 관찰되는 "Base"와 "Instruct" 모델 변형 간의 성능 격차를 해소하고 역전시킬 만큼 충분한 신호임을 확인했습니다.

중요성과 주장

본 논문은 정교한 외부 장치가 검색 증강 추론을 개선하는 데 반드시 필요한 것은 아님을 Search-E1 이 입증했다고 주장합니다. 표준 GRPO 학습 중 생성된 형제 궤적 간의 대비를 활용함으로써, 이 방법은 자연스럽게 조밀한 단계별 감독을 제공합니다.

간단함: 이 접근법은 별도의 보상 모델이나 비판가를 훈련하거나 더 큰 교사로부터 증류하는 복잡성을 피하고, "바닐라" GRPO 와 자기 증류 목적 함수에 의존합니다.
자원 효율성: GPT-4o 와 같은 외부 시스템이나 트리 검색과 같은 특정 rollout 구조에 대한 의존성을 제거하여 레시피를 더 접근 가능하고 견고하게 만듭니다.
일반화 가능성: 단일 홉 및 멀티 홉 작업 전반에 걸쳐 개성이 일관되며, 단계별 의사 결정 품질이 중요한 시나리오 (멀티 홉 추론) 에서 가장 큰 개선이 발생합니다.

저자들은 탐험 (GRPO) 과 결집 (OFSD) 의 교차 레시피가 검색 증강 에이전트의 자기 진화를 위한 실현 가능한 경로이며, 해당 분야에서 점점 복잡해지는 파이프라인에 대한 더 간단한 대안을 제공한다고 결론지었습니다. 향후 연구는 더 풍부한 특권 컨텍스트 (예: 여러 개의 올바른 형제) 와 더 긴 자기 진화 일정을 탐구할 것을 제안합니다.