🤖 machine learning

HindSearch: Trajectory-Level Hindsight Critique for Search-Augmented Reinforcement Learning

HindSearch는 실패한 궤적에 대한 동결된 판사(frozen judge)의 비판을 활용하여 보조적인 온폴리시(on-policy) 신호를 제공함으로써 검색 증강 강화 학습을 위한 사후 자기 증류(hindsight self-distillation) 절차를 도입하며, 이는 정답을 활용해 검색 실패를 진단함으로써 기존 베이스라인보다 성능을 크게 향상시킨다.

원저자: Haowei Liu, Jiamian Wang, Hsin-Tai Wu, Zhiqiang Tao, Yi Fang

게시일 2026-08-04

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Haowei Liu, Jiamian Wang, Hsin-Tai Wu, Zhiqiang Tao, Yi Fang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 미스터리를 해결하는 법을 가르치고 있다고 상상해 보세요. 당신은 질문을 하나 던지고, 로봇은 단서를 찾기 위해 인터넷에 질문을 던지기 시작합니다. 때로는 답을 찾아내기도 하지만, 때로는 잘못된 길의 미로 속에서 길을 잃기도 합니다. 인공지능의 세계에서는 이를 "검색 증강 학습(Search-Augmented Learning)"이라고 부릅니다. 이 로봇은 거대 언어 모델(LLM)로, 텍스트를 읽고 쓸 줄 아는 아주 똑똑한 컴퓨터 두뇌입니다. 어려운 문제를 해결하기 위해 로봇은 단순히 추측만 하는 것이 아니라, 마치 탐정이 증거를 수집하듯 정보를 조각조각 찾아내기 위해 검색 엔진을 사용합니다.

오랫동안 이러한 탐정 로봇을 훈련시키는 방식은 매우 엄격한 심판과 함께 "뜨겁나 차가우나(Hot or Cold)" 게임을 하는 것과 비슷했습니다. 로봇이 조사를 모두 마치면, 마지막에 심판은 그저 "맞혔다!" 또는 "틀렸다!"라고만 말할 뿐이었습니다. 로봇이 답을 틀렸을 경우, 로봇이 받는 피드백은 그저 커다란 평면적인 "0"이었습니다. 로봇은 자신이 실패했다는 것은 알았지만, 왜 실패했는지는 알지 못했습니다. 질문을 잘못 던진 걸까요? 엉뚱한 기사를 읽은 걸까요? 아니면 까다로운 이름 때문에 혼란에 빠진 걸까요? "왜"를 모른다면, 로봇은 스스로를 어떻게 고쳐야 할지 추측해야 했습니다. 이는 마치 매 운전마다 "충돌" 혹은 "충돌 안 함"이라는 말만 들으며 운전을 배우려는 것과 같습니다. 이는 좌절감을 주고, 느리며, 종종 로봇이 나쁜 습관에 빠지게 만듭니다.

여기서 Liu, Wang, Wu, Tao, Fang 연구진이 제안한 HindSearch라는 새로운 아이디어가 등장합니다. 그들은 로봇이 실패했을 때, 사실 우리에게는 참고할 수 있는 '정답'이 있다는 점을 깨달았습니다. 그들은 단순히 "실패"라고 말하는 대신, 정답을 사용하여 로른이 무엇을 다르게 했어야 했는지 정확히 설명하는 짧고 유용한 메모를 작성하기로 했습니다. 그들은 이를 "사후 비평(hindsight critique)"이라고 부릅니다.

이것이 실제로 어떻게 작동하는지 살펴보겠습니다. 로봇이 영화 브라질(1985년 SF 영화, 국가 브라질이 아님)의 감독이 누구인지 찾아내려고 시도한다고 가정해 봅시다. 로봇은 혼란을 느껴 "Brazil director"를 검색했고, 그 결과 국가의 정부에 관한 페이지들을 찾아냈습니다. 로봇은 실패했습니다. 기존 방식에서는 여기서 훈련이 "0"과 함께 멈춥니다. 하지만 HindSearch에서는, 동결된(frozen) "판사(Judge)"(스스로 학습하지는 않지만 매우 똑똑하게 사전 훈련된 AI)가 로봇의 엉망진창인 검색 기록과 정답(테리 길리엄)을 함께 살펴봅니다. 판사는 다음과 같이 짧은 한 문장의 메모를 작성합니다: "당신은 국가와 영화를 혼동했습니다! 대신 'director of Brazil 1985 film'이라고 물었어야 했습니다."

이 메모는 로봇을 가르치기 위한 특별한 "힌트"로 사용됩니다. 로봇은 이 메모를 보고 "만약 내가 이 힌트를 알았더라면, 무엇을 검색했을까?"라고 상상해 보라는 요청을 받습니다. 로봇은 판사의 조언에 맞춰 자신의 검색 습령을 조정하는 법을 배웁니다. 이것은 매 실패 시마다 일어나며, 모든 실수를 막다른 길이 아닌 상세한 교훈으로 바꿉니다.

연구진은 Qwen2.5-3B-Instruct라는 모델을 사용하여 표준적인 7가지 어려운 질의응답 챌린지에 이 방법을 테스트했습니다. 그들은 "사후 비평"을 추가하는 이 간단한 기술이 엄청난 차이를 만든다는 것을 발견했습니다. 새로운 방식인 HindSearch는 이 테스트에서 평균 성공률 **39.4%**에 도달했습니다. 이는 기존의 최고 방식들이 33.6% 근처에 머물렀던 것에 비해 현저히 높은 수치입니다. 이 개선은 단순한 사실부터 여러 조각의 정보를 연결해야 하는 복잡한 퍼즐에 이르기까지 모든 유형의 질문에서 일관되게 나타났습니다.

결정적으로, 연구팀은 이 개선이 정말로 "사후적(hindsight)" 부분, 즉 판사가 정답을 알고 있다는 사실에서 온 것인지 확인하고 싶었습니다. 이를 증명하기 위해, 그들은 판사로부터 정답에 대한 접근 권한을 제거한 테스트를 실시했습니다. 판사가 해결책을 모르는 상태에서 무엇이 잘못되었는지 추측해야 했을 때, 개선 효과는 거의 사라져 **34.7%**로 다시 떨어졌습니다. 이는 이 마법이 단순히 두 번째 AI가 작업을 들여다보는 데 있는 것이 아니라, 구체적으로 그 두 번째 AI가 정답을 사용하여 정밀하고 교정적인 교훈을 주는 데 있다는 것을 시사합니다.

논문은 또한 이 훈련이 시간이 지남에 따라 어떻게 작동하는지도 탐구했습니다. 로봇의 성능은 300단계의 훈련 과정을 거치며 꾸준히 상승하여, 훈련 끝에 거의 **50%**에 달하는 훈련 점수와 **39.4%**의 검증 점수에 도달했습니다. 훈련은 안정적이었습니다. 즉, 복잡한 보상을 가지고 AI를 가르칠 때 흔히 발생하는 문제인 것처럼, 로봇이 혼란을 느끼거나 이상하게 행동하지 않았습니다.

흥미로운 세부 사항 중 하나는 이 방법이 최종 답변을 내는 법이 아니라, 오직 검색하는 법을 가르치는 방식으로 작동한다는 것입니다. "비평"은 로봇이 검색 엔진에 도움을 요청할 때 사용하는 단어들에만 영향을 미칩니다. 이는 로봇이 자신의 직무, 즉 올바른 단서를 수집하는 데 집중하도록 유지해 줍니다. 또한 연구진은 훨씬 더 큰 "교사(Teacher)" 모델(70억 개의 파라미터)을 사용하여 힌트를 주는 것이 오히려 상황을 악화시켜 훈련을 붕괴시킨다는 것을 발견했습니다. 교사가 학생과 너무 다르면 혼란을 줄 수 있으며, 비슷하면서도 동결된 상태의 교사가 가장 적합하다는 결론을 얻었습니다.

요약하자면, HindSearch는 검색 봇을 가르치는 최선의 방법은 단순히 틀렸다고 말하는 것이 아니라, 정답을 보여주며 "당신이 정답을 알고 있다면, 무엇을 다르게 했어야 했나요?"라고 묻는 것임을 시사합니다. 모든 실패를 구체적이고 실행 가능한 교훈으로 바꿈으로써, 로봇은 더 나은 탐정이 되어 이전보다 훨씬 더 자주 올바른 단서를 찾아내게 됩니다. 이 방법의 코드는 다른 이들이 시도해 볼 수 있도록 공개되어 있으며, 결과는 이 "사후적(hindsight)" 접근 방식이 답을 찾기 위해 세상을 탐색해야 하는 AI 에이전트를 훈련하는 강력한 새로운 도구가 될 수 있음을 보여줍니다.

기술 요약: HindSearch

문제 정의

검색 증강 언어 모델(LM) 에이전트는 일반적으로 이진 정밀 일치(Exact-Match, EM) 보상을 사용하는 강화 학습(RL)을 통해 훈련됩니다. 이는 단순하지만, 이러한 결과 중심의 목적 함수는 실패한 궤적(trajectory)에 포함된 중요한 정보를 버리게 됩니다. 실패한 궤적에는 구체적인 쿼리 발행, 검색된 스니펫, 그리고 훈련 시점의 정답(gold answer)이 포함됩니다. 기존 방식들은 이러한 실패를 종종 "밴딧 신호(bandit signal)"로 취급하여, 에이전트가 왜 궤적이 실패했는지에 대한 명시적인 가이드 없이 근본적인 검색 정책을 복구하도록 강제합니다. 이는 긴 신용 할당(credit-assignment) 지연과 훈련 불안정성을 초래합니다.

더 조밀한 신호를 제공하려는 기존의 시도들은 대개 두 가지 범주로 나뉩니다:

프로세스 보상 모델(PRM): 개별 단계에 스칼라 품질 점수를 할당하지만, 이는 평가적(evaluative, 단계를 채점함)일 뿐 지시적(directive, 수정을 지시함)이지 않습니다.
힌트 조건부 증류(예: OpenClaw-RL): 자연어 힌트를 사용하여 교사 모델을 조건화합니다. 그러나 이전 연구들은 다음 상태(next state)로부터 온라인으로 힌트를 생성할 때 정답에 접근할 수 없거나, 로컬 성공 여부가 명확한 GUI 제어와 같은 도메인에 적용되었습니다.

이러한 방식들은 훈련 중에 사용할 수 있는 가장 깨끗한 신호인 '정답 자체'를 완전히 활용하지 못합니다.

방법론: HindSearch

저자들은 GRPO(Group Relative Policy Optimization)를 확장하기 위해 설계된 궤적 수준의 사후적 비판(post-hoc critique) 절차인 HindSearch를 제안합니다. 핵심 혁신은 궤적 수준의 EM 실패를 토큰 단위의 감독 신호로 변환하는 사후(post-hoc) 자기 증류(self-distillation) 메커니즘입니다.

1. 궤적 수준의 사후적 비판 (TLHC)

각 GRPO 롤아웃(rollout) 후, 시스템은 궤적을 성공 집합( $T^+$ )과 실패 집합( $T^-$ )으로 분할합니다. 모든 실패한 궤적 $\tau$ 에 대해:

**고정된 판사(frozen judge, $\pi_J$ )**에게 전체 렌더링된 궤적과 **정답( $a^\star$ )**을 함께 질의합니다.
판사는 에이전트가 무엇을 다르게 했어야 했는지(예: "캐스트 대신 디렉터를 직접 쿼리하세요")를 설명하는 짧고 지시적인 비판( $h(\tau)$ )을 생성합니다.

2. 온-폴리시 증류 (OPD) 손실

비판 $h(\tau)$ 는 학생의 가중치로부터 초기화된 고정된 교사(frozen teacher, $\pi_{ref}$ ) 모델을 조건화하는 데 사용됩니다.

조건화(Conditioning): 실패한 궤적의 모든 검색 단계 $t$ 에 대해, 비판은 컨텍스트의 접두사(prefix)로 브로드캐스트됩니다: $c^T_t = \langle \text{HINT} \rangle h(\tau) \langle / \text{HINT} \rangle \oplus c_t$ .
손실 계산: 학생( $\pi_\theta$ )은 실패한 궤적 내의 <SEARCH>...</SEARCH> 스팬(span) 내 토큰들의 검색 행동 확률을 교사의 힌트 조건부 분포와 일치시키도록 훈련됩니다.
클램핑(Clamping): 손실은 업데이트가 교사보다 학생이 더 확신할 때만 발생하도록 하여, 이상치(outliers)가 배치(batch)를 지배하는 것을 방지하는 클램프 계수를 사용합니다.

전체 목적 함수는 표준 GRPO 클리핑 정책 경사( $L_{PPO}$ )와 이 보조 증류 손실( $L_{OPD}$ )을 결합합니다:
$L_{total} = L_{PPO} + \lambda_{OPD} \cdot L_{OPD}$
여기서 $\lambda_{OPD} = 0.01$ 입니다.

주요 기여

궤적 수준의 사후적 비판 (TLHC): 정답을 활용하여 지시적인 비판을 생성함으로써 이진 EM 실패를 풍부한 토큰 단위 감독 신호로 변환하는 새로운 절차를 제시합니다.
실증적 성능: Qwen2.5-3B-Instruct 백본을 사용하여 표준 7개 벤치마크 검색-QA 세트에서 **평균 39.4%의 정밀 일치(EM)**를 달acia하며, 기존의 검색-RL 베이스라인(예: Search-R1 GRPO, 33.6%)을 능가했습니다.
안정성: 이 방식은 300-스텝 예산 동안 안정적인 훈련 역학을 보여주며, 검증 EM이 정체 없이 단조 증가함을 입증했습니다.

실험 결과

저자들은 Qwen2.5-3B-Instruct 백본과 Wikipedia-18 기반의 E5-base-v2 리트리버를 사용하여 7개의 벤치마크(NQ, TriviaQA, PopQA, HotpotQA, 2WikiMultihopQA, MuSiQue, Bamboogle)에서 HindSearch를 평가했습니다.

주요 결과: HindSearch는 평균 39.4% EM에 도달하여, 가장 강력한 이전 베이스라인(Search-R1 GRPO)보다 5.8 포인트 높았습니다.
일반화: 개선 사항은 인도메인(NQ, HotpotQA) 및 제로샷 벤치마크 모두에서 일관되게 나타났으며, 이는 이 방법이 단순한 훈련 패턴 암기가 아닌 일반적인 검색 행동을 유도함을 시사합니다.
절제 연구(Ablation Studies):
- 사후 정보의 필요성: 판사의 정답 접근 권한을 제거했을 때(정답 없는 판사로 변경) 성능이 34.7%로 떨어졌으며, 이는 '사후 정보(정답 접근)'가 단순한 판정 행위보다 성능 향상의 주요 동력임을 확인시켜 줍니다.
- 손실 형태: Plain-clamp OPD 손실을 OpenClaw-RL의 PPO-클리핑된 Top-K 대리 함수로 교체하자 성능이 32.7%로 떨어져 베이스라인보다 낮아졌으며, 이는 특정 손실 공식이 매우 중요함을 나타냅니다.
- 교사 크기: 동일 계열의 더 큰 7B 교사를 사용했을 때 훈련 붕괴가 발생했으며, 이는 교사와 학생 사이의 능력 격차가 힌트 컨텍스트에 의해 신중하게 매개되어야 함을 시사합니다.

의의 및 주장

논문은 HindSearch가 검색 증강 RL의 근본적인 신호 부족 문제를 해결한다고 주장합니다. 정답을 사용하여 지시적(evaluative이 아닌) 비판을 사후적으로 생성함으로써, 이 방법은 온라인 프로세스 보상 모델이나 복잡한 다중 보상 형성 없이도 에이전트의 검색 행동을 가이드하는 조밀한 온-폴리시 증류 신호를 제공합니다.

저자들은 이 접근 방식이 "그렇지 않았다면 보상 기울기(gradient)를 전혀 생성하지 못했을 롤아웃으로부터 풍부한 교정 신호를 회복한다"는 점을 강조합니다. 이 방법은 표준 결과 중심 RL의 안정적이고 효과적인 대안으로 제시되며, 사후적 자기 증류가 대규모 언어 모델의 검색 정책을 크게 향상시킬 수 있음을 보여줍니다. 본 연구는 모델의 인스트럭션 튜닝된 변형에 집중하고 있으며, 순수 베이스 모델에 적용하려면 초기 포맷 습득 단계가 필요하다는 점을 언급하며 범위를 제한적으로 설정했습니다.