💻 computer science

SubSearch: Intermediate Rewards for Unsupervised Guided Reasoning in Complex Retrieval

이 논문은 외부 감독 없이 내부적으로 유도된 중간 보상 신호를 통해 복잡한 검색 기반 추론을 개선하는 새로운 프레임워크인 'SubSearch'를 제안하고, 이를 통해 결과 중심의 보상보다 더 견고한 추론 경로를 확보할 수 있음을 입증합니다.

원저자: Roxana Petcu, Evangelos Kanoulas, Maarten de Rijke

게시일 2026-04-10

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Roxana Petcu, Evangelos Kanoulas, Maarten de Rijke

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

SubSearch: 복잡한 질문을 해결하는 '똑똑한 탐정'의 비밀

이 논문은 거대 언어 모델 (LLM, 즉 AI) 이 복잡한 질문을 답할 때, 단순히 "정답만 맞으면 돼"라고 가르치는 대신, 과정 자체를 칭찬하고 가르치는 새로운 방법을 소개합니다.

이걸 이해하기 위해 '미스터리 해결을 돕는 탐정' 비유를 사용해 보겠습니다.

1. 기존 방식의 문제점: "정답만 맞으면 OK!"

기존의 AI 학습 방식은 마치 **"결과만 보고 점수를 매기는 시험"**과 같습니다.

상황: AI 가 "CITIC 은행과 UniCredit 중 지점이 더 많은 은행은 어디인가?"라는 질문을 받습니다.
기존 방식: AI 가 검색을 하다가 엉뚱한 정보를 찾거나, 논리가 꼬여도, 마지막에 정답 (UniCredit) 을 맞히기만 하면 "완벽해! 100 점!"이라고 칭찬합니다.
문제점: AI 는 "아, 중간에 엉뚱한 길로 가도 마지막에 정답만 맞추면 되겠구나"라고 생각하게 됩니다. 이를 **'보상 해킹 (Reward Hacking)'**이라고 하는데, AI 는 논리적 사고를 배울 필요 없이 운이나 우연으로 정답을 맞출 수 있게 되어, 진짜 복잡한 문제에는 약해집니다.

2. SubSearch 의 등장: "중간 과정도 칭찬해 주는 코치"

이 논문에서 제안한 SubSearch는 AI 를 훈련시킬 때, 마지막 정답뿐만 아니라 중간중간 하는 일에도 점수를 줍니다.

이를 **'중간 보상 (Intermediate Rewards)'**이라고 부릅니다.

비유: AI 가 탐정 역할을 할 때, SubSearch 는 다음과 같이 코칭합니다.
1. 질문 분해 (Decomposition): "큰 사건을 해결하려면 일단 작은 사건들로 쪼개봐!" (예: "두 은행의 지점 수를 각각 따로 찾아보자")
2. 검색의 질 (Answerability): "찾아온 정보가 그 작은 질문에 잘 맞는가?" (예: "CITIC 은행 지점 수를 묻는데, UniCredit 정보가 나오면 점수 깎임")
3. 정답 도출: "모든 조각을 맞춰서 최종 정답을 내놔."

이렇게 중간 과정每一步 (매 단계) 에 점수를 주면, AI 는 "아, 마지막에 정답만 맞추는 게 아니라, 올바른 논리 경로를 따라가는 게 중요하구나"라고 깨닫게 됩니다.

3. SubSearch 가 어떻게 작동하나요? (세 가지 핵심 도구)

SubSearch 는 AI 가 복잡한 문제를 풀 때 다음 세 가지 규칙을 따르도록 훈련시킵니다.

질문을 잘게 쪼개기 (Decomposition):
- 복잡한 질문을 "A 는 얼마야?", "B 는 얼마야?"처럼 작은 질문 (서브 쿼리) 들로 나눕니다.
- 비유: 거대한 퍼즐을 한 번에 맞추려 하지 않고, 작은 조각부터 하나씩 맞추는 전략입니다.
중간 단계의 점수 부여 (Intrinsic Rewards):
- 내재적 보상: 외부의 인간이 매번 점수를 매길 필요 없이, AI 스스로 "내가 찾은 정보가 내 질문과 잘 맞나?"를 계산해서 스스로 점수를 매깁니다.
- 비유: 인간 코치가 옆에 서서 매번 점수를 주는 게 아니라, AI 스스로 "내가 잘했어!"라고 느끼고 스스로를 격려하는 시스템입니다.
적응형 점수 합산 (Adaptive Aggregation):
- 만약 AI 가 마지막에 정답을 못 맞췄다면, 중간 과정의 점수가 더 중요하게 반영됩니다. 정답을 맞췄다면 최종 점수가 더 중요해집니다.
- 비유: 시험에서 최종 점수가 낮으면, 중간중간 풀이 과정을 꼼꼼히 채점해서 어디를 잘못했는지 가르쳐 주는 방식입니다.

4. 왜 이것이 중요한가요?

데이터 절약: 기존의 방식은 사람이 "이렇게 생각하면 좋아"라고 적어둔 데이터 (지도 학습) 가 엄청나게 필요했지만, SubSearch 는 AI 가 스스로 과정을 평가하므로 추가 데이터 없이도 스스로 배울 수 있습니다.
더 튼튼한 추론: 복잡한 질문 (예: "A 와 B 를 비교하고, 그 결과가 C 에 미치는 영향을 설명해") 에서 AI 가 논리적 오류를 범하지 않고, 단계별로 차근차근 답을 찾도록 도와줍니다.
실제 실험 결과: 7 가지 다른 테스트에서 기존 방식보다 훨씬 더 정확하게 복잡한 문제를 해결했습니다.

요약

SubSearch는 AI 에게 "정답만 맞으면 돼"라고 말하지 않고, "중간중간 올바른 길을 가고 있는지 확인해 주며, 그 과정 자체를 보상해 주는" 새로운 교육법입니다.

이는 마치 초보 운전자에게 "목적지만 도착하면 돼"라고 하는 대신, "차선 변경할 때 신호를 잘 봤니? 브레이크는 적절히 밟았니?"라고 중간중간 코칭해 주는 것과 같습니다. 그 결과, AI 는 더 똑똑하고 신뢰할 수 있는 '지식 탐정'이 될 수 있게 됩니다.

,

, , ` 태그를 사용하여 추론, 검색, 정보 획득, 답변 생성 과정을 구조화합니다.

내재적 과정 보상 (Intrinsic Process Rewards):
외부 라벨링 없이 모델의 상태와 검색 결과만으로 계산되는 세 가지 보상을 도입합니다.
- 답변 가능성 보상 (Answerability Reward, $R_{answerability}$ ): 생성된 하위 질의가 검색 엔진의 상위 문서들과 얼마나 잘 일치하는지 (코사인 유사도) 를 측정하여, 해당 하위 질의가 정보 수집에 유용한지 평가합니다.
- 분해 보상 (Decomposition Reward, $R_{decomposition}$ ):
  - 의미적 커버리지 ( $r_{coverage}$ ): 하위 질의들의 집합이 원래 질의의 정보를 얼마나 잘 유지하는지 (질문 이탈 방지).
  - 그룹 내 분할 가능성 ( $r_{split}$ ): 하위 질의들이 부모 질의와 관련은 있지만 서로 중복되지 않도록 하는지 (상호 배타성) 를 평가합니다.
- 형식 보상 (Format Reward): 모델이 올바른 태그 구조를 따르도록 하여 학습 안정성을 높입니다.
적응형 잔여 보상 집계 (Adaptive Residual Reward Aggregation):
- 최종 답변 보상 ( $R_{answer}$ ) 과 중간 과정 보상들을 결합할 때, 단순히 가중합을 사용하는 대신 적응형 잔여 방식을 사용합니다.
- 모델이 정답을 맞추지 못했을 때만 중간 보상이 전체 보상 신호에 더 큰 영향을 미치도록 설계하여, 정답을 맞춘 경우에도 불필요한 중간 추론을 강제로 수정하는 것을 방지합니다.

3. 주요 기여 (Key Contributions)

외부 감독 불필요한 과정 최적화: 인간 라벨링이나 별도의 보상 모델 (Reward Model) 학습 없이, 생성기 내부에서 도출된 신호만으로 복잡한 검색 에이전트를 훈련하는 새로운 패러다임을 제시했습니다.
중간 단계 보상 메커니즘: 최종 결과뿐만 아니라 '하위 질의의 품질'과 '질의 분해의 적절성'을 직접 보상함으로써, 모델이 더 견고한 추론 경로를 학습하도록 유도합니다.
데이터 효율성: 고비용의 SFT (지도 미세 조정) 데이터나 인간 라벨링 없이도, 기존 RL 기반 방법들보다 우수한 성능을 달성하여 데이터 효율적인 대안을 제공합니다.

4. 실험 결과 (Results)

7 개의 벤치마크 (Natural Questions, TriviaQA, HotpotQA, 2WikiMultiHopQA, MuSiQue, Bamboogle, PopQA) 에서 실험이 수행되었습니다.

성능 향상: SubSearch 는 단순 QA 와 다중 홉 (multi-hop) QA 모두에서 기존 RL 기반 검색 에이전트 (Search-R1, ZeroSearch 등) 보다 일관되게 우수한 성능을 보였습니다. 특히 복잡한 추론이 필요한 **HotpotQA(+6.5 EM), 2WikiMultiHopQA(+7.7 EM), Bamboogle(+13.5)**에서 큰 개선을 이루었습니다.
SFT 기반 방법과의 비교: 고비용의 인간 라벨링 데이터를 사용한 InForage, O2-Searcher 와 같은 최상위 방법들과 경쟁력 있는 성능을 보여주며, 중간 보상 설계만으로도 강력한 학습 신호가 될 수 있음을 입증했습니다.
추론의 견고성: 중간 보상 신호를 도입함으로써, 모델이 잘못된 중간 추론을 통해 정답을 맞추는 경우를 줄이고 더 신뢰할 수 있는 검색 및 추론 경로를 생성함을 확인했습니다.
Ablation Study:
- 질의 분해 (Decomposition) 와 중간 보상 (Intermediate Rewards) 모두 성능 향상에 기여함을 확인했습니다.
- 특히 다중 홉 데이터셋에서는 중간 보상이 분해만 사용하는 것보다 성능을 크게 향상시켰습니다.
- 적응형 잔여 집계 방식이 단순 가중합보다 학습 안정성과 성능 면에서 우월함을 보였습니다.

5. 의의 및 결론 (Significance)

자율적 정보 중심 추론의 진전: SubSearch 는 외부 감독 없이도 모델이 스스로 복잡한 정보 검색 과제를 계획하고 수행할 수 있는 능력을 키우는 '자율적 정보 중심 추론 (autonomous information-intensive reasoning)'을 향한 중요한 걸음입니다.
검색 에이전트 설계의 새로운 방향: 단순한 결과 최적화를 넘어, 검색 에이전트의 '과정 (process)' 자체를 최적화함으로써 더 투명하고 신뢰할 수 있는 AI 에이전트 개발의 가능성을 열었습니다.
실용성: 고비용의 데이터 라벨링 없이도 복잡한 검색 에이전트를 훈련할 수 있어, 실제 산업 환경에서의 적용 가능성을 높였습니다.

요약하자면, SubSearch 는 복잡한 정보 검색 과제에서 LLM 의 추론 능력을 향상시키기 위해, **외부 감독 없이 내부적으로 계산된 중간 단계 보상 (내재적 과정 보상)**을 활용하여 모델이 체계적으로 질의를 분해하고 정보를 수집하도록 유도하는 혁신적인 프레임워크입니다.