💬 자연어 처리

Self-Assessment Reinforcement Learning for Search-State Awareness in Retrieval-Augmented Large Language Models

이 논문은 검색 증강 대규모 언어 모델이 자신의 검색 상태를 자율적으로 인식하고 이중 보상 메커니즘을 통해 검색 궤적을 최적화할 수 있게 함으로써, 추가적인 추론 시 스캐폴딩(scaffolding) 없이도 복잡한 추론 작업에서 상당한 성능 향상을 달성하는 자기 평가 강화 학습(Self-Assessment Reinforcement Learning, SARL) 프레임워크를 제안한다.

원저자: Taewhoo Lee, Minju Song, Jungwoo Park, Chanwoong Yoon, Junha Jung, Hyeon Hwang, Sanghoon Lee, Minbyul Jeong, Jaewoo Kang

게시일 2026-10-23✓ Author reviewed ⓘ

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Taewhoo Lee, Minju Song, Jungwoo Park, Chanwoong Yoon, Junha Jung, Hyeon Hwang, Sanghoon Lee, Minbyul Jeong, Jaewoo Kang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 디지털 시대에 인공지능은 질문에 답하는 강력한 도구가 되었지만, 학습 과정에서 습득한 정적인 사실 기억에 의존한다는 근본적인 한계에 직면해 있으며, 이는 빠르게 구식되거나 불완전해질 수 있습니다. 이를 해결하기 위해 연구자들은 AI 모델이 신선한 정보를 찾기 위해 인터넷을 검색할 수 있도록 하는 시스템을 개발했는데, 이 과정을 '검색 증강 생성(retrieval-augmented generation)'이라고 합니다. 이 시스템은 마치 시험을 치르는 동안 교과서를 펼쳐 볼 수 있는 학생처럼, 여러 출처에서 증거를 수집하여 더 나은 답변을 구축합니다. 그러나 이러한 검색 가능 에이전트에는 중요한 문제가 발생했습니다. 이들은 종-종 자신의 진행 상황에 대한 감각이 부족하다는 점입니다. 이들은 자신이 어떤 정보를 성공적으로 찾아냈고, 어떤 결정적인 조각들이 여전히 누락되어 있는지 항상 알지 못합니다. 이러한 혼란은 두 가지 흔한 실패로 이어집니다. 첫째, 에이전트는 충분한 증거가 없음에도 불구하고 충분하다고 가정하여 자신 있게 틀린 답을 말할 수 있는데, 이를 '환각(hallucination)' 현상이라고 합니다. 둘째, 복잡한 문제를 해결하는 데 필요한 사실을 모두 모으기도 전에 너무 일찍 검색을 중단하고 포기할 수 있습니다.

한 연구팀은 이러한 사각지대를 해결하기 위해 설계된 '자기 평가 강화 학습(Self-Assessment Reinforcement Learning, SARL)'이라는 새로운 학습 방법을 도입했습니다. 단순히 AI가 최종 정답을 맞혔을 때 보상을 주는 대신, 이 방식은 모델이 학습하는 동안 자신의 검색 과정을 멈추고 스스로 평가하도록 가르칩니다. 학습 과정에서 모델이 답변을 시도한 후, 모델은 자신의 검색 및 추론 이력을 검토하도록 요청받습니다. 모델은 자신이 확신할 만큼 충분한 정보를 수집했는지, 아니면 무언가 누락되었는지를 결정해야 합니다. 만약 모델이 정보가 불완전하다고 판단하면 다시 검색하도록 유도되며, 완전하다고 판단하면 답변을 마무리합니다. 연구진은 모델이 이러한 자기 수정을 통해 더 나은 답변을 얻었을 때 보상을 주고, 이 자기 점검 단계를 지나치게 많이 사용하는 것에 대해 벌칙을 줌으로써, AI가 결국 이러한 인식을 내면화하도록 학습된다는 것을 발견했습니다. 모델은 명시적으로 멈춰서 자신이 끝났는지 스스로에게 묻는 과정을 더 이상 필요로 하지 않게 됩니다. 대신, 자신이 적절한 정보를 찾았는지, 그리고 계속 찾아야 하는지를 자연스럽게 인식하는 능력을 발달시킵니다.

이 접근 방식의 결과는 단일 사실을 요구하는 간단한 질문부터 다양한 출처를 샅샅이 뒤져야 하는 복잡한 연구 문제에 이르기까지 매우 다양한 어려운 과제들을 통해 테스트되었습니다. 이 테스트에서 SARL로 학습된 모델은 기존 방식들보다 유의미한 개선을 보여주었습니다. 평균적으로 기존의 가장 강력한 검색 에이전트보다 24.3% 더 높은 성능을 보였습니다. 이러한 개선은 가장 어려운 과제에서 더욱 극적으로 나타났는데, 하나의 정보가 다른 여러 조각들과 연결되어야 하는 다단계 추론 과제의 경우, 이 새로운 방법은 성능을 35.9% 향상시켰습니다. 장기간의 지속적인 검색이 필요한 심층 연구 과제의 경우 27.9%의 개선을 보였습니다. 결정적으로, 연구진은 기존 방식들이 검색 과정이 길어질 경우 불안정해지고 결국 낮은 성능으로 붕괴되는 경향이 있음을 관찰했습니다. 반면, SARL 모델은 과제가 복잡해짐에 따라 안정성을 유지하며 계속해서 개선되었고, 길을 잃거나 포기하지 않고 긴 검색 경로를 성공적으로 헤쳐 나갔습니다.

이 연구는 또한 이러한 개선이 AI의 검색 방식에 일어난 진정한 변화에서 기인했음을 밝혀냈습니다. SARL로 학습된 모델은 단순히 추측을 더 많이 하는 것이 아니라, 더 다양하고 표적화된 질문을 던졌습니다. 모델은 지식의 특정 공백을 식별하고, 그 공백을 채우기 위해 정밀한 검색 쿼리를 발행하는 법을 배웠으며, 동일한 검색을 반복하거나 조기에 멈추지 않았습니다. 이러한 행동은 모델이 생성한 고유한 검색 쿼리의 수와 모델이 질문에 필요한 관련 문서를 얼마나 자주 성공적으로 찾아냈는지를 추적함으로써 측정되었습니다. SARL 모델은 기존 모델보다 일관되게 더 많은 관련 정보를 검색하고 더 넓은 범위의 가능성을 탐색했습니다. 연구진은 이러한 성공이 단순히 AI에게 더 많은 검색 시간을 주거나 추가적인 지침을 준 덕분이 아니라, 특히 모델이 자신의 지식 상태를 인식하는 법을 배웠기 때문임을 확인했습니다. 연구진이 모델의 자기 평가를 무작위 피드백으로 대체했을 때 시스템이 개선되지 않았다는 점은, 자신의 진행 상황을 판단하는 능력이 성공의 핵심이었음을 입증합니다.

이 작업은 인간의 지속적인 감독 없이도 복잡한 정보 탐색 과제를 처리할 수 있는 더 신뢰할 수 있고 유능한 AI 비서로 향하는 길을 제시합니다. 이러한 시스템에게 자신이 무엇을 알고 무엇을 모르는지를 이해하도록 가르침으로써, 연구진은 사실을 지어낼 가능성이 낮고 진실을 찾을 때까지 끈기 있게 지속할 가능성이 높은 에이전트를 만들어냈습니다. 이 방법은 실제 시스템 사용 중에 추가적인 인간 교사나 복잡한 설정이 필요하지 않으므로, 연구 및 의사 결정 분야에서 진정으로 도움을 줄 수 있는 AI를 구축하기 위한 실질적인 진전입니다. 연구 결과는 AI가 자신의 검색 과정을 모니터링하는 법을 배울 때, 단순히 더 빠른 검색자가 되는 것이 아니라, 이전에는 결여되었던 인식 수준을 가지고 온라인에 존재하는 방대한 정보를 항해할 수 있는 더 똑똑한 검색자가 된다는 것을 나타냅니다.

기술 요약: 검색 상태 인식을 위한 자기 평가 강화 학습 기반 검색 증강 대규모 언어 모델

1. 문제 정의

검색 증강 생성(RAG)과 검색 에이전트는 대규모 언어 모델(LLM)이 외부 정보와 상호작용하여 복잡한 과제를 해결할 수 있도록 돕습니다. 그러나 현재의 검색 에이전트들은 검색 상태 인식(search-state awareness), 즉 검색 과정 중에 어떤 정보가 성공적으로 확보되었고 어떤 정보가 여전히 누락되었는지를 인식하는 능력이 부족합니다. 이러한 결핍은 두 가지 주요 실패 모드로 이어집니다:

환각 추론(Hallucinated Reasoning): 에이전트가 불충분한 증거를 바탕으로 답변을 생성하며, 검색된 문서에 의해 뒷받침되지 않는 사실을 허위로 주장함 (예: 대학이 가톨릭계인지 확인하지 않고 가톨릭 대학이라고 가정하는 경우).
조기 종료(Premature Termination): 에이전트가 충분한 증거를 수집하기 전에 검색을 중단하며, 이는 종종 현재 지식 상태의 완결성을 평가하는 능력의 부재로 인해 발생합니다.

희소한 결과 기반 보상(sparse outcome-based rewards)이나 보조 토큰(예: <refine>, <judge>)을 사용하는 기존의 시도들은 추론 과정에서의 충실성(faithfulness)을 보장하는 데 자주 실패합니다. 더욱이, 이러한 방법들은 확장된 검색 지평(long-horizon trajectories)에 적용될 때 심각한 **훈련 불안정성(training instability)**과 성능 저하를 보이는 경우가 많으며, 이는 이전에 깊이 있게 보고되지 않은 실패 모드입니다.

2. 방법론: 자기 평가 강화 학습 (SARL)

저자들은 별도의 보조 감독, 다중 에이전트 협업, 또는 추론 시 스캐폴딩(scaffolding) 없이 단일 정책 모델 내에 검색 상태 인식을 내재화하도록 설계된 강화 학습(RL) 프레임워크인 SARL을 제안합니다.

핵심 프레임워크

SARL은 표준적인 "생각-검색-답변(think-search-answer)" 루프를 자기 평가 단계로 확장합니다:

초기 궤적(Initial Trajectory): 모델은 답변으로 끝나는 초기 상호작용 궤적 $T$ 를 생성합니다.
자기 평가: 격리된 컨텍스트 내에서, 동일한 정책 $\pi_\theta$ 가 구조화된 프롬프트를 사용하여 궤적 $T$ 를 재검토하고 완료(COMPLETE) 또는 **미완료(INCOMPLETE)**라는 이진 판단을 내립니다. 이 평가는 질문의 필수 제약 조건을 식별하고, 검색된 증거에 의해 해당 제약 조건들이 해결되었는지 분석합니다.
궤적 수정:
- 만약 **완료(COMPLETE)**라면, 궤적을 확정합니다.
- 만약 **미완료(INCOMPLETE)**라면, 구조화된 평가 내용을 사용자 피드백으로 다시 주입하여, 모델이 식별된 공백을 채우기 위해 추가적인 검색 및 추론 단계를 수행하며 궤적을 확장하도록 유도합니다.

보상 설계

이러한 행동을 내재화된 능력으로 형성하기 위해, SARL은 효과성(오류 수정 학습)과 효율성(자기 평가에 대한 과도한 의존 방지) 사이의 균형을 맞추는 이중 보상 메커즘을 채택합니다:

평가 보상 ( $r_{assess}$ ): 평가 단계 전후의 답변 정확도 변화를 바탕으로 미세한 피드백을 제공합니다:
- $+1.0$ : 오답 $\to$ 정답 (수정 성공)
- $+1.0$ : 정답 $\to$ 정답 (충분한 증거 확보 검증)
- $-0.1 $: 오답$ \to$ 오답 (비생산적 평가)
- $-2.0 $: 정답$ \to$ 오답 (퇴보)
  이 비대칭적 설계는 수정 행동에는 강력한 보상을 주는 동시에, 퇴보에는 페널티를 부여합니다.
평가 페널티: 총 보상에 지수적 감쇠 항 $\alpha^{n-1}$ ( $n$ 은 평가 단계 횟수)을 적용합니다. 이는 잦은 자기 평가를 억제하여, 모델이 반복적인 재시도에 의존하기보다 초기에 철저한 검색을 수행하도록 독려합니다.

총 보상은 다음과 같이 정의됩니다:
$R_{total} = r_{final} \cdot \alpha^{n-1} + \lambda r_{assess}$

프레임워크는 정책 업데이트를 위해 **그룹 상대 정책 최적화(GRPO)**를 활용하며, 그룹 평균에 상대적인 이득(advantage)을 계산하기 위해 궤적 그룹을 샘플링합니다.

3. 주요 기여

핵심 결핍 식별: 본 논문은 "검색 상태 인식"을 현재 RL 기반 검색 에이전트에서 결여된 핵심 능력으로 식별하였으며, 이전에 보고되지 않았던 실패 모드인 확장된 지평에서의 훈련 불안정성과 성능 붕괴를 밝혀냈습니다.
SARL 프레임워크: 이중 보상 메커즘에 의해 형성되는 훈련 시 자기 평가 단계를 통해 검색 상태 인식을 내재화하는 새로운 RL 프레임워크를 제안합니다. 이는 외부 판단자, 다중 에이전트 오케스트레이션, 또는 추론 시 오버헤드를 필요로 하지 않습니다.
실증적 검증: 10개의 벤치마크(단일 홉 QA, 멀티 홉 추론, 딥 리서치 포함)에 걸친 포괄적인 평가를 통해, SARL이 기존 방법론들에 비해 안정적인 훈련과 우수한 일반화 성능을 달eric함을 입증했습니다.

4. 실험 결과

저자들은 Qwen2.5-7B를 백본으로 하여 45K개의 통합 훈련 세트에서 SARL을 평가하고, 10개의 벤치마크를 통해 테스트했습니다.

성능 향상: SARL은 가장 강력한 베이스라인인 ASearcher 대비 24.3%의 상대적 개선을 달성했습니다.
- 멀티 홉 QA: 벤치마크별 베이스라인 대비 평균 35.9% 향상.
- 딥 리서치(Deep Research): 벤치마크별 베이스라인 대비 평균 27.9% 향상.
- 싱글 홉 QA: 3.9%의 완만한 향상을 보였으며, 이는 이 방법이 복잡하고 반복적인 과제에 가장 효과적임을 나타냅니다.
안정성: 확장된 지평에서 훈련 붕괴(성능이 거의 0에 가깝게 떨어지거나 검색 턴이 1회 미만으로 감소)를 겪는 AutoRefine 및 ReSeek과 같은 베이스라인과 달리, SARL은 훈련 및 검증 점수 모두에서 안정적이고 단조적인 향상을 유지합니다.
검색 행동: SARL은 베이스라인에 비해 고유한 검색 쿼리 수가 2배 증가했으며, 문서 재현율(recall) 또한 현저히 높았습니다. 이는 조기 종료 대신 누락된 정보를 능동적으로 탐색하고 있음을 나타냅니다.
일반화 가능성: SARL은 SFT+RL 파이프라인(RAG-R1) 및 다중 에이전트 프레임워크(MA-RAG)를 사용하는 방법들을 능가하며, 멀티 홉 벤치마크에서는 7B 모델을 사용하면서도 MA-RAG의 70B 파라미터 변체보다 뛰어난 성능을 보였습니다. 또한 다른 모델 제품군(Llama-3.1-8B) 및 규모(Qwen2.5-14B)로도 효과적으로 전이되었습니다.

5. 의의 및 주장

본 논문은 SARL이 추론 시 외부 피드백에 의존하지 않고 스스로 교정할 수 있는 **지식 인식 에이전트(knowledge-aware agents)**를 향한 경로를 제시한다고 주장합니다. 검색 상태 인식을 토큰 수준의 프롬프트 프로세스에서 내재된 추론 능력으로 전환함으로써, SARL은 RL만으로 정확하고 효율적인 검색 행동이 발현되도록 합니다.

저자들은 모델 스스로 정보의 공백을 식별하고 채우는 능력에 기반한 미세한 신호를 제공함으로써, 흔히 발생하는 희소 보상 RL의 "보상 해킹(reward hacking)" 및 약한 신용 할당(credit assignment) 문제를 해결한다고 강조합니다. 이 연구는 "무엇을 알고 무엇이 누락되었는지"를 인식하는 능력을 내재화하는 것이 복잡하고 긴 지평의 과제로 검색 에이전트를 확장하는 데 있어 중요한 단계임을 시사하며, 더 큰 백본이나 복잡한 추론 시 오케스트레이션에 의존하는 방식보다 우수함을 보여줍니다.

논문은 연구 범위를 겸허하게 유지하며, 본 연구가 검색 증강 질의응답에 국한되어 있음을 명시하고 있으며, 다른 도메인(예: 코드 생성)에 대한 적용 가능성은 여전히 열린 문제로 남겨두었습니다. 또한, 이 방법이 증거의 충분성을 인식하는 기본 모델의 기초 역량에 의존하고 있음을 인정하며, 이는 7B 규모에서도 신뢰할 수 있음이 경험적으로 검증되었습니다.