기술 요약: 정확성을 넘어: 검색 증강 생성(RAG)에서의 충실한 추론에 대한 보상

문제 정의

최근 검색 증강 생성(RAG)의 발전은 대규모 언어 모델(LLM)이 동적으로 계획을 세우고, 검색 엔진에 쿼리를 던지며, 검색된 증거를 바탕으로 추론하도록 강화 학습(RL)을 통해 훈련되는 "에이전트 기반 검색(agentic search)"으로 이동했습니다. 기존 방식(예: Search-R1, ReSearch)은 에피소드 수준의 결과 기반 보상(Exact Match)을 사용하여 최종 답변의 정확성 측면에서 강력한 성능을 달 정도로 성과를 거두었으나, **추론 과정의 불충실성(chain-of-thought unfaithfulness)**이라는 결정적인 한계에 직면해 있습니다.

이러한 모델들은 오로지 최종 답변만을 최적화하며, 중간 추론 단계의 품질과 무결성을 간과하는 경향이 있습니다. 이는 최종 답변은 정답일지라도, 중간 단계(사고 과정, 검색 쿼리, 증거 합성)가 논리적으로 단절되거나, 검색된 증거를 무시하거나, 정보를 환각(hallucination)하는 시나리오로 이어집니다. 본 논문은 이 분야의 공백, 즉 에이전트 기반 검색 맥락에서 **추론의 충실성(reasoning faithfulness)**에 대한 공식적인 정의 및 평가 프레임워크의 부재와, 작업 성능을 희생하지 않으면서도 충실한 중간 추적(intermediate traces)을 장려하는 훈련 메커즘의 부재를 지적합니다.

방법론

1. 충실성 평가 프레임워크

저자들은 에이전트 기반 검색 궤적의 논리적 흐름을 평가하기 위해 세 가지 구별되는 턴 단위 충실성 지표를 중심으로 하는 종합적인 평가 프레임워크를 제안합니다:

• 사고-검색 충실성(Think-Search Faithfulness): 검색 쿼리가 모델의 이전 추론으로부터 직접적이고 필연적인 결과인지(즉, "모델이 필요하다고 생각하는 것을 실제로 검색하는지")를 평가합니다.
• 정보-사고 충실성(Information-Think Faithfulness): 검색 단계 이후의 모델의 추론 블록이 새로 획득한 증거를 적절히 합성, 요약 또는 연역하는지 평가하여, 모델이 검색된 정보를 무시하거나 모순되지 않도록 합니다.
• 사고-답변 충실성(Think-Answer Faithfulness): 최종 답변이 이전 사고 블록의 누적된 지식과 추론에 의해 함의되는지를 측정하여, 최종 단계에서 검증되지 않은 정보가 도입되는 것을 방지합니다.

이 지표들은 자연어 추론(NLI) 모델과 LLM-as-a-Judge(LLMaaJ) 접근 방식을 결합하여 실행됩니다.

2. VERITAS 프레임워크

식별된 격차를 해결하기 위해, 본 논문은 VERITAS(Verifying Entailed Reasoning through Intermediate Traceability in Agentic Search)를 소개합니다. 이는 RL 훈련 루프(특히 PPO 사용)에 미세하고 구조화된 충실성 보상을 통합하는 훈련 프레임워크입니다.

• 보상 설계: 전체 보상 함수($R$)는 전통적인 결과 기반 보상($R_{EM}$)과 구조화된 충실성 보상($R_{info-think}, R_{think-answer}, R_{think-search}$)의 가중치 합입니다.
  $$R = w_{EM} \cdot R_{EM} + w_{info-think} \cdot R_{info-think} + w_{think-search} \cdot R_{think-search} + w_{think-answer} \cdot R_{think-answer}$$
  저자들은 경험적으로 $R_{think-search}$를 생략($w=0$)할 수 있음을 발견했는데, 이는 베이스라인 모델들이 이미 이 차원에서 높은 충실성을 보였기 때문이며, 이를 통해 훈련 과정을 간소화할 수 있었습니다.
• 증류된 보상 모델(Distilled Reward Model): 온폴리시(on-policy) RL에서 LLMaaJ를 사용하는 데 따르는 지연 시간과 비용 문제를 극복하기 위해, 저자들은 Qwen2.5-14B-Instruct 모델에 LoRA 파인튜닝을 적용하여 더 작은 규모의 증류된 보상 모델(RM)을 훈련했습니다. 이 RM은 정보-사고 충실성에 관한 더 큰 LLM 판사(Claude-3.7-Sonnet)의 판단을 복제하도록 훈련되었습니다.
• 커리큘럼 학습(Curriculum Learning): 모델이 탐색이나 작업 정확도를 희생하면서 충실성만을 과도하게 최적화하는 "보상 해킹(reward hacking)"을 방지하기 위해, 저자들은 커리큘럼 전략을 채택했습니다. 충실성 보상은 처음 1.5 에포크 동안 0에서 시작하여 선형적으로 워밍업되며, 이를 통해 모델이 기본 작업 성능을 먼저 학습한 후 추론의 정밀도를 높일 수 있도록 합니다.

주요 기여

1. 공식적 정의 및 평가: 본 논문은 에이전트 기반 검색에서의 충실성에 대한 최초의 공식 평가 프레임워크를 구축하고, 사고-검색, 정보-사고, 사고-답변 충실성이라는 세 가지 특정 차원을 정의하고 정량화했습니다.
2. 베이스라인 분석: 선도적인 RL 기반 검색 에이전트(Search-R1, ReSearch, DeSA)에 대한 광범한 평가를 통해, 저자들은 결정적인 괴리를 밝혀냈습니다. 즉, 높은 작업 정확도가 높은 추론 충실성을 보장하지는 않는다는 것입니다. 특히, 순수 결과 기반 보상으로 훈련된 모델들은 검색된 증거를 추론에 통합하는 데 실패하는 경우가 많았습니다(낮은 정보-사고 충실성).
3. VERITAS 훈련 패러다임: 저자들은 구조화된 체크리스트 스타일의 충실성 보상을 RL 훈련에 포함시키는 VERITAS를 제안하고 검증했습니다. 이 접근 방식은 최종 작업 정확도를 유지하거나 향상시키면서 추론 충실성을 성공적으로 개선합니다.

실험 결과

저자들은 7개의 QA 벤치마크(NQ, TriviaQA, PopQA, HotpotQA, 2Wiki, MuSiQue, Bamboogle)에 대해 VERITAS-R1(VERITAS 프레임워크로 훈련된 Search-R1)을 베이스라인들과 비교 평가했습니다.

• 충실성 개선: VERITAS-R1은 충실성 지표를 유의미하게 향상시켰습니다. 예를 들어, 일반 QA 데이터셋에서 정보-사고 충실성은 0.734(베이스라인)에서 0.853으로 증가했습니다. 사고-답변 충실성 또한 멀티홉(multi-hop) 데이터셋에서 주목할 만한 이득을 보였습니다.
• 작업 성능: 충실성을 강제하는 것이 성능을 제한할 것이라는 가설과 달리, VERITAS-R1은 베이스라인 Search-R1보다 높은 Exact Match(EM) 점수를 달성했습니다. 멀티홉 데이터셋에서 평균 EM은 0.361에서 0.380으로 향상되었습니다.
• 절제 연구(Ablation Studies):
  • 보상 구성 요소: 정보-사고 보상이 충실성과 정확도 모두를 개선하는 가장 안정적인 동력임이 밝혀졌습니다.
  • 커리큘럼 학습: 커리큘럼 없이 훈련할 경우(충실성 보상을 즉시 적용할 경우) 보상 해킹이 발생하여 최종 EM 점수가 낮아졌으며, 이는 워밍업 전략의 필요성을 확인시켜 주었습니다.
  • 보상 모델: 증류된 Qwen2.5-14B RM은 인간의 주석 및 더 큰 판사 모델과 높은 일관성(0.910)을 보였으며, 이는 확장 가능한 대리 모델로서의 사용성을 입증합니다.

의의 및 주장

본 논문은 추론 과정을 보상하는 것이 성능과의 트레이드오프를 일으키는 것이 아니라, 오히려 긍정적인 시너지를 창출한다고 주장합니다. 순수 결과 기반 보상에서 구조화되고 세밀한 충실성 보상으로 전환함으로써, 저자들은 더 정확할 뿐만 아니라 더 투명하고 신뢰할 수 있는 에이전트를 개발하는 것이 가능하다는 것을 입증했습니다.

이 연구는 중간 추론 단계에 대한 **구조적 감독(structured supervision)**의 가치를 강조합니다. 결과 중심의 보상이 포화 상태에 다다름에 따라, 에이전트 시스템의 다음 개선 축은 더 풍부하고 세밀한 평가 신호(루브릭/체크리스트)에 컴퓨팅 자원을 투자하고 이러한 신호를 훈련 루프에 다시 전달하는 데 있다는 것을 시사합니다. 저자들은 VERITAS를 엄격한 증거 합성 및 논리적 일관성이 요구되는 시나리오에 배치될 수 있는, 더욱 신뢰할 수 있는 AI 에이전트를 개발하기 위한 단계로 위치시킵니다.