기술 요약: MAVEN - 긴 문맥 추론을 위한 증거 상태 보상 (Evidence-State Rewards)

1. 문제 정의

고도화된 대규모 언어 모델(LLM)은 점점 더 긴 문맥 창(context window)을 지원하고 있지만, 긴 입력을 수용할 수 있는 능력이 효과적인 추론을 보장하지는 않습니다. 모델은 종종 "중간에서 길을 잃는(lost in the middle)" 현상, 부분적 증거에 대한 조기 의존, 그리고 문맥의 서로 떨어진 부분에 분산된 정보를 합성하는 능력 부족 문제를 겪습니다.

기존의 강화 학습(RL) 접근 방식은 주로 결과 전용 보상(최종 답변 검증) 또는 정적 증거 식별 보상(골드 청크 선택에 보상)에 의존합니다. 저자들은 이러한 방법들이 불충분하다고 주장하는데, 그 이유는 증거를 고립된 청크나 최종 추출된 집합으로 취급하기 때문입니다. 이러한 방식은 다음과 같은 동적이고 상태 의존적인(state-dependent) 긴 문맥 추론의 특성을 포착하지 못합니다:

• 어떤 세그먼트는 다른 세그먼트가 발견된 후에야 비로소 가치가 생길 수 있습니다.
• 타당해 보이는 문서라도 나중에 나타난 증거가 이를 방해 요소(distractor)로 밝혀내면 폐기되어야 합니다.
• 개별적으로는 불충분한 조각들이 결합하여 추론의 간극을 메울 수 있습니다.

현재의 보상 체계는 진화하는 증거 상태를 구축, 수정 및 합성하는 반복적인 과정보다는, 국소적으로 타당해 보이는 증거 경로에 조기에 안착하는 것을 장려합니다.

2. 방법론: MAVEN

저자들은 **MAVEN (Marginal-Value Evidence Navigation)**을 제안하며, 이는 긴 문맥 추론을 **상태 기반 증거-메모리 탐색(stateful evidence-memory navigation)**으로 취급하는 강화 학습 프레임워크입니다. MAVEN은 고립된 추출에 보상을 주는 대신, **답변 조건부 증거-상태 가치(answer-conditioned evidence-state value)**를 정의하고 특정 액션 수준의 상태 전이에 보상을 할당합니다.

2.1 프레임워크 및 액션

정책 모델 $\pi_\theta$는 최종 답변을 생성하기 전에 편집 가능한 증거 메모리 $E_k$와 상호작용합니다. 모델은 다음과 같은 고수준 액션의 궤적(trajectory)을 생성합니다:

1. 추가 (<add>): 인용되거나 참조된 증거 스팬(span)을 메모리에 추가합니다.
2. 삭제 (<drop>): 관련 없거나, 중복되거나, 오도하는 증거 조각을 제거합니다.
3. 연결 (<link>): 두 증거 조각이 어떻게 답변을 공동으로 뒷받침하는지 설명합니다(합성).
4. 답변 (<answer>): 최종 응답을 생성합니다.

2.2 가치 함수 (Value Function)

MAVEN은 동결된 검증 모델 $p_\psi$를 사용하여 증거-상태 가치 $V_\psi(Q, E)$를 계산합니다. 이 가치는 질문 $Q$와 현재 증거 메모리 $E$가 주어졌을 때, 증거가 없는 경우와 비교하여 골드 답변 $a^*$의 음의 로그 가능도(NLL)의 상대적 감소량을 측정합니다:
$$V_\psi(Q, E) = \frac{\ell_\psi(Q, \emptyset) - \ell_\psi(Q, E)}{\ell_\psi(Q, \emptyset) + \epsilon}$$
양수 값은 해당 증거가 정답을 더 예측 가능하게 만든다는 것을 의미합니다.

2.3 액션 수준 보상 (Action-Level Rewards)

MAVEN은 GRPO (Group Relative Policy Optimization) 프레임워크 내에서 특정 액션 스팬에 프로세스 보상을 할당합니다:

• 추가 보상 ($\rho_{add}$): **온라인 조건부 답변 정보 이득(CAIG)**과 **사후 크레딧(hindsight credit)**을 결려합니다.
  • CAIG: 새로운 항목을 추가했을 때 증거 상태의 즉각적인 개선에 보상합니다.
  • 사후 크레딧: 특정 항목이 최종 유지된 증거 집합 $E_F$의 일부라면, 해당 항목을 제거했을 때 최종 가치가 얼마나 감소하는지에 따라 크레딧을 부여합니다(Shapley 방식의 근사치 사용). 이는 멀티 홉(multi-hop) 추론에서 초기 단계의 필수적인 증거가 과소 평가되지 않도록 보장합니다.
• 삭제 보상 ($\rho_{drop}$): 증거를 제거하는 것이 답변 조건부 증거 상태를 개선할 경우(즉, 방해 요소를 제거하는 경우) 보상을 줍니다. 유용한 증거를 삭제하는 경우에는 페널티를 부여합니다.
• 연결 보상 ($\rho_{link}$): 보완적인 증거들의 명시적 합성을 장려합니다. 두 조각이 개별적으로 존재할 때보다 함께 있을 때 더 가치 있는지 측정하기 위해 **쌍방향 시너지 점수(pairwise synergy score)**를 사용합니다.
• 답변 보상 ($\rho_{ans}$): 작업 성공을 보장하기 위해 정답과의 서브스트링 매칭에 기반한 이진(binary) 보상을 부여합니다.

2.4 훈련 절차

훈련은 두 단계로 진행됩니다:

1. 콜드 스타트 SFT (Cold-Start SFT): 유효한 액션 궤적에 대해 지도 미세 조정(Supervised Fine-Tuning)을 수행하여 모델에게 편집 가능한 메모리 인터페이스와 액션 문법을 가르칩니다.
2. RL 훈련: 정의된 액션 로컬 보상을 사용하여 GRPO를 통해 모델을 최적화합니다. 이 목적 함수는 프로세스 수준의 크레딧 할당을 보존하여, 잘못된 "추가" 후 교정적인 "삭제"가 이어지는 궤적이 각각 적절한 음의 및 양의 어드밴티지(advantage)를 받을 수 있도록 합니다.

3. 주요 기여

1. 한계점 식별: 저자들은 기존의 긴 문맥 RL 보상이 증거 상태 전이를 감독하는 것이 아니라 정적인 증거 추출을 감독함으로써, 잘못된 경로에 조기에 고착되는 문제를 일으킨다는 점을 식별했습니다.
2. MAVEN 프레임워크: 답변 조건부 증거-상태 가치를 정의하는 편집 가능한 증거-메모리 프레임워크를 제안합니다. 이를 통해 LLM이 상태 기반의 액션 로컬 프로세스 보상을 통해 추가, 연결, 삭제, 답변하도록 훈련합니다.
3. 실증적 검증: 다양한 모델 제품군(Llama, Qwen)과 벤치마크에서 일관된 성능 향상을 입증하였으며, MAVEN이 증거 충분성(evidence sufficiency)(골드 증거의 커버리지)을 개선하고 방해 요소 보유(distractor retention)(오도하는 증거를 유지하는 것)를 줄인다는 진단적 근거를 제공합니다.

4. 실험 결과

저자들은 Llama-3.1-8B, Qwen2.5-14B, Qwen3-30B-A3B를 대상으로 LongBench v2, LongReason, RULER에서 MAVEN을 평가했습니다.

• 성능: MAVEN은 결과 전용 RL 및 결과+증거 식별 베이스라인을 포함한 모든 베이스라인보다 일관되게 우수한 성능을 보였습니다. LongBench v2에서 MAVEN은 모델 크기에 관계없이 가장 강력한 베이스라인보다 +3.5 ~ +4.0 포인트 높은 성능을 기록했습니다.
• 긴 문맥 특이성: 성능 향상은 특히 긴 문맥 분할(예: 128K 컨텍스트)에서 두드러졌으며, 이는 MAVEN이 분산된 정보에 의존하는 답변에 매우 중요하다는 것을 시사합니다.
• 진단 지표:
  • 증거 충분성: MAVEN은 85% 이상의 충분성을 달성하여 베이스라인보다 유의미하게 높았습니다.
  • 방해 요소 보유: MAVEN은 유지된 증거 중 방해 요소에 해당하는 비율을 크게 줄였으며, 이는 모델의 메모리 수정 능력을 입증합니다.
• 절제 연구 (Ablation Studies):
  • 삭제 보상을 제거했을 때 방해 요소 보유율이 가장 높았습니다.
  • 연결 보상을 제거하면 증거 충분성이 낮아졌습니다.
  • 추가 보상을 제거했을 때 전체 점수가 가장 크게 하락했습니다.
  • 중간 단계(intermediate steps)를 무시하고 최종 증거 집합에서만 계산된 보상을 사용하는 변형 모델은 성능이 상당히 떨어졌으며, 이는 액션 로컬 프로세스 보상의 필요성을 확인시켜 줍니다.
• 일반화: MMLU-Pro 평가 결과, MAVEN 훈련이 일반적인 짧은 문맥 추론 능력을 저하시키지 않았음을 보여주었습니다.

5. 의의 및 주장

본 논문은 효과적인 긴 문맥 RL을 위해서는 단순히 증거 추출을 최적화하는 것이 아니라 증거-상태 전이를 최적화해야 한다고 주장합니다. 편집 가능한 메모리를 통한 탐색 과정으로 추론을 다룸으로써, MAVEN은 모델이 다음을 수행할 수 있게 합니다:

• 오도하는 증거를 추가했을 때 회복 (삭제 보상을 통해).
• 보완적인 정보를 합성 (연결 보상을 통해).
• 즉각적인 가치가 낮더라도 초기 증거의 필요성을 인식 (사후 크레딧을 통해).

저자들은 MAVEN을 검색(retrieval), 에이전트 워크플로우, 아키텍처적 문맥 확장과 상호 보완적인 기술로 위치시키며, 특히 추론에 사용되는 증거 상태를 구축하고 수정하는 법을 배우는 것의 병목 현상을 해결하는 데 초점을 맞추고 있습니다.

인정된 한계점:

• MAVEN은 검증기 기반 가치를 계산하기 위해 훈련 중에 골드 답변에 의존하므로, 검증 가능한 답변이 있는 작업에 직접 적용하는 데 제한이 있습니다.
• 인터페이스는 증거가 경계가 있는 텍스트 스팬으로 표현될 수 있음을 가정합니다.
• 진단용 주석은 통제된 분석을 위해 구축되었으며, 증거 품질에 대한 더 넓은 인간 평가 작업은 향후 과제로 남아 있습니다.