기술 요약: GEAR (Grounding Evidence-Aware Reward)

문제점: 긴 문맥 추론에서의 반복적 복사 (Repetitive Copying)

본 논문은 단계별 추론 능력을 갖춘 대규모 언어 모델(LLM)을 긴 문맥 작업에 적용할 때 발생하는 결정적인 실패 모드인 반복적 복사(repetitive copying) 현상을 식별합니다. 저자들은 모델이 복잡한 추론에는 뛰어나지만, 문맥 길이가 길어짐에 따라 문제를 생산적으로 해결하기보다는 입력 프롬프트의 방대한 구절을 무분별하게 추론 과정(reasoning traces)으로 복사하는 경향이 있음을 관찰했습니다.

GSM-Infinite 벤치마크를 통해 Qwen, Claude, DeepSeek 시리즈를 포함한 7개의 프런티어 LLM에 대한 체계적인 경험적 분석을 수행한 결과, 저자들은 다음을 입증했습니다:

1. 보편성: 반복적 복사는 만연하며 문맥 길이와 함께 심화됩니다 (예: 8k 토큰에서 약 20%였던 3-gram 중첩률이 64k 토큰에서는 약 70%까지 상승).
2. 성능 저하: 높은 복사율은 낮은 작업 정확도 및 현저히 늘어난 추론 길이와 강한 상관관계를 보입니다. 추론 대신 전사(transcription)에 토큰 예산을 소비하는 모델은 더 길고 유용성이 떨어지는 추론 과정을 생성합니다.
3. 근본 원인: 핵심 문제는 **불충분한 증거 근거 제시(insufficient evidence grounding)**입니다. 문제는 복사 그 자체(copying per se)가 아니라 선택성의 결여입니다. 정답을 맞힌 샘플은 작업 관련 "핵심 증거(key evidence)"와는 높은 중첩을 보이고 "방해 요소 문맥(distractor context)"과는 낮은 중첩을 보입니다. 반면, 오답 샘플은 관련 정보와 무관한 노이즈를 구분하지 못하고 양쪽 모두에서 무분별하게 복사합니다.

방법론: GEAR 및 자동화된 데이터 구축

불충분한 근거 제시 문제를 해결하기 위해, 저자들은 표준 정확도 신호에 두 가지 상호 보완적인 구성 요소를 결합한 강화 학습(RL)용 보상 형성(reward shaping) 방법인 **GEAR (Grounding Evidence-Aware Reward)**를 제안합니다.

1. 보상 설계

GEAR 보상 함수 $R(x, y)$는 다음과 같이 정의됩니다:
$$R(x, y) = R_{acc} + \alpha \cdot \text{Overlap}_n(y \| x_{key}) - \beta \cdot \text{Overlap}_n(y \| x_{dist})$$
여기서:

• $R_{acc}$: 이진 정확도 보상.
• $\text{Overlap}_n(y \| x_{key})$: 근거 보상(Grounding Reward). 추론 과정 $y$와 주석이 달린 핵심 증거 구간 $x_{key}$ 사이의 중첩을 장려합니다.
• $\text{Overlap}_n(y \| x_{dist})$: 방해 요소 페널티(Distractor Penalty). 추론 과정과 무관한 방해 요소 문맥 $x_{dist}$ 사이의 중첩에 대해 페널티를 부여합니다.
• $\alpha, \beta$: 비음수 계수 (최적화 값 $\alpha=0.1, \beta=0.3$).
• $n$: n-gram 크기 (조밀한 그래디언트 신호를 제공하기 위해 훈련 시 3으로 설정).

결정적으로, 저자들은 방해 요소 페널티 없이 근거 보상만을 사용하는 것이 해롭다는 것을 발견했습니다. 이는 모델이 방해 요소를 포함한 입력의 모든 부분으로부터 복사하도록 유도하기 때문입니다. 모델이 노이즈를 무시하면서 증거에 선택적으로 관여하도록 가르치기 위해서는 두 구성 요소가 모두 필요합니다.

2. 자동화된 증거 주석 데이터 파이프라인

정답 증거 구간(ground-truth evidence spans)이 기본적으로 존재하지 않는 자연어 데이터에 GEAR를 적용하기 위해, 저자들은 3단계 자동화 파이프라인을 개발했습니다:

1. 문서 분석: LLM이 문서를 분석하여 정보적 특성과 적절한 질문 유형을 식별합니다.
2. 증거 제약 QA 생성: 문서를 청크(chunk)로 분할합니다. 무작위로 선택된 하위 집합(1~3개 청크)을 "제약 문맥(constraint context, 핵심 증거)"으로 샘플링합니다. LLM은 이 하위 집합으로부터만 답할 수 있는 질문과 함께 정확한 증거 인용구 및 정답을 생성합니다.
3. 정답 검증: 제약 문맥만을 사용하여 질문에 다시 답합니다. 재도출된 정답이 참조값과 일치하는 경우에만 쌍(pair)을 유지하여, 질문이 지정된 증거에 모호함 없이 근거하고 있음을 보장합니다.

이 파이프라인을 통해 GSM-Infinite 및 PhantomWiki와 같은 합성 벤치마크를 보완하여 임의의 문서 코퍼스(예: RedPajama-v2)로부터 훈련 데이터를 구축할 수 있습니다.

3. 훈련 설정

저자들은 3,200개의 긴 문맥 샘플(합성 및 자연어 혼합)을 사용하여 Group Sequence Policy Optimization (GSPO) 방식으로 세 가지 Qwen3.5 모델(9B, 27B, 35B-A3B)을 훈련시켰습니다. 모델은 16k에서 32k 토큰 범위의 문맥을 사용하여 1 에포크(epoch) 동안 훈련되었습니다.

주요 결과

저자들은 32k 및 128k 문맥 길이에서 5개의 홀드아웃 벤치마크(Ruler, LongBench-v2, BrowseComp-LC, GraphWalks, AA-LCR)를 통해 GEAR를 검증했습니다.

• 성능 향상: GEAR는 정확도 전용 보상을 사용하는 표준 RL보다 일관되게 우수한 성능을 보였습니다.
  • 32k 문맥에서: 평균 +1.5 ~ +2.8 포인트 향상.
  • 128k 문맥에서: 평균 +2.1 ~ +4.6 포인트 향상.
  • 특히, 훈련 분포 길이의 4배인 128k에서 더 큰 성능 향상이 나타났는데, 이는 학습된 근거 제시 행동이 보지 못한 문맥 규모에도 견고하게 일반화됨을 시사합니다.
• 보상 구성 요소의 절제 실험(Ablation):
  • 근거 제시 전용 (+Rground): 정확도 전용 베이스라인보다 성능이 낮았습니다 (128k에서 최대 8.3 포인트 하락). 이는 복사를 증가시키고 사고 길이를 늘리지만 정확도는 개선하지 못했습니다.
  • 방해 요소 페널티 전용: 모든 복사를 억제하지만 모델을 관련 증거로 유도하지 못하므로 역시 차선의 결과를 냈습니다.
  • 전체 GEAR: 두 항의 조합만이 일관된 개선을 가져왔으며, 이는 관련 문맥과 무관한 문맥을 구분하는 것의 필요성을 확인시켜 줍니다.
• 효율성: GEAR는 반복적 복사율(중첩)과 사고 길이를 모두 줄입니다. 예를 들어, Ruler 벤치마크에서 GEAR는 GSPO 베이스라인과 비교했을 때 중첩을 36.9%(Base)에서 27.0%로 줄였고, 사고 길이를 4,290에서 2,066 토큰으로 단축했습니다.

의의 및 주장

본 논문은 긴 문맥 평가가 단순한 검색에서 복잡한 추론으로 전환됨에 따라, 관련 증거에 대한 정확한 근거 제시(grounding)가 필수적인 능력으로 남을 것이라고 주장합니다. 저자들은 긴 문맥 환경에서의 지배적인 "과잉 사고(overthinking)" 형태가 목적 없는 정교함이 아니라, 프롬프트로부터의 직접적이고 무분별한 복사라고 주장합니다.

GEAR를 도입함으로써, 본 연구는 다음을 입증했습니다:

1. 반복적 복사는 불충분한 증거 근거 제시와 연결된, 해결 가능한 특정 실패 모드입니다.
2. 방해 요소의 중첩을 명시적으로 페널티를 주고 핵심 증거 참여를 보상하는 보상 형성이 이러한 행동을 효과적으로 완화할 수 있습니다.
3. 자동화된 파이프라인은 이러한 이점을 합성 벤치마크에서 자연어 데이터로 확장하여, 수동 주석 없이도 긴 문맥 추론을 위한 확장 가능한 훈련을 가능하게 합니다.

이러한 발견은 고급 추론 모델이라 할지라도, 특정 증거 구간에 주의를 기울이고 이를 바탕으로 추론을 구성하는 능력은 현재 정확도만을 최적화하는 RL 방식이 해결하지 못하는 중요한 병목 구간임을 시사합니다.