💬 NLP

LongR: Unleashing Long-Context Reasoning via Reinforcement Learning with Dense Utility Rewards

LongR는 동적인 "사고 및 읽기(Think-and-Read)" 메커니즘을 상대적 정보 이득에 기반한 문맥 밀도 보상과 통합함으로써 LLM의 긴 문맥 추론 능력을 향상시키는 통합 프레임워크로, 다양한 벤치마크와 강화 학습 알고리즘 전반에서 상당한 성능 향상을 달성한다.

원저자: Bowen Ping, Zijun Chen, Yiyao Yu, Tingfeng Hui, Junchi Yan, Baobao Chang

게시일 2026-02-06

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Bowen Ping, Zijun Chen, Yiyao Yu, Tingfeng Hui, Junchi Yan, Baobao Chang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 문제: "건초더미 속 바늘 찾기" 함정

당신이 수백만 권의 책이 들어있는 도서관( "긴 문맥(long context)") 속에서 단서를 찾아 미스터리를 해결하려는 탐정이라고 상상해 보세요.

과거의 방식 (표준 AI): AI는 도서관 전체를 한꺼번에 읽으려고 시도합니다. 하지만 종종 과부하가 걸리곤 하죠. 구체적인 질문을 받았을 때, 초반에 본 몇 단어에 의존해 추측하거나, 실제로 해당 페이지를 찾지 못했음에도 불구하고 그냥 답을 지어내 버리기도 합니다. 이는 마치 소설의 표지와 첫 장만 훑어보고 특정 문장을 찾아내려는 것과 같습니다.
현재 AI의 고충: 강화 학습(AI가 시행착오를 통해 배우는 방식)을 사용하더라도, 보통 최종 답변이 맞았을 때만 마지막에 "보상"을 받습니다. 이는 학생에게 "50단계의 방정식 과정을 헤매고 있는 동안에는 아무런 도움도 주지 않으면서, 마지막 문제만 맞히면 A 학점을 주겠다"라고 말하는 것과 같습니다. AI는 어떤 단계가 좋았고 어떤 단계가 나빴는지 알 수 없기 때문에, 긴 문서를 효과적으로 읽는 법을 배우는 데 어려움을 겪습니다.

해결책: LongR (생각하고 읽기)

저자들은 LongR이라는 새로운 시스템을 만들었습니다. 이것은 AI에게 **"생각하고 읽기(Think-and-Read)"**라는 새로운 학습 습관을 가르치는 것이라고 생각하면 됩니다.

단순히 추측하거나 맹목적으로 모든 것을 읽는 대신, LongR은 AI에게 다음과 같이 가르칩니다:

생각하기: "베카(Becca)가 어디에 사는지 알아내야 해."
읽기: "좋아, 베카가 언급된 텍스트 부분으로 점프하자."
다시 생각하기: "아, 찾았다. 그녀는 2층이 아니라 4층에 살아."

이 과정은 연속적인 루프로 일어납니다. AI는 답변을 찾을 때까지 자신의 추론을 잠시 멈추고 문서를 확인한 뒤, 다시 추론으로 돌아가는 과정을 반복합니다.

핵심 비결: "밀도 높은 보상 (Dense Reward)"

AI는 어떻게 이 방법을 배울까요? 논문은 특별한 보상 시스템을 소개합니다.

과거의 보상 (희소한 보상/Sparse Reward): "답을 맞혔니? 맞았으면 잘했어. 틀렸으면 다시 해봐." 이는 긴 문서를 다루기에는 너무 막연합니다.
LongR의 보상 (밀도 높은 효용/Dense Utility): 논문은 **상대적 정보 이득(Relative Information Gain)**이라는 영리한 기법을 사용합니다.
- 비유: AI가 "단어 맞히기" 게임을 하고 있다고 상상해 보세요.
  - 만약 AI가 이미 명확한 단어(예: "하늘은 푸르다")를 맞혔다면, 문서가 새로운 것을 가르쳐주지 않았기 때문에 0점을 받습니다.
  - 만약 AI가 문서의 특정 문장을 읽기 전까지는 완전히 미스터리였던 단어(예: "베카는 4층에 산다")를 맞혔다면, 높은 점수를 받습니다.
- 이것이 중요한 이유: 이는 AI가 지루하고 당연한 내용을 읽으며 시간을 낭비하지 않고, 텍스트 속에 숨겨진 구체적이고 독특한 사실들을 적극적으로 찾아내도록 유도합니다. 즉, 단순히 건초더미를 들고 있는 것이 아니라, 그 안에서 '바늘'을 찾는 것에 보상을 주는 것입니다.

학습 방법 (커리큘럼)

아기를 바로 깊은 수영장에 던져 넣을 수는 없습니다. 논문은 커리큘럼 학습(Curriculum Learning) 방식을 설명합니다.

작게 시작하기: 먼저 짧은 이야기(예: 16,000 단어)를 읽는 법을 가르칩니다.
난이도 높이기: AI가 짧은 이야기에 익숙해지면, 길이를 32,000 단어로 서서히 늘려나갑니다.
특수 학습 데이터 불필요: 특수한 "긴 문서용" 예시를 작성하기 위해 사람을 고용할 필요가 없었습니다. AI는 오로지 게임을 플레이하고(강화 학습) 적절한 보상을 얻음으로써 "생각하고 읽기" 습관을 스스로 배웠습니다.

결과: 어떤 일이 일어났는가?

논문은 이 방식을 여러 가지 "긴 문맥" 테스트(LongBench, RULER, InfiniteBench)에 적용했습니다.

정확도 향ance: LongR은 기존 방식보다 성능을 약 9% 향상시켰습니다. 거대한 텍텍스트 속에서 특정 사실을 찾아내는 능력이 훨씬 좋아졌습니다.
"속임수" 없음: AI가 점수를 얻기 위해 방대한 양의 텍스트를 통째로 복사하는 방식으로 보상 시스템을 "속이려" 할 수도 있다는 큰 우려가 있었습니다. 하지만 논문은 이런 현상이 발생하지 않았음을 보여줍니다. AI는 필요한 문장(바늘)만을 정확하게 인용하며, 책 전체를 쏟아내지 않고 정교하게 행동하는 법을 배웠습니다.
어디서나 작동: 이 방법은 다양한 유형의 AI 모델 및 서로 다른 학습 알고리즘과 잘 작동하여, 매우 견고한 도구임을 입증했습니다.

요약

LongR은 학생에게 단순히 최종 성적만 주는 것이 아니라, 형광펜과 체크리스트를 쥐여주는 것과 같습니다. 이는 AI가 확신이 없을 때마다 출처를 확인하도록 가르치며, 퍼즐을 푸는 데 유용한 정보를 찾아낸 것에 대해 구체적으로 보상합니다. 이를 통해 AI는 길을 잃거나 내용을 지어내지 않고도 방대한 양의 텍스트를 처리할 수 있습니다.

기술 요약: LongR – 밀집 유틸리티 보상을 통한 강화 학습 기반의 장문 맥락 추론 능력 극대화

1. 문제 정의

강화 학습(RL)은 특히 수학과 같은 도메인에서 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 데 효과적임이 입증되었습니다. 그러나 장문 맥락 시나리오(예: 긴 대화 이해, 구조화된 데이터 분석)에 RL을 적용하는 것은 독특한 과제를 안겨줍니다. 이러한 환경에서의 주요 어려움은 단순히 토큰 소비의 문제가 아니라, 광범위한 콘텐츠에 대해 엄격한 연역을 수행하는 것입니다.

기존 방식들은 두 가지 주요 한계점에 직면해 있습니다:

보상 희소성 (Reward Sparsity): 표준 RL은 희소한 결과 중심 보상(예: 최종 답변의 정답 여부)에 의존합니다. 장문 맥락 작업에서 이러한 신호는 맥락적 근거(contextual grounding)를 위한 복잡한 추론 과정을 효과적으로 가이드하기에는 너무 거칠며, 이로 인해 맥락 근거 확보를 위한 그래디언트 소실(vanishing gradients)이 발생합니다.
구조적 제약 (Structural Constraints): 희소성을 완화하려는 최근의 연구들(예: LongRLVR)은 문서를 이산적인 청크(chunk)로 사전 분할하고 모델이 특정 청크 식별자를 출력하도록 훈련해야 합니다. 이러한 경직된 분할은 정보의 무결성을 해칠 위험이 있고, 인위적인 데이터 구축 오버헤드를 발생시키며, "찾아보기(looking up)"와 "추론하기(reasoning)"를 분리하여 모델이 자연스럽지 않은 출력 형식을 강요하게 됩니다.

본 논문이 다루는 핵심 문제는, 엄격한 분할 없이 표준 자기회귀 생성 내에서 장문 맥락 추론을 어떻게 강화할 것인가, 그리고 모델이 관련 증거를 향해 나아가도록 어떻게 밀집되고 정보가 풍부한 피드백을 제공할 것인가 하는 것입니다.

2. 방법론: LongR 프레임워크

LongR는 표준 자기회귀 생성 내에서 작동하며 세 가지 핵심 메커니즘을 통합하는 통일된 프레임워크를 제안합니다.

A. 동적 "생각-및-읽기(Think-and-Read)" 메커니즘

문서를 사전에 분할하는 대신, LongR는 모델이 사고의 연쇄(chain of thought) 내에서 추론 단계와 문서 참조(증거 추출)를 직접 교차하여 수행하도록 유도합니다.

프로세스: 모델은 추론 단계(내부 사고)와 근거가 있는 증거 추출(문서에서의 인용)이 번갈아 나타나는 궤적(trajectory)을 생성합니다.
이점: 이는 인간의 인지 과정을 모방하며, 원본 정보의 무결성을 보존하고, 이산적인 청크 식별자나 특수한 출력 형식을 사용할 필요를 제거합니다.

B. 상대적 정보 이득을 통한 맥락 밀도 보상

보상 희소성 문제를 해결하기 위해, LongR는 **상대적 정보 이득(Relative Information Gain)**에 기반한 밀집 보상 신호를 도입합니다.

개념: 본 프레임워크는 추출된 증거에 대한 불확실성을 맥락이 얼마나 감소시키는지 측정함으로써, 검색된 문서 세그먼트의 유용성을 정량화합니다.
구현:
1. 동결된 검증 모델(예: Qwen3-4B)이 맥락이 있는 경우( $P(s_k|c)$ )와 맥락이 없는 경우( $P(s_k)$ )의 생성된 세그먼트 $s_k$ 의 확률을 추정합니다.
2. 유용성은 음의 로그 가능도(NLL) 감소량을 사용하여 계산됩니다: $Score(s_k, c) = L(s_k) - L(s_k|c)$ .
3. 정규화: 규모 불변성(scale invariance)을 보장하고 모델이 장황하거나 난해한 텍스트를 생성하여 보상을 편취(gaming)하는 것을 방지하기 위해, 점수를 사전 불확실성으로 정규화하여 상대적 정보 이득을 산출합니다:
  $r(s_k, c) = 1 - \frac{L(s_k|c)}{L(s_k)}$
4. 최종 궤적 보상은 모든 고유 인용구에 대한 이 점수들의 평균입니다. 인용구가 생성되지 않으면 보상은 0입니다.

C. 점진적 커리큘럼 학습 (Progressive Curriculum Learning)

비용이 많이 드는 장문 맥락 특화 데이터 엔지니어링(예: "참조 후 추론" 데모 생성)을 피하기 위해, LongR은 커리큘럼 학습 전략을 채택합니다.

모델은 점진적으로 길어지는 문서(예: 16K 토큰에서 시작하여 32K 이상으로 확장)에 노출됩니다.
이를 통해 모델은 일반적인 데이터로부터 시작하여 점차 긴 맥락을 숙달함으로써, 순수하게 RL을 통해 "생각-및-읽기" 패턴을 학습할 수 있습니다.

3. 주요 기여

LongR 프레임워크: 표준 자기회귀 생성 내에서 작동하며, 동적인 "생각-및-읽기" 메커니즘과 맥락적 밀집 보상을 통합한 장문 맥락 추론을 위한 통일된 접근법을 제안합니다.
밀집 유틸리티 감독 (Dense Utility Supervision): 상대적 정보 이득 지표를 보상 신호로 제안합니다. 이 화이트박스 형태의 정보 이론적 접근 방식은 학습된 블랙박스 보상 모델이나 경직된 문서 분할에 의존하지 않고, 검색된 맥락의 유용성에 대한 미세한 피드백을 제공합니다.
자기 학습된 추론 패턴: "생각-및-읽기" 패턴이 점진적 커리큘럼을 통해 일반적이고 쉽게 구할 수 있는 데이터로부터 습득될 수 있음을 입증하여, 비용이 많이 드는 장문 맥락 특화 지도 미세 조정(SFT) 데이터의 필요성을 제거했습니다.

4. 실험 결과

저자들은 Qwen3 제품군(4B 및 8B 파라미터)을 사용하여 LongBench v2, RULER, InfiniteBench의 세 가지 주요 벤치마크에서 LongR을 평가했습니다.

LongBench v2: LongR은 SFT 베이스라인 대비 9%의 전체 성능 향상을 달saw했으며, 결과 중심 RL(DAPO)보다 유의미한 개선을 보였습니다. Qwen3-8B 모델의 경우, 점수가 26.64(SFT)에서 36.23(LongR)으로 상승했습니다. 특히 "Hard" 질문과 "Long" 맥락 분할에서 향상이 두드러졌습니다.
RULER: LongR은 64K 및 128K 맥락 길이 모두에서 일관되게 베이스라인을 능가했습니다. 8B 모델의 경우, 64K 분할에서 평균 71.98점을 기록하여 DAPO 베이스라인보다 +16.96 높았습니다.
InfiniteBench: LongR은 가장 높은 평균 점수(8B 기준 50.18, 4B 기준 47.60)를 달성했으며, En.MC 및 En.QA와 같은 특정 서브태스크에서 상당한 개선을 보였습니다.
RL 알고리즘에 대한 강건성: 이 프레임워크는 DAPO, CISPO, GSPO를 포함한 다양한 RL 알고리즘에서 일관된 개선을 보여주며, 해당 방법론의 알고리즘 불가지론적(algorithm-agnostic) 유효성을 입증했습니다.
절제 연구 (Ablation Studies):
- 보상 설계: "상대적 밀도(Relative Density)" 보상이 "결과 중심(Outcome-only)", "절대 밀도(Absolute Density)", "임계값 밀도(Threshold Density)" 베이스라인보다 훨씬 뛰어난 성능을 보였으며, 이는 척도 불변적인 상대적 이득이 보상 해킹(reward hacking)을 방지하는 데 매우 중요하다는 것을 확인시켜 줍니다.
- 검증기 크기: 4B 검증기를 사용하는 것이 성능 향상과 계산 효율성 사이의 최적의 균형을 제공하며, 32B로 확장할 경우 수익 체감 현상이 관찰되었습니다.
- 효율성: 추론 체인 길이에 대한 분석 결과, LongR은 "길이 팽창"이나 보상 해킹(텍스트를 맹목적으로 복사하는 행위)을 유발하지 않습니다. 대신, 관련 증거를 "정교하게 추출(surgical extraction)"하도록 유도하여 토큰 수를 결과 중심 베이스라인과 비슷하거나 더 낮게 유지합니다.

5. 의의 및 주장

본 논문은 LongR이 이전 방식들의 구조적 제약을 부과하지 않으면서 장문 맥락 RL의 핵심 병목 구간인 보상 희소성을 해결한다고 주장합니다. 상대적 정보 이득을 활용함으로써, 이 프레임워크는 모델이 단순한 쿼리 매칭에 의 Rely하지 않고 가치 있는 정보를 능동적으로 찾도록 유도하는 강력하고 내재적인 신호를 제공합니다.

저자들은 LongR이 모델로 하여 다음과 같은 능력을 갖추게 한다고 강조합니다:

강력한 효율성을 가지고 광범한 맥락을 탐색함.
비용이 많이 드는 도메인 특화 데이터 엔지니어링 없이 복잡한 추론 패턴을 학습함.
경직된 문서 분할을 피함으로써 정보의 무결성을 유지함.

궁극적으로 LongR은 밀집 유틸리티 보상과 점진적 커리큘럼을 통합하는 것이 LLM의 장문 맥락 추론 잠재력을 크게 끌어올릴 수 있음을 보여주며, 더 유능한 자율 에이전트 및 추론 시스템을 향한 확장 가능한 경로를 제시합니다.