💬 NLP

GoLongRL: Capability-Oriented Long Context Reinforcement Learning with Multitask Alignment

GoLongRL 는 23K 개의 다양한 RLVR 샘플로 구성된 능력 중심 데이터셋과 이질적 다중 작업 최적화를 위한 새로운 TMN-Reweight 알고리즘을 통해 장기 컨텍스트 강화 학습을 강화하는 오픈소스 프레임워크로, 선도적인 폐쇄형 모델과 견줄 만한 성능을 달성합니다.

원저자: Minxuan Lv, Tiehua Mei, Tanlong Du, Junmin Chen, Zhenpeng Su, Ziyang Chen, Ziqi Wang, Zhennan Wu, Ruotong Pan, jian Liang, Ruiming Tang, Han Li

게시일 2026-05-20

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Minxuan Lv, Tiehua Mei, Tanlong Du, Junmin Chen, Zhenpeng Su, Ziyang Chen, Ziqi Wang, Zhennan Wu, Ruotong Pan, jian Liang, Ruiming Tang, Han Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

매우 똑똑하지만 집중력이 짧은 학생에게 책 한 장이 아닌 방대한 도서관의 책들을 읽고 이해하는 법을 가르친다고 상상해 보세요. 이것이 바로 '장문맥(long-context)' AI 가 직면한 과제입니다. GoLongRL 논문은 이러한 AI 모델을 훈련하기 위한 새로운 레시피를 제시하며, 두 가지 주요 문제에 초점을 맞춥니다: 무엇을 가르칠 것인가 (데이터) 와 숙제를 어떻게 채점할 것인가 (알고리즘).

간단한 비유를 들어 내용을 정리해 보겠습니다:

1. 문제: 기존 방식은 너무 협소했습니다

긴 책을 읽는 AI 를 훈련시키던 이전 방법들은 마치 학생에게 '건초더미 속의 바늘 찾기' 퍼즐만 훈련시키는 것과 같았습니다.

문제점: 그들은 AI 가 긴 텍스트 속에 숨겨진 특정 사실을 찾아내도록 데이터를 만들었습니다. 이는 AI 가 바늘을 찾는 데는 도움이 되었지만, 건초더미 전체를 요약하거나 가장 중요한 부분을 순위 매기거나 복잡한 이야기를 이해하는 법을 가르치지는 못했습니다.
결과: AI 는 특정 사실을 찾는 데는 능숙해졌지만, 소설을 요약하거나 엉망진창인 보고서를 정리하는 것과 같은 다른 기술에서는 형편없었습니다. 마치 사전에서 특정 단어를 찾을 수는 있지만 에세이를 쓸 수는 없는 학생과 같았습니다.

2. 해결책: '역량 중심' 커리큘럼

GoLongRL 의 저자들은 단순히 '바늘 찾기'를 만드는 것을 멈추고, 똑똑한 독자가 필요로 하는 9 가지 역량을 기반으로 한 종합적인 커리큘럼을 구축하기로 결정했습니다.

데이터셋 (교과서): 그들은 23,000 개의 연습 문제 데이터셋을 새로 구축했습니다.
- 가짜가 아닌 실제 책: 가짜 이야기를 만들어낸 대신, 실제 책, 학술 논문, 법률 문서를 사용했습니다. 그들은 AI 에게 이러한 실제 텍스트에 관한 질문을 생성하도록 요청했습니다. 이를 통해 AI 는 인간이 작성하는 복잡하고 자연스러운 방식을 처리하는 법을 배우게 됩니다.
- 9 가지 역량: 데이터셋은 다음과 같은 다양한 작업을 다룹니다:
  - 정밀 검색: 특정 사실 찾기.
  - 요약: 긴 장을 몇 문장으로 압축하기.
  - 순위 매기기: 여러 검색 결과 중 가장 유용한 것을 결정하기.
  - 추론: 재무 보고서 안에 있는 수학 문제 풀기.
- 비유: 학생에게 10,000 개의 동일한 '빨간 공 찾기' 시험지를 주는 대신, 10,000 개의 시험지 혼합물을 준다고 상상해 보세요. 어떤 것은 빨간 공을 찾게 하고, 어떤 것은 경기 내용을 요약하게 하고, 어떤 것은 선수들을 순위 매기게 하며, 다른 어떤 것은 점수에 관한 수학 문제를 풀게 합니다.

결과: 화려한 새로운 수학 트릭 없이도, 단순히 이 더 나은 '커리큘럼'을 사용함으로써 AI 는 최상위 폐쇄형 소스 경쟁자 (QwenLong-L1.5) 보다 더 나은 성능을 발휘했습니다.

3. 알고리즘: '공정한 채점' 시스템 (TMN-Reweight)

다양한 커리큘럼을 갖추었다면, 학생을 공정하게 채점할 방법이 필요합니다. 표준 채점 방법 (GRPO 라고 함) 은 다양한 유형의 질문을 다룰 때 결함이 있었습니다.

문제점: 수학 문제 하나를 맞추면 100 점을 주고, 독해 문제 하나를 맞추면 1 점을 주는 수학 시험을 상상해 보세요. 이를 섞으면 수학 문제가 학생의 뇌를 지배하게 되어 독해를 무시하게 됩니다. 또한, 문제가 매우 어렵다면 표준 채점 방식이 혼란을 겪어 운 좋은 추측에 대해 학생에게 지나치게 많은 점수를 주거나, 거의 맞춘 것에 대해 너무 적은 점수를 줄 수 있습니다.
해결책 (TMN-Reweight): 저자들은 두 단계로 이루어진 새로운 채점 시스템을 고안했습니다:
1. 경쟁 환경 평준화 (작업 수준 정규화): 수학 문제에서 '완벽한' 점수가 순위 매기기 문제에서 '완벽한' 점수와 동일한 느낌을 주도록 점수를 조정했습니다. 이는 숫자가 작아 보인다는 이유만으로 AI 가 어려운 작업을 무시하는 것을 막습니다.
2. 노력 집중 (난이도 적응형 재가중):
  - 학생이 쉬운 문제를 맞히면, 선생님은 "잘했어, 하지만 너는 이미 알고 있었지"라고 말하며 더 작은 보상을 줍니다.
  - 학생이 어려운 문제를 맞히면 (이는 드문 일임), 선생님은 "와, 정말 어려웠지! 그걸 찾아낸 게 훌륭해!"라고 말하며 거대한 보상을 줍니다.
  - 학생이 어려운 문제를 틀리면, 선생님은 화내지 않고 "다시 시도해 보자"라고 말하며 학생이 낙담하지 않도록 벌점을 줄입니다.

비유: 이는 단순히 점수만 세는 코치와 같습니다. 코치는 플레이의 난이도에 따라 점수를 조정하고, 실행하기 어려웠던 플레이에 특히 많은 칭찬을 집중합니다. 이는 AI 가 모든 역량에 걸쳐 더 빠르고 균일하게 학습하도록 돕습니다.

4. 결과: 균형 잡힌 학생

이 새로운 방법을 테스트했을 때:

모든 면에서 향상: AI 는 '바늘 찾기'뿐만 아니라 9 가지 역량 전반에서 크게 향상되었습니다.
트레이드오프 없음: 보통 학생을 한 가지 일 (긴 책 읽기) 에 뛰어나게 훈련시키면 다른 일 (일반 논리나 기억력) 에서는 능력이 떨어집니다. 그러나 이 방법은 긴 문맥 읽기를 가르치는 동시에 AI 의 일반적 추론 및 기억 능력을 실제로 향상시켰습니다.
오픈 소스: 저자들은 누구나 사용할 수 있도록 전체 '커리큘럼'(데이터셋), '교수 계획'(코드), '채점 기준'(알고리즘) 을 공개했습니다.

요약

GoLongRL은 (바늘 찾기 같은) 지루하고 반복적인 훈련에서 (읽기, 요약, 순위 매기기, 추론과 같은) 풍부하고 다양한 커리큘럼으로 AI 의 교육을 업그레이드하는 것과 같습니다. 여기에 학생을 더 밀어붙일 때와 휴식을 줄 때를 아는 공정하고 똑똑한 채점 시스템이 결합되었습니다. 그 결과 AI 는 단순한 사실 찾기가 아닌, 진정한 장문 형식 사고자가 되었습니다.

기술 요약: GoLongRL

문제 정의

대형 언어 모델 (LLM) 이 사전 학습과 중간 학습을 통해 컨텍스트 창을 빠르게 확장해 왔음에도, 사후 학습 과정에서 이러한 확장된 컨텍스트를 효과적으로 활용하는 것은 여전히 병목 현상으로 남아 있습니다. 기존 장문맥 추론을 위한 강화 학습 (RL) 접근법은 두 가지 주요 한계를 겪고 있습니다:

좁은 데이터 커버리지: 현재 방법론들은 종종 복잡한 검색 경로 (예: UUID 체인, 청크 기반 QA) 를 중심으로 데이터를 구성하여 동질적인 작업 커버리지를 초래합니다. 이로 인해 요약, 순위 매기기, 집계, 구조화된 추론과 같은 핵심 역량에 대한 감독이 부족합니다.
다중 작업 환경에서의 최적화 불안정성: 표준 그룹 상대 정책 최적화 (GRPO) 는 서로 다른 보상 지표 (예: EM, F1, NDCG, ROUGE-L) 를 가진 이질적인 작업에 적용될 때 어려움을 겪습니다.
- 난이도 편향: 프롬프트별 정규화 (표준 편차 $\sigma_u$ 로 나눔) 는 쉬운 프롬프트와 어려운 프롬프트의 이점을 과장하는 반면, 중간 난이도 샘플은 억제할 수 있습니다.
- 작업 간 스케일 불일치: 서로 다른 보상 지표는 다양한 분산 프로파일을 보입니다. 적절한 정규화 없이는 고분산 작업이 기울기 업데이트를 지배하여 최적화 경로를 왜곡할 수 있습니다.

방법론

1. 역량 중심 데이터 구축

저자들은 프롬프트에 단순히 길이를 주입하는 대신, 9 가지 핵심 장문맥 역량에 대한 분류 체계에 guided 된 데이터 구축 프레임워크를 제안합니다.

데이터셋 구성: 22,965 개의 RLVR (검증 가능 보상을 통한 강화 학습) 샘플로 구성된 완전 오픈소스 데이터셋.
- 출처: 확립된 코퍼스 (예: LongBench Pro, CLongEval) 에서 약 14K 개의 선별된 오픈소스 샘플과 실제 문서 (책, 학술 논문, 법적 서류) 에서 QA 쌍을 생성한 9K 개의 합성 샘플.
- 작업 분류 체계: 이 데이터셋은 정밀 검색, 이해, 포괄적 검색, 수치적 추론, 구조화된 추출, 구조화된 매칭, 등급별 순위 매기기, 시퀀스 순서 지정, 요약 등 9 가지 작업 유형 (T1–T9) 을 포괄합니다.
- 보상 정렬: 각 작업은 단일 이진 신호로 축소하는 대신 자연스러운 평가 지표 (예: 순위 매기기를 위한 NDCG, 포괄적 검색을 위한 F1, 요약을 위한 ROUGE-L) 와 짝을 이룹니다.
구축 파이프라인: 소스 수집, 작업 중심 필터링, 다단계 품질 관리 (Gemini-2.5-Pro 및 DeepSeek-V3.2 와 같은 모델 사용) 를 통한 샘플 구축, 그리고 벤치마크 진단에 기반한 반복적 정제를 포함하는 4 단계 프로세스.

2. TMN-Reweight 알고리즘

이질적인 보상에서 발생하는 최적화 문제를 해결하기 위해, 본 논문은 TMN-Reweight(난이도 적응형 재가중치를 통한 작업별 평균 정규화) 을 소개합니다.

1 단계: 작업별 평균 정규화: 프롬프트별 표준 편차 ( $\sigma_u$ ) 로 정규화하는 대신, 이는 스케일 보정과 난이도 증폭을 혼동하므로, 작업별 집계 표준 편차 ( $\sigma_{task}$ ) 로 정규화합니다. 이는 특정 작업 내의 프롬프트별 표준 편차들의 제곱평균제곱근으로 계산됩니다. 이는 작업 간 스케일 차이를 줄이면서 각 작업 내 상대적 이점 크기는 유지합니다.
2 단계: 난이도 적응형 재가중치: 작업 내 난이도 편향을 보정하기 위해, 이 방법은 프롬프트별 및 작업별 기준선 사이를 보간하는 부드러운 통과율을 사용하여 프롬프트 난이도를 추정합니다.
- 4 분면 기울기 재할당: 난이도 가중치 ( $w$ $w$ ) 는 비대칭적으로 적용됩니다:
  - 어려운 프롬프트 ( $w > 1$ ) 의 경우: 희귀한 성공적인 롤아웃을 강화하기 위해 양의 이점을 증폭시키고, 불안정성을 유발하는 기울기를 줄이기 위해 음의 이점은 ( $1/w$ ) 로 축소합니다.
  - 쉬운 프롬프트 ( $w < 1$ ) 의 경우: 확률 집중을 방지하기 위해 양의 이점을 감쇠시키고, 예상치 못한 실패로부터의 학습을 증가시키기 위해 음의 이점을 증폭시킵니다.

주요 기여

오픈소스 역량 중심 데이터셋: 이질적인 보상 함수를 가진 9 가지 다양한 작업 유형을 포괄하는 23K 샘플 데이터셋 출시. 저자들은 이 데이터만으로 학습한 것 (바닐라 GRPO 사용) 이 4B 및 30B 스케일 모두에서 폐쇄형 QwenLong-L1.5 데이터셋보다 성능이 우수함을 입증했습니다.
TMN-Reweight 알고리즘: 작업 간 보상 스케일 불일치와 난이도에 의한 이점 편향을 동시에 완화하는 새로운 최적화 전략입니다. 별도의 가치 네트워크가 필요 없이 바닐라 GRPO 대비 일관된 성능 향상을 제공합니다.
일반화 능력 보존: 이 프레임워크는 역량 중심 데이터를 사용한 장문맥 RL 이 훈련 중 보지 못한 에이전트 메모리 및 장기 대화 벤치마크로의 전이를 포함하여 일반 추론 및 메모리 역량을 보존하거나 향상시킨다는 것을 보여줍니다.

결과

벤치마크 성능:
- Qwen3-4B-Thinking 모델에서, 역량 중심 데이터셋과 바닐라 GRPO 로 학습한 결과 장문맥 벤치마크 평균이 53.0 에서 62.2 로 상승하여 QwenLong-L1.5(59.4) 를 능가했습니다. TMN-Reweight 을 추가하면 평균이 63.0 으로 추가로 향상되었습니다.
- Qwen3-30B-A3B 모델에서, 데이터셋은 평균을 60.1 에서 69.8 로 향상시켰습니다 (QwenLong-L1.5 의 67.2 대비).
- 이 데이터로 학습된 모델은 DeepSeek-R1-0528 및 Qwen3-235B-A22B-Thinking-2507 과 같은 훨씬 더 큰 폐쇄형 모델들과 장문맥 벤치마크에서 비교 가능한 성능을 달성합니다.
애블레이션 연구:
- 데이터셋 자체가 성능 향상의 주요 동인으로 식별되었으며, TMN-Reweight 은 CorpusQA 와 같은 집계 집약적 작업에서 특히 4B 모델에서 0.8 점의 일관되지만 modest 한 추가 부스트를 제공했습니다.
- 하이퍼파라미터 $\alpha$ (프롬프트 수준 및 작업 수준 난이도 추정 간의 균형을 제어) 는 0.8 에서 가장 잘 작동합니다.
일반 역량: MMLU-Pro, AIME24/25, GPQA 에 대한 평가는 일반 추론 역량이 보존되거나 향상됨을 보여줍니다. 에이전트 메모리 (Memory-Vec, Memory-Rec_Sum) 및 대화 메모리 (LongMemEval) 에서 유의미한 향상이 관찰되었습니다.
길이 외삽: 160K 컨텍스트로 학습된 모델은 최대 1M 토큰까지의 평가 시퀀스에 효과적으로 일반화되어 모델 스케일 전반에 걸쳐 일관된 향상을 보입니다.

의의 및 주장

본 논문은 데이터 커버리지와 보상 다양성이 종종 알고리즘적 개선만으로는 더 중요할 수 있는 장문맥 RL 의 주요 병목 현상이라고 주장합니다. 검색 중심의 데이터 구축에서 역량 중심의 분류 체계로 전환함으로써, 저자들은 광범위한 장문맥 작업에 유익한 더 풍부한 학습 신호를 제공합니다.

이 연구는 더 넓은 커버리지와 더 큰 보상 다양성이 표준 RL 알고리즘으로도 장문맥 역량 향상에 상당한 이점을 준다고 시사합니다. 또한, 제안된 TMN-Reweight 은 이질적인 다중 작업 환경을 위한 안정적인 최적화 메커니즘을 제공하여, 장문맥 학습의 이점이 일반 추론 또는 메모리 저하의 대가를 치르지 않도록 보장합니다. 데이터셋, 구축 파이프라인, 학습 코드를 포함한 모든 자원은 추가 연구를 촉진하기 위해 공개적으로 출시되었습니다.