🤖 machine learning

Sparrow: Sparse Rollout for Stable and Efficient Long-context RL of Large Language Models

이 논문은 희소-밀집 액터-정책 불일치(sparse-to-dense actor-policy mismatch)에 대한 임계값을 유지함으로써 효율적인 롱 컨텍스트 강화 학습을 안정화하는 동적 희소성 스케줄링 방법인 Sparrow를 소개하며, 이는 다양한 Qwen3 모델과 도메인 전반에서 상당한 롤아웃 속도 향상을 달행하는 동시에 경량화된 DistillSparse 증류 기술을 통해 성능을 더욱 강화한다.

원저자: Yang Zhou, Ranajoy Sadhukhan, Zhaofeng Sun, Zhuoming Chen, Souvik Kundu, Saket Dingliwal, Sai Muralidhar Jayanthi, Aram Galstyan, Haizhong Zheng, Beidi Chen

게시일 2026-06-09

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yang Zhou, Ranajoy Sadhukhan, Zhaofeng Sun, Zhuoming Chen, Souvik Kundu, Saket Dingliwal, Sai Muralidhar Jayanthi, Aram Galstyan, Haizhong Zheng, Beidi Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

문제의 핵심: "과도한 생각"이라는 병목 현상

당신이 아주 어려운 수학 문제를 풀 수 있도록 똑똑한 학생(거대 언어 모델)을 훈련시키고 있다고 상상해 보세요. 실력을 제대로 키우려면, 학생은 모든 문제에 대해 "생각을 소리 내어 말하는 것"(긴 추론 과정을 생성하는 것)을 연습해야 합니다.

이 논문은 주요한 병목 현상을 지적합니다: 이 연습 과정은 믿기 힘들 정도로 비용이 많이 들고 느립니다.

비용: 컴퓨터가 사용하는 시간과 돈의 70% 이상이 실제 학습 단계가 아니라, 학생이 단순히 "생각하는 데"(긴 답변을 생성하는 데) 소비됩니다.
현재의 해결책: 이를 가속화하기 위해 엔지니어들은 학생에게 **희소 주의집중(Sparse Attention)**을 사용하여 생각을 "훑어보라(skim)"고 시키는 방법을 시도했습니다. 이것은 학생에게 "페이지 전체를 읽지 말고, 각 단락의 첫 문장과 마지막 문장만 봐"라고 말하는 것과 같습니다.
함정: 너무 공격적으로 훑어보게 하면 학생은 혼란에 빠지고, 환각(hallucination)을 일으키며, 전체 학습 과정이 무너집니다. 반대로 너무 적게 훑어보면 시간을 절약할 수 없습니다. 지금까지는 이 "골디락스(Goldilocks)" 존(너무 과하지도, 부족하지도 않은 상태)을 찾는 것이 거의 불가능했습니다.

발견: 평균의 함정

연구진은 왜 학습이 무너지는지에 대해 놀라운 발견을 했습니다.

기존의 사고방식:
그들은 생성된 모든 단어의 평균 정확도를 측정하여 학생의 성능을 평가했습니다. 그들은 "평균이 높으면 안전하다"라고 생각했습니다.

새로운 통찰 ( "나쁜 사과" 이론):
이 논문은 평균이 거짓말을 한다고 보여줍니다.

사과 1,000개가 담긴 바구니를 상상해 보세요. 그중 990개는 완벽하고 빛나며 맛있는 사과입니다.
하지만 10개는 썩고 곰팡이가 피어 독성이 있는 사과입니다.
만약 당신이 "평균적인" 사과의 맛을 본다면 괜찮을 것입니다. 하지만 그 바구니를 민감한 위장(AI 학습 과정)에 먹인다면, 그 10개의 썩은 사과가 전체를 병들게 할 것입니다.

AI의 세계에서도 매우 공격적인 "훑어보기"(희소 주의집중)를 사용할 때, 대부분의 단어는 완벽하게 생성됩니다. 문제는 완전히 잘못된 몇몇 "보이지 않는 꼬리 부분"의 단어들입니다. 학습이 무너지는 이유는 학생이 전반적으로 못해서가 아니라, 논리를 깨뜨리는 저 몇 개의 "썩은" 토큰들 때문입니다.

해결책: "스패로우(Sparrow)" 전략

연구팀은 Sparrow(안정적이고 효율적인 롱 컨텍스트 강화학습을 위한 희소 롤아웃)라고 불리는 방법을 개발했습니다. 평균을 완벽하게 유지하려고 노력하는 대신, 그들은 가장 나쁜 단어들이 안전선 위에 머물도록 하는 데 집중했습니다.

그들이 수행한 단계별 과정은 다음과 같습니다.

1. "동적 속도 제한" (Dynamic Sparsity Scheduling)

긴 자동차 여행을 떠나는 상황을 상상해 보세요.

문제: 만약 당신이 일정한 고속(고정된 희소성)으로 100마일을 달린다면, 도로가 까다로워지는 지점에서 연료가 떨어지거나 사고가 날 수 있습니다.
해결책: Sparrow는 스마트 크루즈 컨트롤처럼 작동합니다. 학생의 "사고 과정"이 점점 길어짐에 따라, 시스템은 자동으로 규칙을 완화합니다. "좋아, 처음 1,000단어 동안은 많이 훑어봐도 돼. 하지만 다음 1,000단어 동안은 조금 더 자세히 봐야 해"라고 말하는 식입니다.
결과: 이를 통해 긴 이야기 전체에서 최악의 경우의 단어 품질(하위 5백분위수)을 일정하게 유지하여 충돌을 방지합니다.

2. 마법의 숫자 (임계값)

연구진은 다양한 크기의 AI 모델(1.7B에서 8B, 14B까지)을 테스트했습니다. 그들은 안전선을 위한 "마법의 숫자"를 찾아냈습니다.

그들은 "최악의" 5% 단어들이 특정 품질 점수(그들의 척도로 약 0.86) 이상으로 유지되는 한 학습이 안정적으로 유지된다는 것을 발견했습니다.
놀라운 점: 이 숫자는 작은 모델과 거대한 모델 모두에서 작동합니다. 이는 이러한 유형의 사고 AI를 위한 보편적인 규칙입니다.

3. 속도 향상

이러한 스마트 스케줄링을 사용하여 안전선 바로 위를 유지하면서(지나치게 조심하지 않으면서) 얻은 엄청난 속도 향상은 다음과 같습니다.

작은 모델의 경우 2.2배 빠름
중간 규모 모델의 경우 2.4배 빠름
큰 모델의 경우 2.0배 빠름
이는 AI가 같은 양의 수학 문제를 배우는 데 절반도 안 되는 시간과 비용이 든다는 것을 의미합니다.

4. "DistillSparse" 기술 (튜터/과외 선생님)

마지막으로, 그들은 DistillSparse라는 보너스 기술을 추가했습니다.

비유: 학생이 훑어보기(희소 방식)를 통해 배우려고 한다고 상상해 보세요. 보통 훑어보기는 학생을 더 못하게 만듭니다. 하지만 만약 학생이 훑어보는 동안 "튜터"(전체적이고 느린 밀집 모델)가 옆에서 올바른 답을 속삭여준다면 어떨까요?
작동 방식: 그들은 경량화된 방법인 LoRA를 사용하여 "훑어보는" 학생이 "느린" 선생님을 모방하도록 가르칩니다.
결과: 이제 학생은 코칭을 받고 있기 때문에, 정신을 놓지 않고도 훨씬 더 공격적으로 훑어볼(더 많은 단어를 건너뛸) 수 있습니다. 이는 속도 향상을 더욱 높입니다 (경우에 따라 최대 2.5배).

요약

이 논문은 몇 개의 나쁜 단어가 전체 배치를 망친다는 사실을 깨달음으로써, 길고 복잡한 작업에 대한 AI 학습 문제를 해결합니다. 모든 것을 완벽하게 만드는 대신, 그들은 다음을 수행하는 시스템을 구축했습니다:

최악의 단어들을 모니터링하여 너무 나빠지지 않도록 보장합니다.
작업이 길어짐에 따라 "훑어보기" 규칙을 동적으로 조정합니다.
"튜터"를 활용하여 AI가 정신을 잃지 않고 더 빠르게 훑어볼 수 있게 합니다.

그 결과, 이들은 최종 답변의 품질을 희생하지 않으면서도 2배에서 2.5배 더 빠르고 저렴하게 강력한 AI 사고 모델을 훈련하는 방법을 찾아냈습니다. 연구진은 이를 수학 문제와 코딩 작업에 테스트했으며, 완벽하게 작동했습니다.

기술 요약: Sparrow – 안정적이고 효율적인 롱 컨텍스트 RL을 위한 희소 롤아웃(Sparse Rollout)

문제 정의

검증 가능한 보상(Verifiable Rewards, RLVR)을 활용한 강화 학습은 수학적 추론 및 코드 생성 분야에서 최첨단 성과를 달{\야냈으나, 극심한 계산 비용이라는 한계에 직면해 있다. 단계별 훈련 비용의 70% 이상이 긴 컨텍스트의 사고 사슬(Chain-of-Thought, CoT) 롤아웃 생성에 의해 지배된다. 희소 어텐션(Sparse Attention)은 이러한 롤아웃을 가속화할 수 있는 유망한 방안이지만, 이를 데이즈 정책(Dense-policy) 훈련에 무분별하게 적용하면 심각한 안정성-효율성 트레이드오프가 발생한다. 공격적인 희소성은 심각한 액터-정책 분포 불일치(Actor-policy distribution mismatch)로 인해 훈련 붕괴를 초반에 초래하는 반면, 완만한 희소성은 충분한 속도 향상을 제공하지 못한다. 기존 연구들은 이 문제를 해결하는 데 어려움을 겪어왔다. 기존의 희소 어텐션 기술들은 인퍼런스 정확도에 초점을 맞추고 있어 안정적인 RL에 필요한 특정 토큰별 분포 불일치를 다루지 못하며, 기존의 액터-정책 정렬 방법(예: 중요도 샘플링)은 희소 롤아웃에서 발생하는 거대한 편차를 감당하기에는 불충분하다.

방법론 및 통찰

1. 꼬리 분포(Tail-Distribution)에 대한 통찰

저자들은 희소 롤아웃의 붕괴가 모든 토큰에 걸친 균등한 성능 저하에 의해 발생하는 것이 아님을 관찰했다. 대신, 매우 공격적인 희소성 하에서도 생성된 토큰의 대다수는 데이스 정책과 완벽하게 일치한다. 불안정성은 희소 모델과 데이스 모델의 행동이 크게 벌어지는 아주 적은 비율의 토큰들로부터 발생한다.

평균의 거부: 평균 수용률(Average acceptance rate)이나 L1 거리와 같은 표준 지표는 안정성을 나타내는 지표로서 부적절하다. 왜냐하면 토큰별 불일치의 분포가 1(완벽한 일치) 쪽으로 매우 치우쳐 있기 때문이다. 평균값은 훈련이 붕괴되는 상황에서도 높게 유지될 수 있다.
꼬리 통계량: 본 논문은 안정성을 위한 주요 지표로 5-백분위수 토큰 수용률(분포의 하단 꼬리)을 사용할 것을 제안한다. 이 지표는 훈련 불안정성의 진정한 원인인 가장 정렬이 잘 되지 않은 토큰들에 집중한다.

2. 동적 희소성 스케줄링 (Dynamic Sparsity Scheduling)

긴 생성 궤적(최대 37K 토크) 동안 안정성을 유지하기 위해 고정된 희소성 예산은 불충분하다. 왜냐하면 시퀀스 길이가 길어짐에 따라 불일치가 자연스럽게 악화되기 때문이다. 저자들은 생성 길이가 길어짐에 따라 희소성 예산(KV 캐시 크기)을 늘리는 동적 희소성 스케줄링을 도입했다. 이 기술은 전체 롤아웃 궤적 동안 5-백분위수 수용률이 일정하게 유지되도록 보장한다.

3. 안정성 임계값 식별

Qwen3 thinking 모델 제품군(1.7B, 4B, 8B)에 대한 제어 실험을 통해, 저자들은 안정적인 훈련에 필요한 최적의 분포 불일치 임계값( $\tau$ )을 결정했다.

일관성: 최적의 임계값은 약 0.86(5-백분위수 수용률)으로 나타났다.
일반화: 이 임계값은 다양한 모델 크기에 걸쳐 일관되게 나타났다. 이 임계값 아래로 훈련할 경우(예: 0.75) 붕괴가 발생하지만, 임계값 위에서 훈련할 경우(예: 0.92)는 안정적이지만 효율성이 떨어진다.

4. 비용 모델링 및 최적화

저자들은 희소성과 속도 향상 사이의 트레이드오프를 분석하기 위해 eFLOPs와 메모리 대역폭을 기반으로 한 비용 모델을 공식화했다.

페이지 크기(Page Size): 블록 희소 어텐션(Block-sparse attention)의 경우, 페이지 크기가 16일 때 분포 정렬과 비용 사이의 파레토 최적 경계(Pareto frontier)를 지배한다는 것을 확인했다.
스케일링: 모델 크기가 커질수록 0.86 임계값을 유지하기 위해 필요한 KV 예산도 증가하며, 이는 왜 더 큰 모델에서 달성 가능한 속도 향상 비율이 감소하는지를 설명한다.

5. DistillSparse

식별된 임계값 이상의 효율성을 달성하기 위해, 본 논문은 DistillSparse를 소개한다. 이 기술은 희소 롤아웃에 직접 가벼운 LoRA 기반 증류(Distillation)를 적용한다.

메커니즘: RL 업데이트를 위해 이미 계산된 데이스 정책의 로그 확률(log-probabilities)을 사용하여, 희소 액터가 데이스 정책과 더 밀접하게 정렬되도록 하는 LoRA 어댑터를 훈련한다.
결과: 이를 통해 더 공격적인 희소성(예: 임계값을 0.86에서 0.80으로 낮춤)을 사용하면서도 동일한 유효 분포 불일치를 유지할 수 있으며, 결과적으로 안정성을 해치지 않고 더 높은 속도 향상을 달성할 수 있다.

주요 결과

본 논문은 여러 모델 크기와 도메인(Math 및 Coding)에 걸쳐 접근 방식의 유효성을 검증했다:

속도 향상: 0.86 임계값을 가진 동적 희소성 스케줄링을 사용하여, 저자들은 다음과 같은 롤아웃 속도 향상을 달성했다:
- Qwen3-1.7B: 2.2x
- Qwen3-4B: 2.4x
- Qwen3-8B: 2.0x
- Qwen3-14B: 1.48x
안정성 및 성능: 0.86 임계값에서 희소 롤아웃으로 훈련된 모델은 데이스 롤아웃 훈련과 대등한 다운스트림 성능(AIME, AMC, 코딩 벤치마크)을 달성했다.
일반화: 0.86 임계값은 더 큰 모델인 Qwen3-14B와 코딩 도메인(TACO 데이터셋)에도 성공적으로 일반화되었으며, 이를 통해 전수적인 희소성 탐색(Exhaustive sparsity sweep)이 불가능한 상황에서도 안정적인 훈련을 가능하게 했다.
DistillSparse의 이점: DistillSparse를 적용함으로써, 저자들은 안정성을 유지하면서도 더 공격적인 희소성(0.80 임계값)을 사용할 수 있음을 입증했으며, Qwen3-1.7B에서 2.5x의 속도 향상을 달성했다.

의의 및 주장

본 논문은 희소 롤아웃을 어떻게 효율적이면서도 안정적으로 만들 수 있는지에 대한 실질적인 레시피를 제공한다고 주장한다. 주요 기여는 다음과 같다:

안정성 지표의 재정의: 평균 분포 불일치에서 하단 꼬리 통계량(5-백분위수 수용률)으로 초점을 전환하여 훈련 붕패를 정확하게 예측한다.
경험적 임계값 설정: 희소 롤아웃을 사용한 안정적인 데이스 정책 훈련을 가능하게 하는, 모델 크기에 독립적인 일관된 임계값(~0.86)을 확립한다.
동적 스케줄링: 긴 궤적 동안 이 임계값을 일정하게 유지하는 스케줄링 기술을 도입하여, 수렴을 저해하지 않으면서도 상당한 속도 향상(최대 2.4x)을 끌어낸다.
증류 통합: 가벼운 증류(DistillSparse)가 효율성과 안정성 사이의 트레이드오프를 더욱 분리하여, 훨씬 더 공격적인 희소성을 허용할 수 있음을 보여준다.

이 연구는 희소 어텐션을 단순한 인퍼런스 최적화 도구가 아니라, 특정 꼬리 분포 제약 조건이 준수될 경우 RLVR를 위한 실행 가능하고 안정적인 훈련 메커니즘으로 자리매김한다.