🤖 AI

SCALER:Synthetic Scalable Adaptive Learning Environment for Reasoning

SCALER 는 확장 가능한 합성 파이프라인을 활용하여 검증 가능하고 난이도 조절이 가능한 프로그래밍 작업을 생성하고, 보상 희소성과 과적합을 방지하기 위해 모델 능력에 맞춰 작업 난이도를 동적으로 조정하는 적응형 다중 환경 전략을 통해 강화 학습을 통해 대규모 언어 모델의 추론 능력을 향상시키는 프레임워크입니다.

원저자: Caijun Xu, Changyi Xiao, Zhongyuan Peng, Xinrun Wang, Yixin Cao

게시일 2026-05-06

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Caijun Xu, Changyi Xiao, Zhongyuan Peng, Xinrun Wang, Yixin Cao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 당신은 재능은 있지만 경험이 부족한 학생 (AI) 이 복잡한 퍼즐을 푸는 법을 가르치려 합니다. 이때 두 가지 주요 문제가 있습니다:

"골리락스" 문제: 퍼즐이 너무 쉬우면 학생은 지루해하고 학습을 중단합니다. 너무 어렵다면 학생은 좌절하고 포기하며 아무것도 배우지 못합니다. 따라서 학생의 현재 실력 수준에 딱 맞는 퍼즐이 필요합니다.
"에코 챔버" 문제: 학생에게 같은 유형의 퍼즐만 반복해서 제공하면 (숫자가 바뀌더라도), 학생은 그 특정 퍼즐의 요령만 외우게 되어 조금만 다른 퍼즐이 나오면 실패합니다. 진정한 지능을 갖추려면 다양한 도전을 경험해야 합니다.

SCALER는 이 두 가지 문제를 동시에 해결하도록 설계된 새로운 시스템입니다. 이를 AI 두뇌를 위한 초지능적이고 무한한 체육관으로 생각하세요.

SCALER 의 작동 원리

이 시스템은 코치와 체육관 설계자가 협력하듯 함께 작동하는 두 가지 주요 부분으로 구성됩니다.

1. 무한 퍼즐 공장 (합성 파이프라인)

SCALER 는 고정된 문제 목록 (교과서와 같은) 을 사용하는 대신, 실시간으로 무한한 새로운 퍼즐을 생성할 수 있는 공장을 구축합니다.

출처: 코딩 대회 등에서 발견되는 실제 세계의 프로그래밍 문제를 시작점으로 삼습니다.
마법: 이러한 문제를 "환경"으로 변환합니다. 예를 들어 "리스트의 숫자 더하기"에 관한 수학 문제를, 리스트 길이가 5 개일 수도, 500 개일 수도, 5,000 개일 수도 있는 게임으로 바꾸는 것입니다.
안전망: 시스템은 퍼즐이 해결 가능한지, 그리고 답이 정확한지 자동으로 확인합니다. 모든 퍼즐이 공정하고 명확한 승자가 있도록 보장하는 로봇 심판과 같습니다.

2. 적응형 코치 (다중 환경 프레임워크)

이것은 운영의 두뇌입니다. 코치는 두 가지 교묘한 방식으로 훈련 세션을 관리합니다.

"딱 좋은" 다이얼 (난이도 제어기):
코치가 학생이 퍼즐을 푸는 모습을 지켜본다고 상상해 보세요.
- 학생이 90% 를 맞히면, 코치는 다이얼을 올립니다: "좋아, 리스트를 더 길게 하고 수학 문제를 더 어렵게 만들자!"
- 학생이 0% 를 맞히면, 코치는 다이얼을 내립니다: "와, 너무 어렵군. 리스트를 줄이자."
- 목표: 코치는 학생이 압도당하지는 않지만 도전받는 "최적의 지점"에 항상 머물도록 끊임없이 조절합니다. 이를 통해 학생은 항상 새로운 것을 배우게 됩니다.
"신선함" 필터 (환경 큐레이션):
체육관에 각기 다른 유형의 퍼즐이 있는 1,000 개의 방이 있다고 상상해 보세요.
- 코치는 학생을 몇 개의 방에 넣어 연습시킵니다.
- 학생이 한 방을 너무 잘 습득하여 지루해지거나 (너무 쉬움) 불가능해지면 (너무 어려움), 코치는 학생을 그 방에서 내쫓고 아직 본 적 없는 새롭고 신선한 방으로 교체합니다.
- 목표: 이는 학생이 한 가지 유형의 퍼즐에 갇히거나 지루해하는 것을 방지합니다. 훈련이 항상 신선하고 다양하도록 보장합니다.

왜 이것이 중요한가 (결과)

이 논문은 AI 를 훈련시키는 다른 방법들과 이 시스템을 비교 테스트했습니다. 그들이 발견한 바는 다음과 같습니다.

고정된 책보다 우수함: 전통적인 방법은 고정된 문제 목록 (교과서와 같은) 을 사용합니다. AI 가 책을 외우면 더 이상 발전하지 않습니다. 반면 SCALER 는 "책"이 끝나지 않고 계속 변하기 때문에 AI 가 훨씬 더 오랫동안 발전하도록 유지합니다.
다른 체육관보다 우수함: 다른 시스템들은 난이도를 조정하려 하지만, 종종 새로운 퍼즐이 고갈되거나 루프에 갇힙니다. SCALER 는 무한한 새로운 퍼즐을 생성하고 "낡은" 퍼즐을 교체하는 능력으로 학습 신호를 강력하게 유지합니다.
안정적인 성장: AI 는 단순히 급격한 상승을 보이다가 곧 정체 (평탄화) 되지 않았습니다. 긴 훈련 기간 동안 수학, 논리, 일반 추론 능력이 꾸준히 장기적으로 향상되는 모습을 보였습니다.

요약하자면

SCALER 는 새로운 운동이 고갈되지 않는 AI 를 위한 개인 트레이너와 같습니다. 이 트레이너는 당신의 성과를 끊임없이 주시하며, 당신이 "존 (zone)"에 머물 수 있도록 바에 걸린 무게를 즉시 조절하고, 당신이 더 이상 성장하지 않는 순간 낡은 운동을 새로운 운동으로 교체합니다. 그 결과, 정적이고 변하지 않는 데이터셋으로 훈련된 AI 들보다 더 빠르게 학습하고, 더 오랫동안 참여하며, 추론 능력이 훨씬 뛰어난 AI 가 됩니다.

기술 요약: SCALER (추론을 위한 합성 확장 가능 적응형 학습 환경)

문제 제기

강화 학습 (RL) 은 대규모 언어 모델 (LLM) 의 추론 능력을 향상시키는 원칙적인 방법으로 부상했습니다. 그러나 추론을 위한 RL 의 확장성은 종종 최적화 알고리즘 자체에 의해 제한되는 것이 아니라, 훈련 과정 전반에 걸쳐 지속적으로 효과적인 보상 신호의 가용성에 의해 병목 현상을 겪습니다.

현재 접근 방식은 두 가지 주요 한계에 직면해 있습니다:

불일치하는 난이도: 모델이 진화함에 따라 정적 데이터셋이나 고정된 환경은 종종 너무 단순해져서 (학습 포화 초래) 또는 너무 어려워져서 (희소 보상과 비생산적인 탐색 초래) 문제가 됩니다.
다양성 부족: 난이도 조정이 있더라도 좁은 범위의 반복되는 문제 패턴으로 훈련하면 과적합이 발생하여 일반화 능력이 약화될 수 있습니다. 기존 합성 데이터나 자기 대결 (self-play) 방법은 모델의 진화하는 정책과 동기화된 분포를 유지하는 데 종종 어려움을 겪으며, 너무 쉽거나 너무 어려운 영역으로 자주 편향됩니다.

방법론

저자들은 적응형 환경 설계를 통해 효과적인 학습 신호를 유지하도록 설계된 SCALER(추론을 위한 합성 확장 가능 적응형 학습 환경) 를 제안합니다. SCALER 는 두 가지 핵심 구성 요소로 구성됩니다: 확장 가능한 합성 파이프라인과 적응형 다중 환경 훈련 프레임워크입니다.

1. 확장 가능한 환경 합성 파이프라인

SCALER 는 실제 세계 프로그래밍 문제를 난이도를 제어할 수 있고 무제한 인스턴스 생성이 가능한 검증 가능한 추론 환경으로 변환합니다. 파이프라인은 세 단계를 포함합니다:

메타 정보 추출: 프롬프트 기반 방법을 사용하여 시스템이 원시 문제 진술에서 규모 매개변수 (예: 배열 길이, 엣지 수) 와 출력 요구 사항을 추출합니다. 이는 출력이 고유하고 검증 가능하도록 보장하여 보상 해킹을 완화합니다.
테스트 케이스 생성 및 검증: 생성기 에이전트가 특정 규모 매개변수를 기반으로 다양하고 유효한 테스트 케이스를 생성합니다. 신뢰성을 보장하기 위해 시스템은 브로드 체크(여러 정답 솔루션 간의 일관성 검증) 와 딥 체크(과적합을 방지하기 위해 고정된 규모 구성 내의 다양성 보장) 를 사용합니다.
휴리스틱 난이도 보정: 시스템은 모델의 컨텍스트 창과 실행 시간 제한으로 경계 지어진 실현 가능한 난이도 범위를 정의합니다. 이 범위를 산술 또는 기하 급수적 진행을 사용하여 난이도 수준으로 이산화하여 확장 가능하고 실행 가능한 "난이도 사다리"를 생성합니다.

2. 적응형 다중 환경 훈련 프레임워크

SCALER 는 모델의 능력 최전선을 추적하는 동적 훈련 전략을 사용합니다:

환경 내 난이도 제어기: 각 활성 환경 내에서 온라인 제어기는 모델의 온-정책 롤아웃 정확도에 기반하여 규모 매개변수를 동적으로 조정합니다. 난이도 점수 $d_t$ 는 목표 성공률 $\tau$ 를 유지하도록 업데이트되어 인스턴스가 모델의 현재 능력 경계 근처에 유지되도록 합니다 (단순하거나 해결 불가능하지 않음).
환경 큐레이션 메커니즘: 분포 다양성을 유지하고 정체성을 방지하기 위해 SCALER 는 "활성 집합" 형태의 환경을 유지합니다. 환경들은 최근 윈도우 ( $K_{slope}$ ) 에 따른 난이도 진행의 기울기를 기반으로 주기적으로 평가됩니다. 환경의 학습 신호가 포화되면 (기울기 $\le 0$ ) 또는 지속적으로 단순하거나 학습 불가능해지면, 이는 은퇴 처리되고 더 큰 풀에서 샘플링된 새로운 환경으로 대체됩니다. 은퇴된 환경은 영구히 폐기되지 않고 잠재적인 미래 재샘플링을 위해 풀로 반환됩니다.

주요 기여

신호 한계 식별: 이 논문은 RL 이 추론에서 확장되려면 훈련 신호가 두 가지 측면에서 효과적이어야 함을 강조합니다: 능력 경계 근처에서 난이도를 유지하고 시간 경과에 따라 충분한 분포 다양성을 유지하는 것.
SCALER 프레임워크: 저자들은 검증 가능하고 난이도 제어 가능한 환경 합성과 적응형 다중 환경 RL 을 통합하는 시스템을 제안합니다. 이는 강력한 정확성 보장을 유지하면서 유한한 데이터셋을 넘어 훈련할 수 있게 합니다.
실증적 검증: 광범위한 실험은 SCALER 가 다양한 추론 벤치마크에서 일관된 개선을 제공하며 기존 베이스라인에 비해 더 안정적이고 장기적인 훈련 역학을 보임을 입증합니다.

실험 결과

저자들은 Qwen3-1.7B 및 Qwen3-4B 기본 모델을 사용하여 다섯 가지 추론 벤치마크 (AIME24, AMC23, MATH-500, MMLU-Pro, BBEH) 에서 SCALER 를 평가했습니다.

베이스라인 대비 성능: SCALER 는 정적 MATH 또는 DeepMath 코퍼스로 훈련하는 데이터셋 기반 베이스라인 (예: 정적 MATH 또는 DeepMath 코퍼스) 과 환경 기반 베이스라인 (예: RLVE) 모두를 일관되게 능가했습니다. 예를 들어, Qwen3-4B 모델에서 SCALER 는 평균 점수 54.25를 기록하여 RLVE(53.52) 와 정적 데이터셋 방법을 능가했습니다.
장기 역학: 훈련 곡선은 SCALER 가 1,000 스텝 이상 계속 개선되는 반면 데이터셋 기반 베이스라인은 더 일찍 정체됨을 보여주었습니다. 이는 SCALER 가 높은 "유효 프롬프트 비율"(능력 경계 근처의 인스턴스) 을 유지할 수 있는 능력에 기인합니다.
확장 법칙: 환경 수를 8 개에서 2,739 개로 늘리면 점진적인 성능 향상이 발생하여 난이도 외에도 다양성이 중요한 요소임을 시사합니다.
애블레이션 연구: 난이도 제어기 또는 환경 큐레이션 메커니즘 중 하나를 제거하면 성능이 저하되어 두 구성 요소 모두 관찰된 향상에 필수적임을 확인했습니다.
강건성: 이 방법은 하이퍼파라미터 ( $K_{slope}$ , $K_{zero}$ , $K_{sat}$ ) 에 대한 민감도가 낮으며 독립적인 훈련 실행 전반에 걸쳐 통계적 안정성을 보여주었습니다.

중요성과 주장

이 논문은 SCALER 가 모델이 개선됨에 따라 학습 신호가 저하되는 RL 추론 확장의 근본적인 병목 현상을 해결한다고 주장합니다. 인스턴스의 난이도와 환경 집합의 다양성을 공동 적응시킴으로써 SCALER 는 보상 희소성과 좁은 패턴에 대한 과적합을 방지합니다.

저자들은 SCALER 를 단순한 성능 부스터가 아니라 환경 속성 (내부 속성 및 확장 법칙 등) 이 RL 훈련에 미치는 영향을 탐구하기 위한 연구 커뮤니티의 플랫폼으로 위치시킵니다. 그들은 환경의 내부 특성 및 환경 크기와 모델 크기에 대한 전체 확장 법칙에 대한 추가 조사가 필요하다고 noting 하여 한계를 인정합니다. 그러나 이 작업은 합성, 적응형 및 검증 가능한 환경이 LLM 추론 능력의 장기적 개선을 유지할 수 있음을 입증하는 개념 증명 (proof-of-concept) 을 확립합니다.