🤖 machine learning

ISO: An RLVR-Native Optimization Stack

이 논문은 스펙트럼 상속(spectral inheritance)을 활용하여 베이스 스펙트럼을 고정된 상태로 유지하면서 모델 가중치의 특이 프레임(singular frames)만을 최적화함으로써, 추가적인 데이터나 그래디언트 업데이트 없이도 매우 효율적인 온라인 학습과 전문가 모델의 효과적인 오프라인 병합을 가능하게 하는 검증 가능한 보상(Verifiable Rewards, RLVR)을 위한 새로운 최적화 프레임워크인 ISO를 소개한다.

원저자: Hanqing Zhu, Wenyan Cong, Zhizhou Sha, Sagnik Mukherjee, Xinyuan Song, David González-Martínez, Xiaoxia Wu, Yuandong Tian, Shiwei Liu, David Z. Pan, Zhangyang "Atlas" Wang

게시일 2026-07-22

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hanqing Zhu, Wenyan Cong, Zhizhou Sha, Sagnik Mukherjee, Xinyuan Song, David González-Martínez, Xiaoxia Wu, Yuandong Tian, Shiwei Liu, David Z. Pan, Zhangyang "Atlas" Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 초지능 로봇에게 더 잘 생각하는 법을 가르치려 한다고 상상해 보세요. 단순히 교과서를 주는 것이 아니라, 로봇이 직접 시도해 볼 수 있게 하고, 정답을 맞히면 하이파이브(보상)를 해주는 것입니다. 이 과정을 '검증 가능한 보상을 통한 강화 학습(Reinforcement Learning with Verifiable-Rewards)', 줄여서 RLVR이라고 부릅니다. 이것은 마치 로봇이 게임을 하며 배우는 비디오 게임과 같아서, 게임은 레벨이 끝날 때만 "잘했어" 또는 "다시 해봐"라고 알려줍니다.

오랫동안 과학자들은 로봇에게 하이파이브를 해준 후 로봇의 뇌를 업데이트하기 위해 똑같은 오래된 도구들을 사용해 왔습니다. 그들은 로봇의 뇌를 거대한, 지저분한 숫자들의 스프레드시트처럼 취급하며 모든 숫자를 아주 조금씩 조정합니다. 하지만 여기에는 함정이 있습니다. 로봇의 뇌는 게임을 시작하기 전에도 이미 기초적인 것들에 대해서는 꽤 능숙한 상태입니다. 아마도 오래된 도구들은 너무 서툴러서 바꿀 필요가 없는 것까지 바꾸거나, 실제로 자극이 필요한 특정 부분을 놓치고 있을지도 모릅니다. 큰 질문은 이것입니다. 이미 알고 있는 것을 존중하면서 새로운 기술을 가르쳐줄 수 있는 더 똑똑하고 정밀한 방법이 있을까요?

"ISO: An RLVR-Native Optimization Stack"이라는 제목의 이 논문은 바로 그 질문을 파고듭니다. 저자들은 로봇이 학습하는 방식에서 숨겨진 패턴을 발견했습니다. 그들은 로봇이 RLVR을 통해 새로운 기술을 배울 때, 실제로 뇌 전체를 새로 쓰는 것이 아니라는 사실을 발견했습니다. 대신, 로봇은 '볼륨 조절 노브'(연결의 강도를 제어하는 수학적 값)를 이전과 똑같이 유지합니다. 오직 '방향'(그 연결들의 각도와 방향)만을 바꿉니다.

이것을 무용단에 비유해 봅시다. '볼륨 조절 노브'는 무용수의 수와 그들의 에너지 수준이며, 이는 그대로 유지됩니다. '방향'은 안무입니다. 논문은 새로운 춤을 배우기 위해 무용단을 새로 고용하거나 에너지 수준을 바꿀 필요 없이, 그저 스텝을 재배열하기만 하면 된다는 것을 보여줍니다. 저자들은 이를 '스펙트럼 상속(Spectral Inheritance)'이라고 부릅니다. 그들은 에너지 수준(스펙트럼)을 고정시킨 채로 프레임(안무)을 미세하게 조정하는 것만으로도 놀라운 결과를 얻을 수 있다는 것을 증명했습니다.

이 발견을 바탕으로, 그들은 ISO(Isospectral Optimization)라는 새로운 도구 세트를 만들었습니다. ISO에는 두 가지 주요 기술이 있습니다. 첫째, 'ISO-Merger'는 마법의 블렌더와 같습니다. 만약 당신에게 서로 다른 기술의 달인인 세 대의 로봇(한 대는 코딩 마법사, 한 대는 수학 천재, 한 대는 도구 전문가)이 있다면, 재학습이나 새로운 데이터 주입 없이도 이들을 하나의 슈퍼 로봇으로 합칠 수 있습니다. 이는 원래의 에너지 수준을 유지하면서 그들의 안무만을 섞는 방식입니다.

둘째, 'ISO-Optimizer'는 로봇을 처음부터 훈련시키는 더 빠른 방법입니다. 뇌 전체를 맹목적으로 조정하는 대신, 에너지 수준을 잠가둔 채 안무만을 조정합니다. 논문은 이것이 엄청난 시간 절약이 된다는 것을 보여줍니다. 예를 들어, 특정 80억 개의 파라미터를 가진 모델에서, 이 새로운 방식은 기존 방식이 목표에 도달하는 데 270단계가 필요했던 반면, 단 100단계 만에 기존 방식과 같은 높은 점수에 도달했습니다. 훨씬 더 나아가, 210단계째에는 계속해서 개선되어 더 높은 점수를 얻기도 했습니다.

저자들은 이것이 마법이 아니라 수학임을 매우 신중하게 밝히고 있습니다. 그들은 이를 엄격하게 테스트했습니다. 만약 안무를 바꾸지 않고 에너지 수준만 바꾸려고 시도한다면 로봇이 별로 배우지 못한다는 것을 보여주었습니다. 하지만 에너지 수준을 고정하고 안무를 바꾼다면 로봇은 빠르게 배웁니다. 또한, 이 패턴이 로봇이 나중에 완전히 다른 두 번째 기술을 배울 때도 유효하다는 것을 확인했습니다.

따라서 핵심 결론은 간단합니다. AI 모델에게 새로운 추론 기술을 가르칠 때, 그들의 기초를 다시 구축하려 하지 마세요. 그들이 이미 가진 견고한 기초를 상속받고, 스텝을 재배열하는 데 집중하세요. 이것은 AI가 생각하는 법을 가르치는 더 효율적이고, 빠르며, 놀라울 정도로 효과적인 방법입니다.

기술 요약: ISO: RLVR 네이티브 최적화 스택

문제 정의

강화 학습 기반 검증 가능한 보상(RLVR, Reinforcement Learning with Verifiable Rewards)은 대규모 언어 모델(LLM)의 추론 능력을 확장하기 위한 주요 메커니즘이 되었습니다. 그러나 보상 피드백을 가중치 공간 업데이트로 변환하는 최적화 계층은 여전히 제대로 이해되지 않고 있습니다. 현재의 RLVR 구현은 대부분 사전 학습(Pre-training)의 최적화 전략(예: AdamW, Muon)과 파라미터화를 그대로 상속받는데, 이는 두 체제 사이의 근본적인 구조적 차이에도 불구하고 이루어지는 현상입니다. 사전 학습은 조밀한 토큰 수준의 감독에 의존하는 반면, RLVR은 유능한 정책을 희소한 결과 중심 보상을 통해 적응시킵니다.

최근의 분석에 따르면 RLVR 업데이트는 희소하고 오프-프린시플(off-principal)적인 특성을 보이지만, 기존 프레임워크는 무엇을 재사용하고 무엇을 새로 쓰는지를 명시적으로 구분하지 못합니다. 본 논문은 모델 가중치의 단일 구조를 분석하여 베이스 모델의 스펙트럼 특성이 기능적으로 필수적인지 아니면 단순히 부수적인 것인지를 결정함으로써, RLVR 최적화의 "누락된 계층"을 조사합니다.

방법론: 스펙트럼 상속 및 등스펙트럼 최적화 (ISO)

본 논문은 **등스펙트럼 최적화(Isospectral Optimization, ISO)**를 소개하며, 이는 스펙트럼 상속(Spectral Inheritance) 원리에 기반한 프레임워크입니다. 이 원리는 RLVR이 가중치 행렬의 입력 및 출력 단일 프레임( $U, V$ )을 수정하면서도 베이스 모델의 단일 값 스펙트럼( $\Sigma$ )을 재사용함으로써 새로운 행동을 습득할 수 있다는 가설을 세웁니다.

1. 스펙트럼 상속 분석

저자들은 제약 없는 RLVR 체크포인트가 베이스 가중치의 "고정 스펙트럼 패밀리(fixed-spectrum family)"에 가깝게 유지된다는 관찰을 공식화합니다.

근접 등스펙트럼성(Near-Isospectrality): 경험적 분석 결과, 학습된 RLVR 가중치와 베이스 모델의 고정 스펙트럼 패밀리 사이의 거리는 매우 미미함(전체 체크포인트 변위의 약 3%)을 확인했습니다. 이는 지도 미세 조정(SFT)보다 현저히 낮은 수치입니다.
기능적 재사용성: 개입 실험을 통해 저자들은 제약 없는 RLVR에서 관찰되는 작은 스펙트럼 변화가 기능적으로 반드시 필요한 것이 아님을 입증했습니다.
- 복원(Restoration): 학습 후 베이스 스펙트럼( $\Sigma_0$ )을 복원하면서 학습된 프레임을 유지하더라도 대부분의 습득된 성능이 보존됩니다.
- 고정 스펙트럼 학습(Fixed-Spectrum Training): 훈련 과정 내내 $\Sigma_0$ 를 고정하고 프레임( $U, V$ )만을 최적화해도 강력한 성능 향상을 얻으며, 종종 표준 가중치 공간 최적화기보다 우수한 성능을 보입니다.
- 스펙트럼 전용 제어(Spectrum-Only Control): 반대로, 프레임을 동결하고 스펙트럼만 업데이트하는 것은 제한적인 개선만을 가져옵니다.
프레임 적응성(Frame Adaptability): 구조적 분석에 따르면 스펙트럼은 고정될 수 있지만, 입력( $V$ )과 출력( $U$ ) 단일 프레임 모두는 적응 가능해야 합니다. 한 서브스페이스로 적응을 제한하거나 기존 스팬(span) 내에서만 믹싱할 경우, 체크포인트 변화의 상당 부분이 설명되지 않은 채 남게 됩니다.

2. ISO 프레임워크

ISO는 이러한 발견을 두 가지 상호 보완적인 구현체로 구성된 최적화 스택으로 구체화합니다.

A. ISO-Merger (오프라인)

공유 베이스를 가진 RL 전문가들을 합성하기 위한 데이터가 필요 없는 방법입니다.

메커니즘: 유클리드 거리 기반의 태스크 벡터나 온-폴리시 증류(on-policy distillation)를 사용하는 대신, ISO-Merger는 여러 전문가의 단일 프레임을 공유 베이스 스펙트럼에 정렬합니다. 이는 전문가의 프레임 변화를 베이스의 스티펠-탈로(Stiefel) 접공간으로 투영하고, 불안정한 꼬리 모드(trailing modes)를 마스킹하며, 단위 자기 보유(unit self-retention)를 목표로 릿지 안정화 선형 결합을 사용하여 집계합니다.
프로세스: 투영(Project) $\to$ 마스킹(Mask) $\to$ 병합(Merge) $\to$ 회귀(Retract). 최종 모델은 $W^* = U^* \Sigma_0 (V^*)^\top$ 로 재구성되어 고정 스펙트럼 패밀리에 속하게 됩니다.
요구사항: 추가적인 데이터, 롤아웃, 그래디언트 업데이트 또는 증류가 필요하지 않습니다.

B. ISO-Optimizer (온라인)

단일 프레임 변수에 표준 최적화기를 적용하는 온라인 RLVR 훈련 방법입니다.

메커니즘: 베이스 최적화기(예: AdamW, Muon)가 주어졌을 때, ISO-Optimizer는 베이스 스펙트럼 $\Sigma_0$ 를 고정시킨 채 단일 프레임 변수( $U, V$ )에 최적화 규칙을 적용합니다.
그래디언트 흐름: 그래디언트는 재구성된 가중치 행렬 $W = U \Sigma_0 V^\top$ 에 대해 계산되며, 연쇄 법칙(chain rule)을 통해 $U$ 와 $V$ 로 역전파됩니다.
실행 가능성: 각 업데이트 후, 직교성을 보장하기 위해 극값 회귀(polar retraction, SVD 기반)를 사용하여 요인들을 스티펠 다양체(Stiefel manifold)로 투영합니다.
오버헤드: 극값 회귀는 롤아웃 생성(RLVR 시스템의 병목 구간)에 비해 지배적이지 않은 약 7%의 엔드 투 엔드 스텝 시간 증가를 초래합니다.

주요 결과

1. 오프라인 전문가 합성 (ISO-Merger)

Qwen2.5-7B 및 DeepSeek-R1-Distill-Qwen-1.5B를 사용하여 코딩, 도구 사용, 메모리 전문가를 합성한 실험 결과:

ISO-Merger는 데이터가 필요 없는 병합 방법들(예: Task Arithmetic, TIES, OrthoMerge) 중 가장 강력한 종합 성능을 달성했습니다.
Qwen2.5-7B에서 평균 점수 63.80을 기록하여 최상의 베이스라인(62.88)을 능가했습니다.
DeepSeek-R1-Distill-Qwen-1.5B에서 44.38을 기록하여 최상의 베이스라인(43.52)을 능가했습니다.
추가적인 훈련 데이터나 롤아웃 없이도 상호 보완적인 능력을 회복합니다.

2. 온라인 RLVR 훈련 (ISO-Optimizer)

다양한 모델 규모(1.5B ~ 8B)에서 수학적 추론(AIME, AMC, Olympiad) 및 코딩(LiveCodeBench)에 대한 실험 결과:

정확도 향상: ISO-AdamW는 표준 AdamW 및 Muon 베이스라인보다 일관되게 높은 종합 정확도를 달사합니다.
훈련 효율성: ISO-Optimizer는 현저히 적은 훈련 스텝으로 동일한 성능에 도달합니다.
- Qwen3-4B-Base에서 ISO-AdamW는 최상의 AdamW 실행과 동일한 최종 정확도에 2.2배 적은 스텝으로 도달합니다.
- Qwen3-8B-Base에서 ISO-AdamW는 100 스텝 만에 0.495의 정확도에 도달하는 반면, 표준 AdamW는 동일한 수준에 도달하는 데 270 스텝이 필요합니다 (2.7배 감소).
일반화: 이러한 이점은 다양한 최적화기(ISO-Muon 포함)와 작업(코딩 vs 수학) 전반에 걸쳐 지속되며, 고정 스펙트럼 제약이 강력한 귀납적 편향(inductive bias)임을 확인시켜 줍니다.

의의 및 주장

본 논문은 RLVR의 "누락된 최적화 계층"에 대한 구체적인 해답을 제공한다고 주장합니다. 저자들은 사전 학습의 최적화를 무조건적으로 상속받기보다는, 보상 기반 적응의 구조에 맞춰 포스트 트레이닝을 설계해야 한다고 주장합니다: 스펙트럼을 상속하고, 프레임을 최적화하라.

주요 기여는 다음과 같습니다:

스펙트럼 상속의 공식화: RLVR이 SFT와는 구별되는 특성인 베이스 모델의 가중치 스펙트럼을 기능적으로 재사용함을 입증했습니다.
RLVR 네이티브 스택: 오프라인 전문가 합성 및 온라인 훈련을 하나의 고정 스펙트럼 원칙 아래 통합하는 ISO 프레임워크를 도입했습니다.
실용적 효율성: 최적화를 고정 스펙트럼 패밀리로 제한하는 것이 모델의 가용 클래스를 확장하지 않고도 수렴 속도와 최종 정확도를 개선함을 보여줌으로써, RLVR을 위한 강력한 귀납적 편향으로서 작용함을 입증했습니다.

저자들은 ISO가 단순한 새로운 최적화기가 아니라, RLVR 적응의 내재적 기하학적 구조와 최적화 궤적을 일치시키는 구조적 재매개변화(structural re-parameterization)이며, 이를 통해 추론 모델의 더 효율적이고 안정적인 포스트 트레이닝 경로를 제공한다고 강조합니다.