🤖 machine learning

Star Elastic: Many-in-One Reasoning LLMs with Efficient Budget Control

Star Elastic 는 단일 부모 모델에서 하나의 학습 실행을 통해 여러 개의 중첩 추론 서브모델을 효율적으로 생성하는 새로운 사후 학습 방법으로, 독립적인 학습이나 압축 기준선과 비교하여 학습 비용을 크게 줄이면서 정확도 - 지연 시간 트레이드오프를 개선하는 동적이며 단계별 예산 제어를 가능하게 합니다.

원저자: Ali Taghibakhshi, Ruisi Cai, Saurav Muralidharan, Sharath Turuvekere Sreenivas, Aditya Vavre, Ameya Sunil Mahabaleshwarkar, Bilal Kartal, Sheldon Liang, Marcin Chochowski, Zijia Chen, Akhiad Bercovich

게시일 2026-05-11

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ali Taghibakhshi, Ruisi Cai, Saurav Muralidharan, Sharath Turuvekere Sreenivas, Aditya Vavre, Ameya Sunil Mahabaleshwarkar, Bilal Kartal, Sheldon Liang, Marcin Chochowski, Zijia Chen, Akhiad Bercovich, Ran Zilberstein, Ran El-Yaniv, Yonatan Geifman, Daniel Korzekwa, Yoshi Suhara, Oluwatobi Olabiyi, Ashwath Aithal, Nima Tajbakhsh, Pavlo Molchanov

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

대중을 위한 고급 요리를 조리하도록 설계된 거대하고 고급스러운 주방을 소유하고 있다고 상상해 보세요. 이 주방이 바로 당신의 **대형 언어 모델 (LLM)**입니다.

전통적으로 작은 가족 저녁 식사, 중간 크기의 파티, 그리고 거대한 연회를 제공하려면 세 개의 완전히 별개의 주방을 지어야 했습니다. 세 세트의 오븐을 구매하고, 세 팀의 요리사를 고용하며, 세 개의 별개 건설 프로젝트 비용을 지불해야 했습니다. 이는 엄청나게 비싸고 낭비적인 일입니다.

Star Elastic은 게임의 규칙을 바꾸는 새로운 발명품입니다. 세 개의 주방을 짓는 대신, 어떤 필요에도 즉시 맞춰 변형될 수 있는 하나의 초유연한 주방을 구축합니다.

다음은 이를 간단한 개념으로 분해한 작동 원리입니다:

1. "하나의 주방, 여러 크기" 트릭

일반적으로 작고 저렴한 AI 모델을 얻기 위해 연구자들은 거대한 모델을 훈련시킨 후, 나무를 가지치기 하듯 일부를 잘라내어 "축소"하려고 시도합니다. 이는 느리고 비싸며, 처음부터 훈련된 모델만큼 똑똑하지 않은 결과를 초래하는 경우가 많습니다.

Star Elastic은 다른 방식을 취합니다. 하나의 거대한 "부모" 모델 (Nemotron Nano v3) 을 가져와 특별한 기술을 가르칩니다: 한 번에 여러 다른 크기가 되는 법입니다.

이를 **러시아 인형 (마트료시카)**이라고 생각해 보세요. 300 억 개의 파라미터를 가진 큰 인형 안에는 완벽한 230 억 개의 파라미터를 가진 인형이 있고, 그 안에는 완벽한 120 억 개의 파라미터를 가진 인형이 들어 있습니다.
이 모든 인형은 같은 "집"(같은 컴퓨터 파일) 안에 살아갑니다. 세 개의 다른 파일을 다운로드할 필요가 없습니다. 큰 파일을 열고 "오늘은 작은 버전만 필요해"라고 말하면 됩니다.

2. "스마트 라우터" (주방 관리자)

모델이 어떤 부분을 사용할지 어떻게 알까요? 학습 가능한 라우터를 사용합니다.

주문을 확인하는 주방 관리자를 상상해 보세요.
간단한 샐러드 (간단한 질문) 를 요청하면 관리자는 "좋아요, 작은 믹서와 기본 칼 세트만 사용합시다"라고 말합니다.
복잡한 수플레 (어려운 수학 문제) 를 요청하면 관리자는 "큰 오븐, 중장비 믹서, 그리고 모든 요리사가 필요합니다!"라고 말합니다.
해당 논문은 이 관리자가 "주방"의 어떤 부분이 가장 중요한지 정확히 알도록 훈련되었음을 보여줍니다. 작은 버전에는 최고의 도구를 유지하고, 큰 버전이 필요할 때만 추가적인 중장비 도구를 추가합니다.

3. "생각하기 vs 답변하기" 전략

이것은 **탄력적 예산 제어 (Elastic Budget Control)**라고 불리는 이 논문의 가장 교묘한 트릭입니다.

AI 가 어려운 문제를 해결할 때 보통 두 가지 일을 합니다: 생각하기(단계별 추론)와 답변하기(최종 결과 작성).
옛 방식: AI 는 생각하기와 답변하기 모두에 동일한 "뇌 크기"를 사용합니다. 우편국까지 가는 길은 바로 옆에 있는데도, 대형 연료 소비 트럭을 이용해 식료품점과 우편국으로 가는 것과 같습니다.
Star Elastic 방식: AI 는 기어를 바꿀 수 있습니다!
- 1 단계 (생각하기): 문제를 브레인스토밍하고 추론할 때 작고 빠른 모델을 사용합니다. 이는 저렴하고 빠릅니다.
- 2 단계 (답변하기): 생각이 끝나면 최종 답변을 작성하기 위해 크고 똑똑한 모델로 전환합니다. 이렇게 하면 답변이 완벽하도록 보장됩니다.
결과: 거대한 뇌의 정확성을 얻으면서도 작은 뇌의 속도와 비용을 누립니다. 논문은 이를 통해 단일 고정 크기를 사용하는 것보다 AI 가 정확도가 16% 향상되고 속도가 1.9 배 빨라질 수 있다고 주장합니다.

4. "마법 같은 슬라이싱" (Zero-Shot 추출)

일반적으로 작은 모델을 원하면 몇 달 동안 훈련해야 합니다. Star Elastic 에서는 "슬라이싱"이 즉시 발생합니다.

모델이 처음부터 유연하도록 훈련되었기 때문에, 작은 버전이나 중간 버전을 **Zero-Shot(재훈련 없이)**으로 "잘라낼" 수 있습니다.
이는 다시 훈련할 필요가 없다는 뜻입니다. 큰 파일을 가져와 "자르기"를 적용하면, 바로 작동하는 고품질의 작은 모델을 즉시 얻을 수 있습니다.
논문은 이를 통해 처음부터 모델을 구축하는 것보다 훈련 비용을 360 배 절약하고, 기존 압축 방법보다 7 배의 비용을 절감한다고 주장합니다.

5. "작은 여행 가방" (양자화)

마지막으로, 논문은 이러한 모델을 휴대폰이나 작은 컴퓨터를 위해 더 작게 만드는 것에 대해 논의합니다.

**양자화 인식 증류 (Quantization-Aware Distillation)**라는 기술을 사용합니다. 무겁고 고해상도의 그림을 디지털 파일로 변환하여 공간을 거의 차지하지 않으면서도 여전히 완벽하게 보이게 만드는 것과 같습니다.
그들은 4 비트 또는 8 비트 포맷 (매우 작은 디지털 발자국) 에 맞는 모델 버전을 만들었습니다.
이러한 작은 포맷에서도 "러시아 인형" 트릭은 여전히 작동합니다. 하나의 작은 파일에서 작은, 중간, 큰 버전을 여전히 잘라낼 수 있습니다.

승리 요약

비용: 한 번 훈련하면 여러 모델을 얻습니다. 각 놀이기구마다 별도의 티켓을 구매하는 대신, 모든 롤러코스터를 탈 수 있는 테마파크 티켓 하나를 구매하는 것과 같습니다.
속도: 생각하기에는 작은 뇌를, 답변하기에는 큰 뇌를 사용하여 시간과 비용을 절약합니다.
저장: 세 가지 다른 모델 크기에 접근하려면 하나의 파일만 저장하면 됩니다.

요약하자면, Star Elastic은 모든 작업마다 별도의 경직된 AI 모델을 구축하는 것을 멈추게 합니다. 대신, 작업에 맞춰 크기와 힘을 즉시 변경할 수 있는 카멜레온 같은 AI를 구축하여 막대한 시간과 비용을 절약하면서도 실제로 더 똑똑해지게 합니다.

기술 요약: Star Elastic

문제 정의

변하는 파라미터 수를 가진 대규모 언어 모델 (LLM) 계열을 학습시키는 것은 현재 지나치게 비용이 많이 들고 비효율적입니다. 전통적인 접근 방식은 각 모델 크기에 대해 별도의 학습 실행을 필요로 하여 컴퓨팅 및 저장 비용을 기하급수적으로 증가시킵니다. 최근의 압축 방법들 (예: 구조적 가지치기와 지식 증류) 은 큰 부모 모델에서 파생된 더 작은 모델들을 통해 비용을 절감하지만, 압축된 모델 하나당 수천억 개의 토큰을 여전히 요구하며 종종 이질적인 아키텍처를 지원하지 못합니다.

또한, 기존 효율적 추론 프레임워크는 아키텍처의 경직성으로 고통받고 있습니다. 토큰의 난이도와 관계없이 정적 자원을 할당하여 추론의 "사고 (추론)" 단계와 "답변" 단계 모두에 단일 모델 크기를 사용하도록 강요합니다. 이는 단계 간 복잡성이 상이할 때 계산적 비효율성을 초래합니다. 마지막으로, 현재 탄성 중첩 모델들 (예: Nemotron Elastic) 은 Mamba-Attention 아키텍처로 제한되어 있으며, 점점 더 인기 있는 하이브리드 Mamba-Attention-전문가 혼합 (MoE) 디자인을 지원하지 못합니다.

방법론: Star Elastic

Star Elastic 은 단일 부모 추론 모델의 컴퓨팅을 사용하여 $N$ 개의 중첩된 서브모델을 생성하도록 설계된 사후 학습 (post-training) 방법입니다. 이는 하이브리드 Mamba-Attention-MoE 아키텍처를 대상으로 하며, 동적 추론을 위한 탄성 예산 제어를 도입합니다.

1. 탄성 모델 구성

기존 LLM 을 탄성 모델로 변환하는 파이프라인은 세 단계로 진행됩니다:

중요도 추정: 가지치기를 안내하기 위해 구성 요소들을 중요도에 따라 순위 매깁니다.
- 폭 (Width): 활성화 기반 점수 매기기를 하이브리드 아키텍처로 확장합니다. 임베딩 채널, FFN/MoE 채널, Mamba 헤드/채널, 그리고 어텐션 헤드에 대한 점수를 계산합니다. MoE 레이어의 경우, **라우터 가중치 전문가 활성화 가지치기 (REAP)**를 사용하여 라우팅 가중치와 활성화 노름에 기반하여 전문가가 출력 크기에 기여하는 정도를 측정합니다.
- 깊이 (Depth): 전체 모델의 로짓과 특정 레이어를 제거한 로짓 간의 정규화된 평균 제곱 오차 (MSE) 를 사용하여 레이어 중요도를 반복적으로 추정합니다.
탄성 공식화: 모델은 폭과 깊이 축을 따라 중첩을 지원합니다.
- 폭: 서브네트워크는 중요도 순위 기반으로 구성 요소 (임베딩 차원, 헤드, 전문가, FFN 채널) 의 부분집합을 선택합니다. 이질적인 구성은 레이어별로 독립적인 선택을 허용합니다.
- 깊이: 이진 선택 벡터가 활성 레이어를 결정하며, 덜 중요한 레이어를 먼저 제거합니다.
탄성 학습: 학습 가능한 라우터가 사용자가 제공한 예산 명세를 최적의 아키텍처 구성으로 매핑합니다.
- 라우터는 학습을 위한 미분 가능한 마스크를 생성하기 위해 Gumbel-Softmax 를 사용합니다.
- 손실 함수: 비탄성화 된 부모 모델로부터의 지식 증류 (KD) 와 선택된 구성을 하드웨어 제약 (지연 시간, 메모리) 에 정렬시키는 라우터 손실을 결합합니다.
- 2 단계 커리큘럼:
  1. 1 단계 (짧은 컨텍스트): 모든 목표 크기에 걸쳐 균일한 예산 샘플링을 수행하여 그래디언트 경쟁을 방지합니다.
  2. 2 단계 (확장된 컨텍스트): 더 큰 예산을 우선시하는 비균일 샘플링 (예: 전체 모델의 50%) 을 수행하여 더 큰 변형에서 추론 능력을 유지하면서도 더 작은 모델들이 긴 컨텍스트 추론 체인에 적응하도록 합니다.

2. 탄성 예산 제어

Star Elastic 은 추론 단계 동안 동적 모델 선택을 가능하게 합니다:

사고 단계: 최소한의 오버헤드로 광범위한 추론 흔적을 생성하기 위해 더 작은 서브모델 ( $\mathcal{M}_S$ ) 을 사용합니다.
답변 단계: 더 높은 충실도로 최종 답변을 종합하기 위해 더 큰 서브모델 ( $\mathcal{M}_L$ ) 로 전환합니다.
캐시 호환성: 이 아키텍처는 중첩된 모델 전반에 걸쳐 Mamba 및 어텐션 레이어 구조를 보존하여 KV 및 SSM 캐시 상태를 서브모델 간에 이식할 수 있게 합니다 (현재 프레임워크의 원활한 재사용 지원은 제한적이지만, 아키텍처는 이를 가능하게 합니다).

3. 양자화 인식 증류 (QAD)

양자화 환경 (FP8 및 NVFP4) 에서의 배포를 지원하기 위해 Star Elastic 은 QAD 를 적용합니다.

FP8: BF16 탄성 체크포인트에 대한 사후 학습 양자화 (PTQ) 를 통해 달성됩니다.
NVFP4: 동일한 중첩 마스크 계층 구조를 사용하여 양자화된 학생 모델을 BF16 교사 모델에서 증류하는 짧은 QAD 단계를 필요로 합니다. 이는 제로샷 슬라이싱 능력을 유지하면서 PTQ 동안 손실된 정확도를 회복시킵니다.

주요 기여

하이브리드 MoE 를 위한 최초의 탄성 사후 학습: Nemotron Elastic 프레임워크를 Mamba-Attention 에서 하이브리드 Mamba-Attention-MoE 아키텍처로 확장하여 전문가 순위 매기기를 위한 REAP 와 레이어별 이질적 선택을 도입했습니다.
탄성 예산 제어: 사고 및 답변 단계에 서로 다른 서브모델을 할당하는 동적 추론 방식을 도입하여 정확도 - 지연 시간 파레토 프론티어를 최적화합니다.
학습 가능한 라우터: 구성을 학습 목표와 분리하지 않고 정확도와 자원 제약을 모두 최적화하기 위해 엔드 - 투 - 엔드 학습을 통해 중첩 아키텍처를 자동으로 결정하는 라우터입니다.
중대한 비용 절감: 처음부터 사전 학습하는 것에 비해 학습 토큰을 360 배 줄이고, 모델 계열 생성에 대한 최첨단 압축 방법 대비 7 배 줄인 것을 입증했습니다.
양자화된 탄성: 제로샷 슬라이싱을 보존하는 중첩된 NVFP4 및 FP8 체크포인트를 생성하여 단일 양자화 파일에서 여러 모델 크기의 배포를 가능하게 합니다.

실험 결과

이 방법은 **Nemotron Nano v3 (30B/3.6A)**에 적용되어 160B 학습 토큰을 사용하여 23B (2.8A) 및 12B (2.0A) 변형을 생성했습니다.

정확도: 모든 중첩 모델은 동등한 크기의 독립 학습 베이스라인과 일치하거나 능가합니다. 예를 들어, 23B 탄성 변형은 LiveCodeBench 및 IFBench 에서 독립적으로 학습된 Qwen3-30B-A3B 를 능가했습니다.
효율성:
- 학습: 사전 학습 대비 토큰 360 배 감소; 순차적 압축 대비 7 배 감소.
- 배포 메모리: 12B, 23B, 30B 변형을 단일 탄성 체크포인트에 저장하는 데 58.9 GB(BF16)가 소요되며, 이는 별도의 체크포인트에 필요한 126.1 GB와 비교됩니다.
- 처리량: 중첩 모델은 H100 GPU 에서 처리량을 최대 2.4 배 향상시킵니다.
탄성 예산 제어: $\mathcal{M}_S \to \mathcal{M}_L$ 전략 (작은 사고 $\to$ 큰 답변) 은 정적 예산 제어에 비해 최대 16% 높은 정확도와 1.9 배 낮은 지연 시간을 달성하여 정확도 - 속도 파레토 프론티어를 크게 진전시켰습니다.
양자화: FP8 및 NVFP4 변형은 BF16 정확도의 **97–100%**를 회복하면서 BF16 변형이 OOM(메모리 부족) 을 일으키는 소비자 등급 GPU(예: RTX 5080) 에서 배포를 가능하게 합니다.

중요성 및 주장

이 논문은 Star Elastic 이 다음과 같은 방식으로 추론 LLM 배포의 패러다임을 근본적으로 전환한다고 주장합니다:

불필요한 학습 제거: 모델 계열 생성을 일련의 비싸고 독립적인 실행이 아닌 단일 패스 프로세스로 만듭니다.
동적 추론 해제: 추론 대 답변 종합의 특정 컴퓨팅 요구 사항에 맞는 자원 할당을 허용하기 위해 정적 아키텍처를 넘어섭니다.
양자화와의 간극 해소: 탄성 중첩 구조가 저정밀도 형식 (NVFP4/FP8) 에서 보존될 수 있음을 입증하여, 여러 모델 크기의 유연성을 희생하지 않고도 리소스 제약 하드웨어에서 고성능 추론을 가능하게 합니다.

저자들은 이 작업을 정확도 측면에서 최첨단이며 다양한 배포 시나리오에 대해 매우 비용 효율적인 "하나에 여러 개 (many-in-one)" 추론 LLM 을 향한 한 걸음으로 위치시킵니다.