💬 NLP

ZAYA1-8B Technical Report

본 논문은 AMD 인프라에서 전적으로 훈련된 8B 파라미터 MoE 추론 모델인 ZAYA1-8B 를 소개하며, 이는 전문화된 4 단계 RL 캐스케이드와 새로운 마르코프 RSA 테스트 시간 계산 방법을 통해 수학 및 코딩 벤치마크에서 최첨단 성능을 달성함으로써 훨씬 더 큰 모델과의 격차를 효과적으로 축소합니다.

원저자: Robert Washbourne, Rishi Iyer, Tomas Figliolia, Henry Zheng, Ryan Lorig-Roach, Sungyeon Yang, Pritish Yuvraj, Quentin Anthony, Yury Tokpanov, Xiao Yang, Ganesh Nanduru, Stephen Ebert, Praneeth Medepal

게시일 2026-05-08

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Robert Washbourne, Rishi Iyer, Tomas Figliolia, Henry Zheng, Ryan Lorig-Roach, Sungyeon Yang, Pritish Yuvraj, Quentin Anthony, Yury Tokpanov, Xiao Yang, Ganesh Nanduru, Stephen Ebert, Praneeth Medepalli, Skyler Szot, Srivatsan Rajagopal, Alex Ong, Bhavana Mehta, Beren Millidge

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

다음은 ZAYA1-8B 기술 보고서를 간단한 언어와 창의적인 비유로 번역한 설명입니다.

큰 그림: 초능력을 가진 작은 뇌

ZAYA1-8B라는 이름의 작지만 지극히 똑똑한 학생을 상상해 보세요. 이 학생의 뇌에는 7 억 개의 활성 뉴런만 있습니다 (인공지능 기준 매우 작은 크기). 하지만 이 학생은 총 80 억 개의 뉴런을 가진 더 큰 '학교'의 일원입니다.

보통 어려운 수학 문제를 풀거나 복잡한 코드를 작성하려면 거대한 뇌 (수십억 개의 매개변수를 가진 대규모 AI) 가 필요합니다. ZAYA1-8B 는 작음에도 불구하고 훨씬 더 큰 '천재' 학생들만큼, 혹은 그보다 더 잘 이러한 어려운 문제들을 해결할 수 있다는 점에서 특별합니다.

어떻게 가능할까요? 세 가지 비밀 병기를 사용하기 때문입니다: 새로운 사고 방식, 특별한 훈련 캠프, 그리고 자신의 작업을 검증하는 독특한 방법입니다.

1. 아키텍처: 전문화된 팀

대부분의 AI 모델은 혼자 모든 일을 하려는 한 사람과 같습니다. 반면 ZAYA1-8B 는 '전문가 혼합 (Mixture of Experts, MoE)'을 사용하여 전문화된 팀처럼 구축되었습니다.

팀: 16 명의 다른 선생님 (전문가) 이 있는 교실을 상상해 보세요. 질문이 들어오면 '라우터 (반장)'가 어떤 선생님이 그 질문에 답하는 데 가장 적합한지 결정합니다.
새로운 반장 (ZAYA1 라우터): 이전 모델에서 반장은 단순한 규칙 따르기 역할이었습니다. ZAYA1-8B 는 누가 가르쳐야 할지 더 나은 결정을 내리는 더 똑똑하고 다층적인 반장을 사용합니다. 이는 항상 올바른 전문가가 업무를 처리하도록 보장합니다.
압축된 도서관 (CCA): 긴 책을 읽거나 긴 이야기를 기억하기 위해 모델은 '압축된 도서관' 시스템을 사용합니다. 모든 책 페이지를 머릿속에 담는 대신, 공간과 에너지를 절약하면서도 모든 중요한 세부 사항을 유지하는 요약된 압축 버전을 저장합니다. 이를 통해 모델은 지치지 않고 매우 긴 대화를 처리할 수 있습니다.

2. 훈련: 말하기 전에 생각하는 법 배우기

이 논문은 이 학생을 추론 기계로 만들기 위해 설계된 독특한 훈련 과정을 설명합니다.

'답변 보존' 가지치기: 선생님들은 종종 교과서 한 페이지에 담기에는 너무 긴 상세한 설명 (추론 흔적) 을 가지고 있습니다. 이야기의 중간을 잘라내면 (논리를 망가뜨리게 됨) ZAYA1-8B 는 특별한 트릭을 사용합니다: 설명의 끝을 잘라내지만 최종 답변은 유지합니다. 이는 전체 사고 과정이 한 번에 들어맞지 않더라도 모델이 계획하고 생각하는 방법을 가르쳐 줍니다.
4 단계 boot 캠프: 기초를 배운 후, 모델은 엄격한 '강화 학습 (RL)' boot 캠프를 거쳤습니다:
1. 워밍업: 열심히 생각하는 데 익숙해지기 위해 쉬운 퍼즐과 수학 문제를 풉니다.
2. 체육관: 모델이 나아질수록 더 어려워지는 400 개의 다양한 퍼즐 생성기가 있는 맞춤형 환경입니다.
3. 메인 이벤트: 실제 수학 및 코딩 도전을 해결합니다. 여기에는 여러 가능한 답변을 생성하고 가장 좋은 것을 선택하는 특별한 '테스트 시간 계산 (TTC)' 단계가 포함됩니다.
4. 연마: 좋은 조수처럼 정중하게 대화하고 지시를 따르는 법을 배우는 최종 단계입니다.

3. 비밀 소스: '마르코프ian RSA'(그룹 사고)

이것이 이 논문에서 가장 혁신적인 부분입니다. 보통 AI 가 어려운 문제를 풀 때, 하나의 긴 연속된 흐름으로 답을 생각하려 합니다. 흐름이 너무 길어지면 AI 는 혼란에 빠집니다.

ZAYA1-8B 는 마르코프ian RSA라는 방법을 사용합니다. 이를 비틀린 릴레이 경기로 생각해 보세요:

경기: 한 선수가 마라톤 전체를 달리는 대신, 모델은 동시에 16 명의 선수 (후보) 를 보냅니다.
계주: 각 선수는 짧고 안전한 거리 (4,000 단어의 '꼬리') 만 달립니다. 그들은 경기의 전체 역사를 운반하지 않고, 다음 라운드로 마지막 몇 걸음 (꼬리) 만 전달합니다.
집계: '코치'가 16 명의 선수 모두의 마지막 몇 걸음을 살펴보고, 가장 좋은 아이디어들을 결합하여 다음 라운드로 보냅니다.
결과: 사고 과정을 작고 관리 가능한 조각으로 나누고 팀이 가장 좋은 경로를 투표로 결정함으로써, ZAYA1-8B 는 보통 훨씬 더 큰 뇌가 필요했던 AIME 및 HMMT 대회와 같은 매우 어려운 수학 문제를 해결할 수 있습니다.

비유: 거대한 퍼즐을 맞추려 한다고 상상해 보세요.

옛 방식: 한 사람이 퍼즐 전체를 한 번에 머릿속에 담으려 합니다. 압도당하게 됩니다.
ZAYA1-8B 방식: 16 명의 사람을 보내 작은 섹션에서 일하게 합니다. 그들은 자신의 섹션에서 몇 조각만 다음 그룹에 전달합니다. 그룹은 이러한 작은 조각들을 결합하여 전체 그림을 만듭니다. 이는 더 빠르고, 메모리를 덜 사용하며, 더 좋은 결과를 얻습니다.

4. 하드웨어: AMD 기반 구축

전체 모델은 AMD 컴퓨터 칩(특히 MI300X GPU)을 사용하여 훈련되었습니다. 이는 큰 일입니다. 최상위 추론 모델을 훈련시키기 위해 가장 비싸고 독점적인 칩이 필요하지 않다는 것을 입증했기 때문입니다. 팀은 올바른 소프트웨어와 하드웨어 설정을 통해 AMD 칩이 복잡한 AI 훈련의 중량을 견딜 수 있음을 보여주었습니다.

5. 결과: 작지만 강력함

이 논문은 다음과 같은 설정으로 다음과 같은 결과를 주장합니다:

ZAYA1-8B(07 억 개의 활성 매개변수만 보유) 는 수학 및 코딩 테스트에서 DeepSeek-R1(370 억 개의 활성 매개변수 보유) 을 이기거나 맞먹습니다.
'마르코프ian RSA' 그룹 사고 방법을 사용할 때, Gemini-2.5 Pro 및 GPT-5-High와 같은 거대하고 비싼 모델과 매우 근접한 점수를 어려운 수학 대회에서 얻습니다.

요약

ZAYA1-8B는 거대한 뇌가 천재가 되기에 필수적이지 않음을 입증하는 작고 효율적인 AI 입니다. 스마트한 팀 구조, 답변을 안전하게 유지하는 특수 훈련 방법, 그리고 사고를 위한 '그룹 릴레이' 전략을 사용하여 더 큰 경쟁자들의 컴퓨팅 파워의 일부만으로도 가장 어려운 수학 및 코딩 문제를 해결할 수 있습니다.

기술 요약: ZAYA1-8B

1. 문제 제기

본 논문은 거대한 파라미터 수에 의존하지 않고 대규모 언어 모델에서 고수준의 수학 및 코딩 추론 능력을 달성하는 과제를 다룹니다. 최첨단 모델들은 종종 수천억 개의 파라미터를 활용하지만, 아키텍처 혁신, 추론 중심의 훈련, 그리고 효율적인 테스트 시간 계산 (TTC) 전략을 통해 훨씬 적은 활성 파라미터로 경쟁력 있는 추론이 가능한지 확인해야 할 필요성이 있습니다. 구체적으로, 저자들은 10 억 개 미만의 활성 파라미터를 가진 모델이 AIME 및 HMMT 와 같은 벤치마크에서 훨씬 더 큰 오픈 가중치 및 독점 추론 모델들의 성능을 맞먹거나 능가할 수 있는지 조사합니다.

2. 방법론

아키텍처: Zyphra MoE++

ZAYA1-8B 는 총 80 억 파라미터와 7 억 활성 파라미터를 가진 전문가 혼합 (MoE) 모델입니다. 표준 트랜스포머 MoE 설계 대비 세 가지 주요 아키텍처 수정을 도입합니다:

압축 합성곱 어텐션 (CCA): 표준 어텐션을 대신하여 경량 합성곱 다운프로젝터를 도입하여 압축된 잠재 공간에서 시퀀스 혼합을 수행합니다. 이는 FLOPs 와 KV 캐시 크기를 줄여 효율적인 긴 컨텍스트 훈련 및 추론을 가능하게 합니다.
ZAYA1 라우터: 표준 선형 라우터를 대신하여 지수 깊이 평균화 (EDA) 로 강화된 다층 MLP 기반 설계를 도입합니다. 이는 라우팅 표현력을 높이고, 전문가 전문화를 개선하며, 상당한 파라미터 오버헤드 없이 부하 균형을 안정화합니다.
학습된 잔여 스케일링: 잔여 스트림과 레이어 출력에 학습된 편향 및 게이트 계수를 적용하여 깊이에 따른 잔여 노름 성장을 제어하고, 미미한 파라미터 비용으로 기울기 소실을 방지합니다.

훈련 파이프라인

이 모델은 전체 스택 AMD 컴퓨팅 플랫폼 (MI300X GPU 및 Pensando Pollara 네트워킹) 에서 처음부터 훈련되었습니다. 훈련 과정은 다음과 같습니다:

사전 훈련 및 중기 훈련: 초기부터 추론 데이터 (긴 체인 오브 씽킹) 를 포함합니다. 컨텍스트 윈도우보다 긴 추론 흔적을 처리하기 위해 새로운 답변 보존 (AP) 트리밍 방식이 사용됩니다. 이 방법은 추론 흔적의 꼬리를 잘라내되 최종 답변은 보존하여, 모델이 더 짧은 컨텍스트 길이 (4K, 32K, 131K) 에서도 긴 CoT 데이터로부터 학습할 수 있게 합니다.
지도 미세 조정 (SFT): 131K 컨텍스트 길이에서 수행되며, 채팅, 지시 따르기, 코드, 수학, 그리고 테스트 시간 계산을 위한 집계 예시에 중점을 둡니다.
강화 학습 (RL) 캐스케이드: 4 단계의 사후 훈련 파이프라인:
1. 추론 워밍업: 수학, 퍼즐, 그리고 TTC 흔적.
2. RLVE-Gym 커리큘럼: 톰슨 샘플링과 IRT 를 사용하여 0.5 통과율에 맞게 난이도가 조정된 400 개의 적응형 퍼즐형 환경.
3. 수학 + 코드 + TTC: 올림피아드 수학, 경쟁 프로그래밍, 그리고 테스트 시간 계산 프롬프트를 결합한 두 단계. 생성된 코드 환경 (I/O 예측, 재구성, 위조) 을 포함합니다.
4. 행동 RL: 채팅 스타일과 지시 따르기를 위한 최종 단계.

RL 파이프라인은 비동기 훈련을 위한 PipelineRL, 신뢰 영역 마스킹을 위한 DPPO Binary-TV, 손실 집계를 위한 Dr-GRPO, 그리고 이점 추정을 위한 MaxRL을 활용합니다. 핵심적으로, 저자들은 MoE 특유의 로짓 불일치로 인한 훈련 불안정을 방지하기 위해 롤아웃 엔진에서 전문가 라우팅 결정을 재사용하는 라우터 리플레이를 구현합니다.

테스트 시간 계산: Markovian RSA

본 논문은 Markovian Thinking 의 제한된 작업 공간 원칙과 재귀적 자기 집계 (RSA) 를 결합한 테스트 시간 계산 방법인 Markovian RSA를 소개합니다.

메커니즘: 모델은 병렬로 $N$ 개의 후보 추론 흔적을 생성합니다. 전체 체인을 다음 집계 라운드에 전달하여 컨텍스트가 선형적으로 증가하는 대신, 각 흔적의 최종 $\tau$ 토큰 (꼬리) 만 전달합니다.
효율성: 이는 롤아웃당 추론 예산 ( $\beta$ ) 과 관계없이 집계 컨텍스트 크기 ( $C \times \tau$ ) 를 제한하여 어텐션 비용이 폭발하지 않으면서도 깊은 추론을 가능하게 합니다.
훈련 통합: 모델은 전문가 롤아웃 (SFT) 과 자기 롤아웃 (RL) 으로 구성된 집계 예제로 훈련되어, 후보 꼬리를 효과적으로 집계하는 방법을 학습합니다.

3. 주요 기여

ZAYA1-8B 모델: 0.7B 활성 / 8B 총 파라미터 MoE 모델로, 경쟁력 있는 추론 성능을 달성합니다.
Markovian RSA: 제한된 컨텍스트로 재귀적 추론 정제를 가능하게 하는 새로운 TTC 방법으로, 추론 깊이와 컨텍스트 윈도우 크기를 분리합니다.
답변 보존 트리밍: 흔적 길이보다 짧은 사전 훈련/중기 훈련 컨텍스트에서 긴 CoT 데이터를 사용할 수 있게 하는 데이터 구축 기법입니다.
안정적인 MoE RL 훈련: PipelineRL 을 MoE 모델에서 안정화하기 위해 라우터 리플레이와 특정 정밀도 설정 (BF16 과 선택적 FP32 연산) 의 필요성을 입증합니다.
AMD 스택 검증: 대규모 MoE 사전 훈련 및 긴 컨텍스트 훈련을 위한 AMD MI300X 및 Pollara 네트워킹 스택을 검증합니다.

4. 결과

Zyphra 하네스에서 평가된 ZAYA1-8B 는 다음과 같은 성능을 보입니다:

단일 롤아웃 성능: AIME'26(89.1% 대 87.5%) 및 HMMT'26(71.6% 대 79.4% - 참고: DeepSeek-R1-0528 은 표 XI 에서 79.4% 이지만, 본문에서는 79.4% 대 ZAYA1 의 71.6% 로 언급됨; 그러나 논문은 ZAYA1 이 여러 벤치마크에서 DeepSeek-R1-0528 을 맞먹거나 능가한다고 주장하며, 표 VIII 에서는 AIME'26 에서 ZAYA1 이 89.1%, DeepSeek-R1-0528 이 87.5% 로 나타남)을 포함한 여러 벤치마크에서 DeepSeek-R1-0528(37B 활성 / 671B 총) 을 맞먹거나 능가합니다. Nemotron-3-Nano-30B-A3B 및 Qwen3-Next-80B-A3B-Think와 같은 더 큰 오픈 가중치 모델들과도 경쟁합니다.
테스트 시간 계산 (TTC) 성능: Markovian RSA(40K 추론 예산, 4K 꼬리) 를 사용하면 ZAYA1-8B 는 AIME'25 에서 91.9%, **HMMT'25 에서 89.6%**에 도달합니다. 이는 Gemini-2.5 Pro, DeepSeek-V3.2, GPT-5-High와 같은 훨씬 더 큰 독점 모델들과의 격차를 좁힙니다.
확장 효율성: 모델은 단 0.7B 활성 파라미터로 이러한 결과를 달성하여, 활성 파라미터 수와 추론 시간 토큰이 상호 보완적인 확장 축임을 시사합니다.

5. 중요성 및 주장

본 논문은 모델 아키텍처, 추론 중심 훈련, 검증 가능한 RL, 그리고 테스트 시간 집계가 공동 설계될 때 10 억 미만의 활성 파라미터로도 경쟁력 있는 수학 추론이 가능하다고 주장합니다.

효율성: ZAYA1-8B 는 소규모 활성 파라미터 MoE 모델이 테스트 시간 계산을 활용하여 프론티어 규모 모델의 성능에 접근할 수 있음을 보여주며, 활성 파라미터 $\times$ 생성 토큰 비용 측면에서 유리한 트레이드오프를 제공합니다.
훈련 설계: 결과는 특정 추론 워크플로우 (Markovian RSA) 를 위한 훈련의 중요성과 MoE RL 에서 라우터 리플레이와 같은 안정화 메커니즘의 결정적 역할을 강조합니다.
하드웨어: 이 작업은 복잡한 MoE 추론 모델 훈련을 위한 AMD 전체 스택 플랫폼의 검증을 제공합니다.
한계: 저자들은 모델이 추론과 코드에서는 뛰어나지만, BFCL-v4 및 $\tau^2$ 와 같은 벤치마크에서는 전용 멀티턴 에이전트 RL 을 가진 모델보다 뒤처진다고 지적합니다. 또한, 지식 벤치마크 (MMLU-Pro, GPQA) 에서는 규모 대비 강력하지만, 훨씬 더 큰 모델들과의 격차를 완전히 메우지는 못하며, 이는 추론과 사실적 저장이 다르게 확장된다는 직관과 일치합니다.

본 논문은 집계 워크플로우를 활용하도록 훈련되고 효율적인 긴 컨텍스트 처리를 지원하는 아키텍처를 갖춘 경우, 테스트 시간 계산이 추론 중심의 소규모 모델들에게 유망한 길이임을 결론짓습니다.