🤖 machine learning

Structured Recurrent Mixers for Massively Parallelized Sequence Generation

본 논문은 기존 선형 복잡도 모델에 비해 우수한 훈련 효율성, 정보 용량 및 추론 처리량을 달성하기 위해 병렬 훈련과 순환 추론 간의 대수적 변환을 가능하게 하는 새로운 아키텍처인 구조화된 순환 믹서 (SRM) 를 소개하며, 이는 표준 벤치마크와 강화 학습 작업 모두에서 상당한 성능 향상을 보여줍니다.

원저자: Benjamin L. Badger

게시일 2026-05-12

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Benjamin L. Badger

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 간단한 언어와 창의적인 비유를 사용하여 설명합니다.

큰 문제: "조립 라인" 대 "도서관"

한 단어씩 이야기를 써 내려가고 있다고 상상해 보세요.

오래된 방식 (순환 모델): 책상에 앉아 있는 단 한 명의 작가를 생각해 보세요. 그들은 한 단어를 쓰고, 그것을 기억한 다음, 다음 단어를 쓰고, 이를 반복합니다. 그들은 이야기를 써 내려가면서 기억하는 데 매우 효율적 (낮은 메모리 사용) 이지만, 한 번에 한 단어만 쓸 수 있습니다. 100 개의 이야기를 써야 한다면, 작가가 한 이야기를 끝낼 때까지 기다린 다음 다음 이야기를 시작해야 합니다.
현대 표준 (트랜스포머): 이는 한 번에 이야기의 모든 단어를 찾아볼 수 있는 거대한 도서관과 같습니다. 이는 전체 책을 병렬로 읽을 수 있으므로 학습에는 훌륭합니다. 그러나 이야기를 쓰는 시간 (추론) 이 되면 도서관이 붐빕니다. 다음 단어를 쓰기 위해 도서관은 지금까지 쓴 책 전체를 다시 스캔하여 문맥을 찾아야 합니다. 이야기가 길어질수록 도서관은 점점 더 느려지고, 모든 책을 보관하기 위해 엄청난 공간 (메모리) 이 필요합니다.

딜레마: 우리는 학습을 위해서는 도서관의 속도를 원하지만, 텍스트 생성을 위해서는 단일 작가의 효율성을 원합니다.

해결책: "구조화된 순환 믹서" (SRM)

저자는 구조화된 순환 믹서 (SRM) 라는 새로운 아키텍처를 소개합니다. SRM 은 상황에 따라 모양을 바꿀 수 있는 카멜레온이나 (AI 적 의미가 아닌) 슈퍼히어로의 변신 능력을 가진 존재로 생각할 수 있습니다.

학습 중 (도서관 모드): 모델이 학습할 때는 거대한 도서관처럼 행동합니다. 단어 시퀀스 전체를 한 번에 봅니다. 이는 학습을 빠르고 안정적으로 만듭니다.
추론 중 (작가 모드): 모델이 실제로 텍스트를 생성할 때는 즉시 단일 작가로 전환됩니다. 책 전체를 다시 스캔할 필요가 없으며, 방금 쓴 내용을 담은 작고 일정한 크기의 "노트북" (캐시) 만 유지합니다. 이는 이를 놀라울 정도로 빠르게 만들고 여러 이야기를 동시에 처리할 수 있게 합니다.

마법 같은 점은 SRM 뒤의 수학이 이 두 모드 사이를 대수학적으로 전환할 수 있게 한다는 것입니다. 건물을 허물고 다시 짓지 않고도 "건물을 지을 때는 이 벽돌을 사용하고, 살 때는 이 벽을 사용한다"는 청사진을 가진 것과 같습니다.

이것이 중요한 이유: "배치" 대 "길이"

이 논문은 AI 를 확장하는 방식에 대한 중요한 관찰을 제시합니다.

길이 확장 (이야기): 이 논문은 이러한 "단일 작가" 모델이 무한히 긴 책을 읽도록 만드는 것은 나쁜 아이디어라고 주장합니다. 결국 작가의 기억 (노트북) 이 너무 가득 차서 세부 사항을 잊기 시작합니다. 1 페이지 노트에 1,000 페이지 분량의 소설을 기억하려고 하는 것과 같습니다. 정보를 잃게 될 것입니다.
배치 확장 (군중): 그러나 이러한 모델은 동시에 여러 다른 이야기를 처리하는 데는 놀라울 정도로 뛰어납니다. 각 이야기마다 거대한 도서관이 필요하지 않기 때문에, 서로 방해하지 않고 100 명의 작가가 100 개의 다른 이야기를 병렬로 작업하게 할 수 있습니다.

비유: 커피숍을 상상해 보세요.

트랜스포머는 라떼 한 잔을 내는데 10 분이 걸리는 거대한 에스프레소 머신이 하나 있는 가게와 같습니다. 하지만 거대한 카운터가 있다면 한 번에 100 잔을 내릴 수 있습니다. 주문이 복잡해질수록 머신은 느려집니다.
SRM은 100 개의 간단하고 빠른 수동 추출기가 있는 가게와 같습니다. 각 추출기는 한 잔을 빠르게 만들고 레시피를 머릿속에 기억합니다. 한 개의 추출기로 100 잔 주문을 내는 것은 불가능합니다 (메모리가 너무 많음), 하지만 1,000 명의 추출기를 사용하면 1,000 명의 고객을 동시에 서비스할 수 있습니다.

결과: 속도와 볼륨

이 논문은 새로운 아키텍처를 테스트하여 다음과 같은 인상적인 수치를 발견했습니다.

속도: 표준 하드웨어에서 SRM 은 표준 트랜스포머보다 텍스트 생성 속도가 12 배 더 빠릅니다.
동시성: 트랜스포머보다 170 배 더 많은 동시 요청 (사용자) 을 처리할 수 있습니다.
정확도: 그렇게 빠르고 많은 요청을 처리했음에도 불구하고 지능이 떨어지지 않았습니다. 수학 테스트 (GSM8k) 에서 동일한 컴퓨터 성능을 부여받았을 때, 트랜스포머보다 약 30% 더 많은 문제를 실제로 해결했습니다.

"강화 학습"의 반전

이 논문은 또한 이것이 강화 학습 (시행착오를 통한 AI 교육) 에 어떻게 도움이 되는지 살펴보았습니다.

개에게 물건을 가져오게 가르친다고 상상해 보세요.

표준 접근법: 개를 한 번 보냅니다. 실패하면 다시 시도합니다.
SRM 접근법: SRM 이 매우 빠르기 때문에 50 마리의 개를 동시에 보낼 수 있습니다. 누가 공을 가져왔는지 확인하고, 승리한 개에게만 보상을 줍니다.

이 논문은 많은 샘플을 한 번에 생성하고 "재샘플링"이라는 특별한 트릭 (배우기 위한 충분한 "좋은" 예시가 있는지 확인) 을 사용하여 SRM 이 몇 번만 시도한 모델보다 훨씬 더 잘 학습한다는 사실을 발견했습니다.

요약

구조화된 순환 믹서는 두 세계의 장점을 모두 얻는 새로운 AI 설계입니다.

현대적인 병렬 컴퓨터처럼 효율적으로 학습합니다.
간단하고 메모리가 적은 작가처럼 효율적으로 텍스트를 생성합니다.
동시에 대규모 군중의 사용자를 처리하도록 설계되었으며, AI 가 "하나의 큰 답변"에서 "많은 빠른 답변"으로 이동함에 따라 점점 더 중요해지고 있습니다.

이 논문은 우리가 종종 AI 를 더 똑똑하게 만들기 위해 더 긴 책을 읽게 하려고 시도하지만, 대신 동시에 여러 다른 작업을 처리하는 속도에 집중해야 한다고 결론 내립니다. SRM 은 그 일을 수행하기에 완벽한 도구입니다.

기술 요약: 대규모 병렬 시퀀스 생성을 위한 구조화 재귀 믹서 (Structured Recurrent Mixers)

문제 제기

언어 모델링 분야는 학습 효율성과 안정성을 달성하기 위해 재귀 아키텍처 (RNN, LSTM) 에서 비재귀적 시퀀스 병렬 모델 (Transformer) 로 전환되었습니다. 그러나 이러한 전환은 추론 시 상당한 비용을 수반합니다: Transformer 는 $O(n)$ 메모리와 순차적 토큰 생성을 요구하여 재귀 모델에 비해 낮은 추론 처리량과 동시성을 초래합니다. 반면, 재귀 모델은 샘플당 $O(1)$ 메모리와 효율적인 순차적 생성을 제공하지만, 역사적으로 학습 효율성과 안정성에서 어려움을 겪었으며, 정보 압축 한계로 인해 긴 컨텍스트 길이에 효과적으로 확장하는 데 실패하는 경우가 많았습니다.

하이브리드 접근법 (예: Mamba, Gated Delta Nets) 은 이러한 격차를 해소하려 시도하지만 종종 특수한 장치 커널에 의존하며 여전히 캐시 확장 문제를 직면합니다. furthermore, 출력물이 신속하게 검증될 수 있는 작업 (예: 코드 생성, 수학 증명) 의 경우, "연산 대비 정확도 (accuracy per compute)" 패러다임은 더 크고 정확한 모델에서 적은 수의 샘플을 생성하는 것보다 더 작고 빠른 모델에서 많은 수의 샘플을 생성하는 것이 더 효율적일 수 있음을 시사합니다. 해당 논문은 재귀 모델이 정보 풍부한 입력에 대한 시퀀스 길이 확장에 적합하지 않지만, 샘플당 일정한 메모리 발자국으로 인해 배치 (샘플) 차원에서의 확장에는 이상적으로 적합하다고 주장합니다.

방법론: 구조화 재귀 믹서 (SRMs)

저자들은 특수한 커널이나 장치별 메모리 관리 없이 시퀀스 병렬 표현 (학습용) 과 재귀 표현 (추론용) 을 대수적으로 변환할 수 있도록 설계된 구조화 재귀 믹서 (Structured Recurrent Mixer, SRM) 아키텍처를 소개합니다.

핵심 아키텍처

SRM 은 어텐션이 마스킹된 다층 퍼셉트론 (MLP) 으로 대체된 Transformer 유사 아키텍처인 마스킹 믹서 (Masked Mixer) 를 기반으로 합니다. 주요 혁신은 토큰 믹싱 행렬의 파라미터화에 있습니다:

정성적 특징 매핑: 학습된 마스킹 믹서에 대한 분석 결과, 효율적인 토큰 믹싱 행렬은 특정 정성적 특징을 보임이 드러났습니다: 거의 동일한 값을 가진 열, 거의 동일한 값을 가진 행, 그리고 주대각선으로부터의 거리에 따라 증가하는 가중치 감쇠입니다.
구조적 제약: 대수적 변환을 통해 재귀 형태로 전환할 수 있도록 SRM 은 토큰 믹싱 행렬을 행 반복 (row-repeat) 또는 열 반복 (column-repeat) 구조로 제한합니다.
- 행 반복: 행이 동일한 요소를 포함합니다.
- 열 반복: 열이 동일한 요소를 포함합니다.
- 감쇠: 정보 유지를 관리하기 위해 대각선 또는 비대각선 요소에 학습 가능한 감쇠 상수 $\lambda$ 가 적용됩니다.
대수적 변환: 이러한 제약은 행렬 곱셈 $Y = XM + B$를 고정 메모리 재귀 연산 (논문 내 Equation 2 및 3) 으로 다시 쓸 수 있게 합니다. 재귀 은닉 상태 (캐시) 는 단순한 합 항이 되어 시퀀스 길이와 관계없이 일정한 메모리 ( $O(d)$ ) 만 요구합니다.
하이브리드 헤드: 아키텍처는 "혼합" 헤드를 사용하며, 여기서 헤드의 절반은 행 반복 행렬을, 나머지 절반은 열 반복 행렬을 사용하여 선형 프로젝션을 통해 결합합니다. 이 구성은 학습 효율성과 정보 유지 간의 가장 균형을 잘 잡은 것으로 확인되었습니다.

학습 및 추론

학습: SRM 은 Transformer 와 유사한 시퀀스 병렬성 (토큰 이동) 을 사용하여 학습됩니다. 학습 시의 이차 복잡도는 메모리 전송 오버헤드에 의해 효과적으로 숨겨져, 표준 컨텍스트 길이에서 Transformer 와 비교 가능한 처리량을 보입니다.
추론: 모델은 토큰을 하나씩 생성하고 일정한 크기의 캐시를 업데이트하는 재귀 표현으로 전환됩니다. 이는 대규모 KV 캐시 필요성을 제거하여 메모리 대역폭 요구 사항을 극적으로 줄입니다.

주요 기여

정성적 특징 매핑: 행/열 반복 구조와 감쇠를 강제함으로써 이차 복잡도 모델의 토큰 믹싱 연산을 선형 복잡도 재귀 모델로 매핑하는 방법.
이중 아키텍처 설계: 학습 중에는 시퀀스 병렬성을, 추론 중에는 배치 병렬성을 지원하며, 모델 파라미터나 캐시 구조를 변경하지 않고 두 가지 간에 대수적 변환을 가능하게 하는 아키텍처.
최적화된 추론 엔진: Mojo/MAX 프레임워크를 사용한 SRM 구현으로, 표준 PyTorch 구현 대비 상당한 성능 향상을 입증.
균형 잡힌 리샘플링을 통한 강화 학습: 대규모 배치 강화 학습에서 탐색을 유지하기 위해 "좋은" 샘플과 "나쁜" 샘플이 학습 배치에 혼합되도록 보장하는 그룹 상대 정책 최적화 (GRPO) 를 위한 리샘플링 방법.

실험 결과

학습 효율성

SRM 은 파라미터당 기준으로 $O(n^2)$ Transformer 및 마스킹 믹서보다 학습 효율이 약간 낮지만, 다양한 데이터셋 (FineWeb-edu, FineMath) 에서 Mamba 모델보다 더 효율적입니다.
Mamba 모델이 구형 하드웨어 (예: V100) 에서 상당한 처리량 저하를 겪는 것과 달리, SRM 은 다양한 GPU 아키텍처에서 일관된 성능을 보입니다.

벤치마크 성능

정확도: 연산 동등 벤치마크 (IFEval, SQuAD, GSM8k 등) 에서 Transformer 가 일반적으로 벤치마크를 주도합니다. SRM 은 대부분의 작업에서 Mamba 모델보다 우수하지만, 단일 샘플 정확도에서는 일반적으로 Transformer 보다 뒤처집니다.
정보 유지: SRM 은 Mamba 모델보다 더 높은 정보 유지 능력과 용량을 보이며, 이차 복잡도 모델과 비교 가능합니다. 그러나 모든 재귀 모델과 마찬가지로 컨텍스트 길이가 압축 한계를 초과할 때 정보 손실에 직면합니다.

추론 처리량 및 동시성

처리량: SRM 은 감소된 메모리 전송으로 인해 Transformer 대비 막대한 처리량 개선을 보입니다.
- PyTorch (V100) 에서: SRM 은 컨텍스트 길이에 따라 Transformer 보다 9.66 배에서 43.29 배 높은 처리량을 달성합니다.
- Mojo/MAX (H100) 에서: SRM 은 vLLM 을 통해 추론된 Transformer 보다 12 배 높은 처리량을 달성합니다.
동시성: SRM 은 훨씬 더 큰 배치 크기를 지원합니다.
- Mojo/MAX (H100) 에서: SRM 은 Transformer 보다 170 배 높은 동시성을 달성합니다.
- Mamba 대비: SRM 은 동등한 성능의 Mamba 모델보다 500 배 이상 높은 동시성과 약 7 배 높은 처리량을 보입니다.

강화 학습 및 검증 가능한 출력

Pass@k 확장: GSM8k 의 경우, SRM 은 Transformer 와 유사한 Pass@k 멱법칙을 따릅니다.
연산 효율성: 10~30 배의 처리량 증가로 인해 SRM 은 동일한 연산 예산으로 훨씬 더 많은 샘플을 생성할 수 있습니다. 논문은 연산을 일정하게 유지할 때 SRM 이 Transformer 대비 GSM8k Pass@k 에서 30% 증가를 보고합니다.
RL 학습: 균형 잡힌 리샘플링을 사용하여 대규모 배치 (50 샘플) 에서 GRPO 로 학습된 SRM 은 작은 배치 (5 샘플) 에서 학습된 Transformer 보다 더 높은 단일 샘플 정확도와 더 나은 탐색을 달성합니다.

중요성 및 주장

이 논문은 재귀 모델이 정보 밀집 입력에 대한 시퀀스 길이 확장에 적합하지 않지만, 배치 차원에서의 확장에는 매우 적합하다고 결론지었습니다. SRM 아키텍처는 이차 모델의 학습 효율성과 재귀 모델의 추론 효율성 사이의 격차를 성공적으로 해소합니다.

저자들은 SRM 이 특히 신속한 검증이 가능한 작업에 대해 "연산 대비 정확도" 패러다임을 위한 실현 가능한 길을 제공한다고 주장합니다. 재귀 모델의 일정한 메모리 발자국을 활용함으로써 SRM 은 Transformer 보다 현대 하드웨어의 "메모리 벽" 제한을 더 효과적으로 극복하여 특수 커널 없이도 처리량과 동시성에서 차수급 (order-of-magnitude) 개선을 달성할 수 있습니다. 이 연구는 향후 멀티스레드 하드웨어 트렌드에 대해 메모리 접근에 비해 산술 연산을 극대화하는 SRM 과 같은 아키텍처가 점점 더 지배적이 될 것이라고 시사합니다.