💬 NLP

MoVE: Mixture of Value Embeddings -- A New Axis for Scaling Parametric Memory in Autoregressive Models

이 논문은 동적인 소프트 게이팅(soft gating)을 갖는 학습 가능한 밸류 임베딩(value embeddings)의 글로벌 뱅크를 활용함으로써, 텍스트 및 이미지 생성에서 활성 FLOPs를 증가시키지 않고도 확장 가능한 용량 개선을 가능하게 하여 자기회귀 모델에서 파라미터 메모리와 계산 비용을 분리하는 새로운 메커니즘인 MoVE(Mixture of Value Embeddings)를 소개한다.

원저자: Yangyan Li

게시일 2026-02-02

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yangyan Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 문제: "무거운 배낭"의 딜레마

AI 모델(이야기를 쓰거나 이미지를 만드는 모델 같은 것)을 엄청난 양의 지식을 배우려는 학생이라고 상상해 보세요.

기존의 AI 모델에서는 학생이 더 많은 사실(예: 모든 나라의 수도나 사실적인 노을을 그리는 법)을 알게 하고 싶다면, 학생의 뇌를 물리적으로 더 크게 만들어야 합니다. 이는 뉴런의 층(layer)을 더 추가하는 방식으로 이루어지는데, 이는 마치 학생에게 더 무거운 배낭을 메워주는 것과 같습니다.

함정: 배낭이 무거워지면 학생은 느려집니다. 학생이 한 걸음(단어나 픽셀을 생성)을 내디딜 때마다, 그 무거운 배낭 전체의 무게를 짊어져야 하기 때문입니다. 더 똑똑해지려면 속도와 에너지라는 엄청난 대가를 치러야 합니다.

해결책: MoVE ( "공유 도서관" 시스템)

저자들은 MoVE(Mixture of Value Embeddings)라고 불리는 새로운 시스템을 소개합니다. 학생의 배낭을 더 무겁게 만드는 대신, 학생의 책상 바로 옆에 놓인 마법 같은 공유 도서관을 제공하는 것입니다.

작동 방식은 다음과 같습니다:

글로벌 도서관 (Value Embedding Bank):
수백만 개의 "개념 카드"가 담긴 거대한 책장을 상상해 보세요. 어떤 카드는 "고양이 그리는 법"이라고 적혀 있고, 다른 카드는 "'정의'의 정의", 또 다른 카드는 "벨벳의 질감"이라고 적혀 있을 수 있습니다. 이 도서관은 학생의 뇌 모든 부분에 의해 공유됩니다. 누구나 동일한 카드를 사용할 수 있습니다.
똑똑한 사서 (Soft Gating Mechanism):
학생이 문장을 쓰거나 그림을 그려야 할 때, 도서관 전체를 들고 다니지 않습니다. 대신, 아주 작고 빠른 "사서"(gating mechanism)가 학생이 지금 무엇을 하고 있는지 살핍니다.
- 만약 학생이 고양이에 대해 쓰고 있다면, 사서는 도서관에서 즉시 "고양이" 카드를 꺼내옵니다.
- 만약 노을에 대해 쓰고 있다면, 사서는 "노을" 카드를 꺼내옵니다.
- 사서는 이 특정한 카드들을 학생의 현재 생각과 혼합합니다.
결과:
학생의 뇌(메인 모델)는 작고 가볍게 유지됩니다. 학생은 도서관 안에 있는 모든 사실을 머릿속에 직접 암기할 필요가 없습니다. 대신, 공유 도서관에서 사실을 찾는 방법만 알면 됩니다.
- 기존 방식: 1,000개의 사실을 알기 위해서는 거대한 뇌가 필요합니다.
- MoVE 방식: 도서관에 더 많은 카드를 추가하기만 하면, 뇌를 더 크게 만들거나 느리게 만들지 않고도 1,000,000개의 사실을 알 수 있습니다.

논문에서 실제로 테스트한 내용

연구진은 단순히 아이디어만 제시한 것이 아니라, 이것이 작동함을 증명하기 위해 두 가지 주요 분야에서 테스트를 진행했습니다.

텍text 작성: 이 시스템을 사용하여 텍스트를 학습시키는 모델을 훈련했습니다. 그 결과, MoVE를 사용하는 모델은 동일한 크기의 표준 모델보다 실수가 적고 더 나은 문장을 작성한다는 것을 발견했습니다. 더 중요한 점은, 도서관에 더 많은 "카드"를 추가하여 모델을 더 똑똑하게 만들 수 있었으며, 이를 통해 속도가 저하되지 않고도 계속해서 성능이 향상되었다는 것입니다.
이미지 생성: 텍스트 설명을 그림으로 바꾸는 모델(이미지 생성 모델)에서도 테스트를 진행했습니다. MoVE 모델은 표준 모델보다 더 선명하고 정확한 이미지를 생성했습니다.

또한 연구진은 데이터를 압축하여 공간을 절약하는 특수한 고속 AI(MLA라고 불림)에서도 테스트를 진행했습니다. MoVE는 여기서도 완벽하게 작동하여, 다양한 유형의 AI "두뇌"에 적용 가능한 유연한 도구임을 입증했습니다.

핵심 요점

이 논문은 "더 많은 지식 = 더 느린 속도"라는 오래된 규칙을 MoVE가 깨뜨렸다고 주장합니다.

이렇게 생각해보세요:

표준 AI: 더 많이 배우려면 더 크고 느린 공장을 지어야 합니다.
MoVE AI: 공장의 크기는 그대로 유지하되, 바로 옆에 거대하고 효율적인 창고를 짓는 것입니다. 공장 직원들은 창고에서 필요한 것을 즉시 가져올 수 있습니다.

이를 통해 우리는 "메모리 밀도가 높은" 모델, 즉 매우 해박하고 풍부한 사실을 갖추고 있으면서도 이를 실행하기 위해 막대한 비용이 드는 컴퓨터를 필요로 하지 않는 AI를 구축할 수 있습니다. 논문은 이 "공유 도서관"의 크기를 키우는 것만으로도, 일반적인 속도 저하의 페널티 없이 AI를 더 똑똑하게 만들 수 있음을 보여줍니다.

기술 요약: MoVE (Mixture of Value Embeddings)

1. 문제 정의

현대 생성형 AI의 근간인 자기회귀적 시퀀스 모델링은 근본적인 구조적 병목 현상에 직면해 있습니다. 바로 파라미터 메모리(모델이 사실적 지식이나 시각적 패턴을 저장하는 능력)와 연산 비용(computational cost) 사이의 경직된 결합입니다. 전통적으로 모델의 메모리 용량을 늘리려면 네트워크를 더 깊게 만들거나 넓혀야 하며, 이는 훈련 및 추론 시 비례적인 선형적 FLOPs 증가를 초래합니다. 이로 인해 "메모리 밀도가 높은(memory-dense)" 모델—방대한 백과사전적 또는 시각적 지식을 가진 모델—은 계산 비용이 지나치게 높다는 트레이드오프가 발생합니다. 본 논문은 이러한 결합을 깨뜨려, 네트워크 깊이와 직교하는 새로운 축으로서 용량을 확장하는 방법을 모색합니다.

2. 방법론: MoVE

저자들은 어텐션(Attention) 메커니즘의 Value 스트림을 증강함으로써 메모리와 연산을 분리하는 **MoVE (Mixture of Value Embeddings)**를 소개합니다.

핵심 아키텍처

글로벌 Value 임베딩 뱅크 (Global Value Embedding Bank): MoVE는 모든 어텐션 레이어가 접근할 수 있는 "개념 벡터"(예: 언어적 정의 또는 시각적 속성)의 공유 저장소인 학습 가능한 글로벌 텐서 $E \in \mathbb{R}^{N_{vocab} \times M \times d}$ 를 도입합니다. 여기서 $M$ 은 토큰당 임베딩 슬롯의 개수입니다.
역할의 분리: 입력 임베딩( $W_I$ )이 어텐션 패턴을 생성하는 역할과 의미적 내용을 전달하는 역할을 동시에 수행하는 표준 트랜스포머와 달리, MoVE는 이를 분리합니다. $W_I$ 는 라우팅을 위해 콤팩트하게 유지되는 반면, Value 임베딩 뱅크 $E$ 는 오직 Value 스트림만을 위한 고용량 저장소 역할을 합니다.
소프트 게이팅(Soft Gating)을 통한 동적 혼합: 각 시퀀스 단계와 어텐션 헤드에 대해, 모델은 뱅크 내의 모든 슬롯에 대한 미분 가능한 소프트 게이팅 계수를 계산합니다. 최종 Value 텐서 $V_S^{(h)}$ 는 표준 밀집 투영(standard dense projection)과 검색된 글로벌 임베딩의 가중 합으로 계산됩니다:
$V_S^{(h)} = g_{t,0}^{(h)} \odot V^{(h)} + \sum_{i=1}^{M} g_{t,i}^{(h)} \odot M_{t,i}^{(h)}$
게이트 $g_{t,0}$ 는 표준 경로를 제어하고, $g_{t,i}$ 는 특정 메모리 슬롯의 기여도를 제어합니다. 이를 통해 모델은 로컬 컨텍스트와 글로벌 파라미터 지식 사이의 균형을 동적으로 조절할 수 있습니다.
레이어 간 공유: 결정적으로, 임베딩 뱅크 $E$ 는 모든 $L$ 개의 어텐션 레이어에 걸쳐 공유됩니다. 이는 "그래디언트 고속도로(gradient highways)"를 생성하여, 개념이 보다 빠르고 견고하게 학습되도록 하며, 레이어별 구성에서 희소(sparse)해질 수 있는 파라미터의 신호를 효과적으로 밀집시킵니다.

효율적인 아키텍처와의 통합

본 논문은 MoVE가 **다중 헤드 잠재 어텐션(Multi-Head Latent Attention, MLA)**에 원활하게 통합될 수 있음을 보여줍니다. 메모리를 풀 랭크(full-rank) Value 벡터에 주입하는 대신(이는 MLA의 효율성을 상쇄할 수 있음), MoVE는 압축된 저차원 잠재 공간( $c_{KV}$ )에 직접 글로벌 메모리를 주입합니다. 이는 MLA의 추론 효율성(KV 캐시 압축을 통해)을 유지하면서도 모델의 파라미터 메모리 용량을 확장합니다.

3. 주요 기여

새로운 스케일링 축: MoVE는 네트워크 깊이와 독립적으로 파라미터 메모리를 확장하는 방법을 확립했습니다. 임베딩 슬롯( $M$ )을 늘림으로써, 모델은 계산적 깊이나 FLOPs를 증가시키지 않고도 "메모리 밀도가 높은" 모델이 될 수 있습니다.
모달리티 불가지론적 설계 (Modality-Agnostic Design): 이 메커니즘은 텍스트 및 이미지 생성 모두에서 검증되어, 다양한 자기회귀적 모달리티에 적용 가능함을 입증했습니다.
MLA와의 시너지: 본 연구는 메모리 증강과 추론 압축(MLA)이 상호 보완적임을 보여줍니다. 즉, MoVE는 고차원 텐서를 실체화하지 않고도 압축된 잠재 공간의 용량을 높일 수 있습니다.
어블레이션(Ablation) 통찰: 연구는 글로벌 공유 뱅크와 게이팅 메커니즘의 기여를 분리하여, 글로벌 아키텍처가 효율성의 주요 동력인 반면, 표준 경로를 게이팅하는 것은 검색된 지식과 로컬 컨텍스트 사이를 중재하는 데 필수적임을 밝혀냈습니다.

4. 실험 결과

저자들은 텍스트의 경우 nanochat 프레임워크를, 이미지의 경우 LlamaGen을 사용하여 MoVE를 표준 트랜스포머 및 레이어별 Value 임베딩(LaVE)과 엄격하게 통제된 환경에서 비교 실험했습니다.

텍스트 생성 (FineWeb-Edu):
- MoVE는 모든 모델 깊이(D12, D20, D32)에서 표준 및 LaVE 베이스라인보다 일관되게 우수한 성능을 보였습니다.
- 확장성: LaVE의 성능은 메모리가 레이어 수와 결합됨에 따라 빠르게 포화된 반면, MoVE는 지속적인 개선을 보여주었습니다. 예를 들어, D12 모델에서 MoVE 슬롯을 $\times8$ (4L)로 늘렸을 때, 검증 BPB(Bits Per Byte)가 0.838(Standard)에서 0.797로 감소하여 0.041의 이득을 얻었습니다.
- 효율성: MoVE- $\times1$ 은 LaVE- $\times2$ 의 절반에 해당하는 슬롯을 가짐에도 불구하고 LaVE- $\times2$ 와 대등하거나 더 높은 성능을 보였으며, 이는 글로벌 공유를 통한 우수한 파라미터 활용도를 시사합니다.
이미지 생성 (ImageNet):
- GPT-B (111M) 및 GPT-L (343M) 모델에서 MoVE는 이미지 충실도를 크게 향상시켰습니다.
- GPT-B의 경우, MoVE는 FID(Fréchet Inception Distance)를 6.53(Standard)에서 5.62로 낮추었습니다.
- 주목할 점은, LaVE 베이스라인이 GPT-L 규모에서 성능이 저하된 반면(FID 3.77 vs 3.47), MoVE는 3.10의 FID를 기록하며 명확한 우위를 유지했습니다.
MLA 통합:
- Multi-Head Latent Attention에 적용된 MoVE는 $\times32$ 메모리 밀도까지 단조로운(monotonic) 스케일링을 보여주었습니다.
- MLA의 압축 덕분에, $\times32$ MoVE 설정은 표준 $\times1$ 뱅크와 유사한 파라미터 수를 추가하면서도 상당한 BPB 이득(D12에서 0.0136)을 달랐으며, 이는 메모리 스케일링이 네트워크를 깊게 만들 필요가 없음을 확인시켜 줍니다.

5. 의의 및 주장

본 논문은 MoVE가 메모리는 저렴하고 지능(연산)은 고정된 독특한 "스케일링 경제(scaling economy)"를 제공한다고 주장합니다. 파라미터 메모리를 계산적 깊이로부터 분리함으로써, MoVE는 거대한 밀집 네트워크의 과도한 비용 없이도 방대한 지식을 보유한 메모리 밀집 모델을 구축할 수 있게 합니다.

저자들은 MoVE를 자기회귀 모델의 범용적인 부스터로 위치시키며, 사용자가 혼합 구성 요소를 늘리는 것만으로 용량을 확장할 수 있다고 설명합니다. 또한 한계점으로, MoVE가 FLOPs는 줄이지만 메모리 대역폭 비용을 유발하며, 추가 파라미터당 현재의 파라미터 효율성은 표준 밀집 스케일링보다 낮다는 점을 인정합니다. 그럼에도 불구하고, 이 연구는 네트워크 깊이와 직교하는 새로운 스케일링 차원을 확립하여 미래의 생성형 AI 시스템을 위한 유망한 아키텍처 프리미티브를 제시합니다.