🤖 machine learning

Sparse Delta Memory: Scaling the State of Linear RNNs through Sparsity

이 논문은 고정된 계산 비용과 파라미터 수를 유지하면서도 희소 어드레싱(sparse addressing)을 통해 게이트형 선형 RNN의 은닉 상태 용량을 확장함으로써 장기 문맥 회상(long-context recall) 및 인컨텍스트 학습(in-context learning) 성능을 크게 향상시키는 새로운 아키텍처인 Sparse Delta Memory(SDM)를 소개한다.

원저자: Loïc Cabannes, Pierre-Emmanuel Mazaré, Gergely Szilvasy, Matthijs Douze, Maria Lomeli, Ilze Amanda Auzina, Justin Carpentier, Gabriel Synnaeve, Hervé Jégou

게시일 2026-07-09

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Loïc Cabannes, Pierre-Emmanuel Mazaré, Gergely Szilvasy, Matthijs Douze, Maria Lomeli, Ilze Amanda Auzina, Justin Carpentier, Gabriel Synnaeve, Hervé Jégou

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 100만 단어 길이의 이야기를 기억하려고 노력하고 있다고 상상해 보십시오.

기존의 문제: "서류함" vs "배낭"
현재의 AI 모델(Transformer)은 서류함처럼 작동합니다. 새로운 단어를 읽을 때마다 서류함에 새로운 폴더를 추가하는 방식입니다. 이야기가 짧으면 서류함이 작아서 관리하기 쉽습니다. 하지만 이야기가 100만 단어만큼 길어진다면, 서류함은 거대해지고 무거워지며 검색하기도 느려집니다. 컴퓨터는 이야기의 매 단계마다 이 전체 서류함을 통째로 들고 다녀야 합니다. 이것이 현재의 AI가 매우 긴 문맥을 다룰 때 어려움을 겪는 이유입니다. 공간이 부족해지거나 속도가 너무 느려지기 때문입니다.

다른 모델들(GDN이나 Mamba 같은 선형 RNN)은 더 똑똑하게 행동하려 합니다. 이들은 배낭을 사용합니다. 모든 폴더를 다 들고 다니는 대신, 이야기를 몇 줄의 메모로 요약한 뒤 나머지는 버립니다. 이렇게 하면 이야기가 아무리 길어져도 배낭을 가볍고 빠르게 유지할 수 있습니다. 하지만 문제는 배낭이 너무 작다는 것입니다. 배낭은 아주 작은 요약본만을 담을 수 있기 때문에, AI는 이야기의 끝에 도달할 때쯤이면 이야기 초반의 중요한 세부 사항들을 잊어버리고 맙니다.

새로운 해결책: 희소 델타 메모리 (Sparse Delta Memory, SDM)
이 논문의 저자들은 **희소 델타 메모리(SDM)**라는 새로운 시스템을 소개합니다. 이것을 AI가 즉각적으로 접근할 수 있는 거대하고 마법 같은 도서관이라고 생각하십시오. 다만, AI는 그 순간에 필요한 특정 책들만을 골라서 꺼내 볼 뿐입니다.

작동 방식은 다음과 같습니다 (쉬운 비유를 사용합니다):

거대한 도서관 (메모리):
기존의 작은 배낭 대신, SDM은 수백만 개의 선반이 있는 거대한 도서관을 가지고 있습니다. 이는 기존의 배낭에 비해 엄청나게 큰 규모입니다. 이 도서-관은 이야기에 대한 방대한 양의 정보를 담을 수 있습니다.
똑똑한 사서 (희소 접근 - Sparse Access):
여러분은 "도서관이 그렇게 크다면, 적절한 책을 찾는 데 시간이 너무 오래 걸리지 않을까?"라고 생각할 수도 있습니다.
논문은 아니오라고 답합니다. SDM은 희소(sparse) 시스템을 사용합니다. 예를 들어, 사서가 모든 통로를 일일이 걸어 다니는 것이 아니라, 특수한 인덱스 카드 시스템을 가지고 있다고 상상해 보십시오. AI가 정보가 필요할 때, 현재 단어와 가장 관련이 깊은 아주 적은 수의 특정 선반(예를 들어 수백만 개 중 64개)만을 살펴봅니다. 나머지는 무시합니다.

결과: AI는 거대한 메모리(전체 도서관)의 이점을 누리면서도, 에너지는 단 몇 개의 선반을 확인하는 정도만 소비합니다. 이는 마치 엄청난 능력을 갖춘 슈퍼컴퓨터 뇌를 가졌으면서도, 매 순간 가장 중요한 것에만 "집중"하는 것과 같습니다.

"델타" 업데이트 (포스트잇):
AI가 새로운 것을 배웠을 때, 전체 도서관을 새로 쓰는 것이 아닙니다. SDM은 "델타(Delta)" 규칙을 사용합니다. 이것은 특정 책의 특정 페이지에 포스트잇을 붙이는 것과 같습니다. 기존의 유용한 기억들을 덮어쓰거나 혼란을 주지 않고, 변경이 필요한 부분만을 업데이트합니다. 이를 통해 AI가 기존의 유용한 기억을 "지워버리는" 것을 방지합니다.
"학습된" 시작 (사전 로드된 뇌):
논문은 또한 SDM이 이야기를 읽기 전부터 지식을 "사전 로드(pre-loaded)"할 수 있다고 언급합니다. 사서가 일을 시작하기 전에 일반 상식(역사, 과학, 상식 등)에 관한 백과사전을 미리 건네주는 것을 상상해 보십시오. 이를 통해 AI는 단순히 현재 읽고 있는 이야기를 암기하는 것을 넘어, 세상을 더 잘 이해할 수 있게 됩니다.

이 논문의 발견
연구진은 이 새로운 "도서관"을 기존의 "배낭"(GDN) 및 무거운 "서류함"(Full Attention)과 비교 테스트했습니다.

메모리 vs 속도: 연구진은 메모리를 수천 배 더 크게 만들어도 컴퓨터가 느려지거나 전기를 더 많이 사용하지 않는다는 것을 증명했습니다.
긴 이야기: 매우 긴 작업(책 한 권 전체를 읽거나 긴 코드 프로젝트를 다루는 일 등)을 테스트했을 때, SDM은 기존의 배낭 모델보다 세부 사항을 훨씬 더 잘 기억했습니다. 무거운 서류함 모델과 거의 대등한 성능을 보이면서도 속도 저하라는 페널티는 없었습니다.
더 똑똑한 사고: 메모리가 매우 크기 때문에, AI는 그 안에 일반적인 지식도 저장할 수 있었습니다. 덕분에 AI는 단순히 이야기를 기억하는 것을 넘어, 추론하고 질문에 답하는 능력이 향로되었습니다.

한계점
논문은 한 가지 제한 사항을 인정합니다. 속도는 빠르지만, 이 거대한 도서관을 위한 저장 공간은 여전히 큽니다. 즉, 모델 자체의 크기와 비슷하게 많은 컴퓨터 메모리(RAM)를 차지합니다. 그러나 저자들은 이것이 더 나은 선택이라고 주장합니다. 왜냐하면 "서류함"(현재의 AI) 방식은 이야기가 너무 길어지면 결국 메모리가 완전히 바닥나 버리기 때문입니다.

요약하자면
SDM은 AI에게 방대한, 무한한 공책을 주는 것과 같습니다. AI는 모든 것을 기록할 수 있지만, 필요한 것을 찾기 위해 단 몇 페이지의 책장만 넘기면 됩니다. 이를 통해 AI는 지치거나 느려지지 않고도 긴 이야기를 완벽하게 기억할 수 있습니다.

기술 요약: 희소 델타 메모리 (Sparse Delta Memory, SDM)

문제 정의

Gated DeltaNet (GDN) 및 Mamba2와 같은 선형 순환 신경망(Linear RNN)은 고정된 메모리와 연산량을 제공하여 이론적으로 임의의 긴 문맥을 처리하기에 적합하다는 장점이 있습니다. 그러나 이들의 실제 성능은 작은 은닉 상태(hidden state) 크기로 인해 긴 문맥 회상(long-context recall) 및 인컨텍스트 학습(in-context learning) 측면에서 한계를 보입니다. 표준 선형 RNN에서 상태 크기를 키우면 밀집 상태 업데이트(dense state updates, 행렬-벡터 곱셈)로 인해 FLOPs가 선형적으로 증가하여 계산 병목 현상이 발생합니다. 반대로, 소프트맥스 어텐션(softmax attention)을 사용하는 표준 트랜스포머 구조는 높은 회상 능력을 유지하지만, 시퀀스 길이가 길어짐에 따라 키-값(KV) 캐시 메모리와 연산 비용이 선형적으로 증가하는 문제를 겪습니다.

해결하고자 하는 핵심 과제는 연산량(FLOPs)을 늘리지 않으면서도 선형 RNN의 은닉 상태 용량을 수십 배로 확장하여 긴 문맥 성능을 개선하는 방법입니다.

방법론: 희소 델타 메모리 (SDM)

저자들은 Gated DeltaNet을 확장하여 밀집 키-값 외적(dense key-value outer product)을 Product-Key Memory (PKM) 기반의 희소 주소 지정 방식(sparse addressing scheme)으로 대체한 희소 델타 메모리 (SDM) 아키텍처를 제안합니다.

핵심 메커니즘

명시적 희소 메모리 (Explicit Sparse Memory): 밀집 행렬 $M_t \in \mathbb{R}^{d_{qk} \times d_v}$ 를 유지하는 대신, SDM은 $N$ 개의 슬롯을 가진 명시적 메모리 테이블 $M_t \in \mathbb{R}^{N \times d_v}$ 를 유지하며, 여기서 $N$ 은 은닉 차원보다 수십 배 더 클 수 있습니다 (예: $N \approx 10^6$ ).
희소 키 선택 (Sparse Key Selection): 각 타임스텝에서 투영된 키( $k'$ )와 쿼리( $q'$ )는 두 부분으로 나뉩니다. 이들의 외적 합(outer sum)은 메모리 슬롯에 대한 $N$ 개의 점수를 생성합니다. Top- $W$ (쓰기) 및 Top- $R$ (읽기) 선택 전략을 사용하여 모델은 업데이트하거나 읽어올 특정 메모리 슬롯을 식별합니다. 이 선택 과정은 전체 $N$ 크기의 점수 행렬을 실제로 구현하지 않고도 $\text{topk}(s_1 \oplus s_2) = \text{topk}(\text{topk}(s_1) \oplus \text{topk}(s_2))$ 라는 성질을 활용하여 효율적으로 수행됩니다.
게이트형 델타 업데이트 (Gated Delta Updates): 선택된 $W$ $W$ 개의 쓰기 슬롯에 대해 모델은 다음과 같은 Gated DeltaNet 업데이트 규칙을 적용합니다:
- 망각 게이트 (Forget Gate): $\tilde{M}_t[i] = \alpha_t \cdot M_{t-1}[i]$
- 델타 업데이트 (Delta Update): $M_t[i] = \tilde{M}_t[i] + \beta_t \cdot k^{(i)}_t \cdot (v_t - \tilde{M}_t[i])$
- 선택되지 않은 슬롯은 변경되지 않습니다.
희소 읽기 (Sparse Read): 출력은 선택된 $R$ 개 읽기 슬롯의 가중 합입니다.

IsoFLOP 설계

공정한 비교를 위해 저자들은 SDM을 밀집 GDN 베이스라인과 파라미터 수 및 FLOPs가 일치하도록 설계했습니다:

FLOPs: 토큰당 비용은 $O((W+R) \times d_v)$ 이며, 메모리 크기 $N$ 과는 독립적입니다. $W$ 와 $R$ 을 GDN 베이스라인의 쿼리 차원과 동일하게 설정함으로써 연산 비용을 동일하게 유지합니다.
파라미터: 선형 투영(linear projections)의 크기는 베이스라인과 동일하게 맞추었습니다. 메모리 크기 $N$ 은 헤드 수 $H$ 와 투영 차원을 통해 조절되며, 이를 통해 FLOPs에 영향을 주지 않고 상태 크기를 $O(1/H^2)$ 로 확장할 수 있습니다.

학습된 초기 상태 (Learned Initial State)

일반적으로 작은 상태를 0으로 초기화하는 GDN과 달리, SDM은 초기 메모리 상태 $M_0$ 를 학습 가능한 파라미터로 취급합니다. 이를 통해 모델은 사전 학습 지식을 메모리 구조 내에 직접 저장할 수 있으며, 이는 추론 과정 전반에 걸쳐 지속되는 파라메트릭 메모리(parametric memory) 역할을 합니다.

주요 기여

아키텍처: 연산량(FLOPs)을 일정하게 유지하면서 선형 RNN의 상태 용량을 3단계(예: 킬로바이트에서 기가바이트로) 확장하는 SDM을 제안하였습니다.
IsoFLOP 검증: 연산량을 늘리지 않고 상태 용량만을 높이는 것이 성능 향상에 유의미하다는 것을 입증하였습니다.
파라메트릭 메모리: 선형 RNN을 위한 학습된 초기 상태 $M_0$ 를 도입하여, 이 메커니즘이 공통 지식을 효과적으로 저장하고 추론 작업을 개선함을 보여주었습니다.
스케일링 법칙 (Scaling Laws): SDM이 예측 가능한 스케일링 법칙을 따르며, 밀집 GDN보다 우수하고 8B 규모에서는 Full Attention 모델을 능가한다는 것을 경험적으로 검증하였습니다.

실험 결과

저자들은 1조 개 이상의 토큰을 사용하여 1.4B에서 8B 파라미터 범위의 모델을 훈련했습니다.

스케일링 법칙: 스케일링 래더(scaling ladder) 상에서 SDM은 모든 컴퓨팅 수준에서 GDN보다 일관되게 낮은 훈련 손실(training loss)을 달 achieved 했습니다. 8B 규모에서 SDM은 GDN과 Full Attention 모델 모두보다 낮은 손실에 도달했습니다.
긴 문맥 회상 (RULER 벤치마크): SDM은 긴 문맥 검색 작업에서 GDN을 크게 앞질렀습니다. 1.4B 및 8B 규모에서 SDM은 각각 31.2와 50.2를 기록한 반면, GDN은 20.0과 34.2를 기록했습니다. 주목할 점은, SDM이 고정된 메모리 표현을 사용함에도 불구하고 여러 RULER 하위 작업에서 Full Attention의 성능과 대등하거나 이를 능가했다는 것입니다.
짧은 문맥 및 추론: SDM은 코드 데이터에서 더 낮은 퍼플렉서티(perplexity)를 보였고, 추론 벤치마크(예: MMLU, GSM8K, HumanEval)에서 GDN보다 높은 평균 정확도를 달성했습니다. 8B 규모에서 SDM은 평균 정확도 면에서 Full Attention을 능가했습니다.
절제 연구 (Ablation Studies):
- 상태 크기: 메모리 크기가 줄어듦에 따라 성능이 단조 감소하였으며, 이는 큰 상태 크기가 성능 향상의 주요 동력임을 확인시켜 줍니다.
- 학습된 초기화: $M_0$ 를 학습하는 것은 SDM의 성능을 개선했지만, GDN에는 미미한 이득만을 주었습니다. 이는 큰 용량이 학습된 초기화를 효과적으로 활용하는 데 필수적임을 시사합니다.
- 효율성: SDM의 훈련 처리량(throughput)은 8B 규모에서 GDN보다 1.49배 느렸으나(HBM 메모리 액세스 때문), 추론 시에는 Full Attention보다 6배 빨랐습니다.

의의 및 주장

본 논문은 SDM이 선형 RNN의 효율성과 트랜스포머의 긴 문맥 처리 능력 사이의 간극을 성공적으로 메웠다고 주장합니다. 희소성을 통해 메모리 용량과 계산 비용을 분리함으로써 SDM은 다음을 가능하게 합니다:

고정된 공간/연산: KV 캐시의 무제한적인 메모리 증가 없이 임의의 길이의 시퀀스(최대 100만 토큰까지 시연됨)를 처리할 수 있습니다.
우수한 긴 문맥 성능: 긴 문맥 검색 및 인컨텍스트 학습에서 선형 RNN 중 최고 수준의 결과와 Full Attention에 필적하는 결과를 달성했습니다.
파라메트릭 지식 저장: 메모리 상태 자체에 사전 학습 지식을 학습하고 저장할 수 있는 능력을 갖추어, 일반적인 추론 및 상식 관련 작업을 개선합니다.

저자들은 한계점 또한 인정했습니다. 구체적으로, 모델 파라미터와 맞먹는 거대한 메모리 풋프린트(footprint)로 인해 상당한 HBM 자원이 필요하며, 현재의 커널 구현이 최적화된 밀집 GDN 커널보다 효율성이 낮다는 점입니다. 그러나 저자들은 SDM이 향상된 장기 기억을 가진 에이전트 개발이나 긴 영상 또는 확장된 추론 과정을 처리하는 새로운 가능성을 열어준다고 보고 있습니다.