🤖 machine learning

Preconditioned DeltaNet: Curvature-aware Sequence Modeling for Linear Recurrences

이 논문은 온라인 최소제곱 최적화에서 곡률 정보를 고려한 전처리 기법을 도입하여 델타 규칙 기반 순환 모델 (DeltaNet, GDN, KDA 등) 의 성능을 향상시키고 효율적인 병렬 연산을 가능하게 하는 'Preconditioned DeltaNet'을 제안합니다.

원저자: Neehal Tumma, Noel Loo, Daniela Rus

게시일 2026-04-24

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Neehal Tumma, Noel Loo, Daniela Rus

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 배경: 왜 새로운 방법이 필요한가요? (기억력 과부하)

지금까지의 AI 모델 (Transformer) 은 긴 글을 읽을 때, 모든 단어를 서로 비교하며 기억하는 방식을 썼습니다. 이를 '소프트맥스 어텐션 (Softmax Attention)'이라고 합니다.

비유: 100 페이지의 책을 읽을 때, 매 페이지를 읽을 때마다 앞서 읽은 모든 99 페이지를 다시 한 번 훑어보며 "아, 이 단어는 저때 나왔던 그 단어랑 관련이 있구나!"라고 생각한다고 상상해 보세요.
문제: 책이 100 페이지일 때는 괜찮지만, 10,000 페이지가 되면 계산량이 너무 많아져서 컴퓨터가 멈추거나 매우 느려집니다.

그래서 연구자들은 기억을 간소화하는 방법 (선형 순환 모델) 을 개발했습니다.

기존 방법 (DeltaNet 등): "이전 기억에 새로운 정보를 덧셈하되, 중요하지 않은 건 약하게 지워버리자"는 방식입니다. 하지만 이 방식은 모든 정보를 동일한 비율로 처리합니다.
문제: 어떤 정보는 아주 중요해서 강하게 기억해야 하고, 어떤 정보는 가볍게 넘겨야 하는데, 기존 방식은 "모두 똑같이 10% 씩 지워버린다"는 식으로 처리해서 정밀도가 떨어집니다.

2. 핵심 아이디어: "지형도"를 아는 것 (Curvature-aware)

이 논문은 **최적화 이론 (Optimization Theory)**에서 영감을 받았습니다.

비유: 당신이 산을 내려가서 가장 낮은 곳 (최적의 답) 을 찾고 있다고 상상해 보세요.
- 기존 방법 (1 차 근사): "경사가 가파르면 빨리 내려가고, 완만하면 천천히 가자"고 생각하며 한 걸음씩 나가는 것입니다. 하지만 지형이 울퉁불퉁하면 (곡률이 있을 때) 이 방법은 길을 잃기 쉽습니다.
- 이 논문의 방법 (Preconditioning): 단순히 경사만 보는 게 아니라, **지형의 굽은 정도 (곡률, Curvature)**까지 미리 계산해서 **"이 길은 꺾여 있으니 발걸음을 조절하자"**고 미리 계획을 세우는 것입니다. 이를 **프리컨디셔닝 (Preconditioning)**이라고 합니다.

즉, AI 가 기억을 업데이트할 때, 어떤 정보는 강하게, 어떤 정보는 약하게 다룰지 지형도 (곡률 정보) 를 보고 정밀하게 조절하는 것입니다.

3. 어떻게 구현했나요? (간단한 대각선 근사)

완전한 지형도를 계산하면 너무 복잡하고 느립니다. 그래서 연구자들은 간단한 근사법을 썼습니다.

비유: 복잡한 3D 지형도 대신, 각 방향 (세로, 가로) 에만 초점을 맞춘 1 차원 지도만 본다고 생각하세요.
구현: 연구자들은 '대각선 프리컨디셔너 (Diagonal Preconditioner)'라는 기술을 썼습니다. 이는 모든 정보를 복잡하게 섞지 않고, 각 특징 (Dimension) 마다 독립적으로 중요도를 조절하는 방식입니다.
- 예를 들어, '날씨'에 대한 정보는 강하게 기억하고, '옷차림'에 대한 정보는 가볍게 처리하는 식으로 각자 다른 스케일을 적용합니다.

4. 주요 성과: 더 빠르고, 더 똑똑해짐

이 방법을 적용한 결과 (Preconditioned DeltaNet, PGDN 등) 는 다음과 같은 장점이 있었습니다.

긴 문맥 이해력 향상:
- 비유: 10,000 페이지의 책에서 "10 페이지에 나온 특정 인물의 이름"을 찾아내는 'Needle in a Haystack (건초더미 속 바늘 찾기)' 테스트에서 기존 모델보다 훨씬 정확하게 찾아냈습니다.
- 이유: 중요한 정보를 지우지 않고, 불필요한 정보는 정확히 걸러내기 때문입니다.
계산 효율성 유지:
- 비유: 지형도를 더 정밀하게 보았지만, 계산하는 속도는 여전히 빠릅니다.
- 이유: 복잡한 계산을 피하고 '대각선 근사'를 썼기 때문에, 기존 모델과 거의 비슷한 속도로 작동하면서도 성능은 훨씬 좋아졌습니다.
실제 언어 모델 테스트:
- 3 억 4 천만 개 (340M) 와 10 억 개 (1B) 규모의 모델로 실험했을 때, 상식 추론이나 질문 답변 능력에서 기존 모델 (DeltaNet, GDN, KDA) 보다 일관되게 좋은 결과를 보였습니다.

5. 결론: 왜 이 연구가 중요한가요?

이 논문은 **"기억을 어떻게 관리할 것인가"**에 대한 새로운 설계도를 제시했습니다.

기존: "기억을 무작위로 지우거나 더한다."
새로운 방법: "기억의 **중요도 (곡률)**를 파악해서, 중요한 건 꽉 잡고, 중요하지 않은 건 가볍게 놓는다."

이는 AI 가 더 긴 문서를 읽거나, 더 복잡한 작업을 수행할 때 **기억력 (Recall)**과 처리 속도 (Efficiency) 사이의 균형을 맞춰주는 핵심 기술이 될 것입니다. 마치 고급 운전 보조 시스템이 도로의 굽이를 미리 감지해서 속도를 조절하듯, AI 가 문맥의 흐름을 더 정교하게 이해하게 해주는 것입니다.

한 줄 요약:

"AI 가 긴 글을 읽을 때, 모든 정보를 똑같이 대하는 대신 정보의 중요도 (지형의 굽음) 를 파악하여 정밀하게 조절하는 새로운 기억 방식을 개발하여, 더 빠르고 정확하게 긴 문맥을 이해하게 만들었습니다."

이 논문은 **"Preconditioned DeltaNet: Curvature-aware Sequence Modeling for Linear Recurrences"**로, 대규모 언어 모델 (LLM) 의 긴 컨텍스트 처리를 위한 선형 재귀 (Linear Recurrence) 모델의 성능을 향상시키기 위해 전조건화 (Preconditioning) 개념을 도입한 연구입니다.

주요 내용은 다음과 같습니다.

1. 문제 제기 (Problem)

소프트맥스 어텐션의 한계: 기존 Transformer 의 소프트맥스 어텐션은 시퀀스 길이에 대해 2 차 (Quadratic) 계산 복잡도를 가지므로 긴 컨텍스트 처리에 비효율적입니다.
기존 선형 재귀 모델의 결함: Mamba-2, DeltaNet, Gated DeltaNet (GDN), Kimi Delta Attention (KDA) 과 같은 차수 이하 (Sub-quadratic) 의 재귀 연산자들이 개발되었으나, 이들은 최소제곱법 (Least Squares) 최적화 관점에서 볼 때 **1 차 근사 (First-order approximation)**에 불과합니다.
곡률 (Curvature) 무시: 이러한 모델들은 손실 함수의 곡률 (Key Gram 행렬의 구조) 을 고려하지 않고 단순한 경사 하강법 (SGD) 스텝을 수행합니다. 이로 인해 최적의 해 (Least Squares Solution) 에 수렴하는 속도와 정확도가 제한받습니다.
기존 해결책의 문제: Mesalayer 나 MesaNet 과 같이 정확한 최소제곱 해를 구하려는 시도들은 순차적 의존성 (Sequential dependency) 이나 수치적 불안정성 (Numerical instability) 으로 인해 병렬 처리가 어렵거나 훈련이 불안정했습니다.

2. 방법론 (Methodology)

저자들은 온라인 최소제곱 (Online Least Squares) 이론을 기반으로 재귀 모델에 **전조건화 (Preconditioning)**를 도입하여 곡률 정보를 활용하는 새로운 프레임워크를 제안했습니다.

이론적 동치성 유도:
- 정확한 전조건화 (Exact Preconditioning): 키 그램 행렬 (Key Gram Matrix, $G_t$ ) 의 역행렬을 전조건자로 사용할 경우, **선형 어텐션 (Linear Attention)**과 델타 규칙 (Delta Rule) 기반의 재귀가 수학적으로 동등해지며, 이는 정확한 최소제곱 해를 복원함을 증명했습니다.
- ATQ vs ATK: 전조건자를 쿼리에 적용하는 방식 (Apply-to-Query, ATQ) 과 키에 적용하는 방식 (Apply-to-Key, ATK) 으로 나뉩니다.
실용적 접근: 대각 근사 (Diagonal Approximation):
- 완전한 역행렬 계산은 병렬화가 불가능하므로, **대각 근사 (Diagonal Approximation)**를 사용하여 효율성을 확보했습니다. 이는 Adam 옵티마이저에서 2 차 모멘텀을 대각 성분만 누적하는 방식과 유사합니다.
- 안정성 개선: 학습된 대각 전조건자의 분포가 로그 정규 (Log-normal) 분포를 따르며 꼬리가 길어지는 문제를 해결하기 위해, **비선형 변환 (Squash function)**을 적용하여 전조건자 값을 안정된 구간 $[1/x, x]$ 로 제한했습니다. 이를 통해 수치적 불안정성을 방지하고 학습을 용이하게 했습니다.
DGPS 분류 체계 제안:
- 선형 재귀 모델을 설계하는 4 가지 축인 **Decay (감쇠), Gain (이득), Preconditioner (전조건자), Solve (해법: 오프라인/온라인)**를 기반으로 한 새로운 분류 체계인 DGPS를 제안했습니다. 이는 기존 TTR(테스트 타임 회귀) 과 DPLR(대각 + 저랭크) 프레임워크 간의 간극을 메우고 효율적인 구현을 위한 설계 공간을 명확히 합니다.
구체적 모델:
- 제안된 기법을 DeltaNet, GDN, KDA 에 적용하여 Preconditioned DeltaNet (PDN), PGDN, PKDA를 구현했습니다.
- Chunkwise Parallel Form: 대각 전조건자의 특성을 이용하여 기존 DeltaNet 의 병렬 처리 알고리즘을 수정하여, 전조건자 계산과 재귀 업데이트를 동시에 효율적으로 수행할 수 있는 커널을 개발했습니다.

3. 주요 기여 (Key Contributions)

이론적 통찰: 선형 어텐션과 델타 규칙이 정확한 전조건화 하에서 동치임을 증명하고, 이를 통해 최소제곱 해를 근사하는 새로운 관점을 제시했습니다.
효율적인 알고리즘: 수치적 안정성을 보장하는 대각 전조건자 근사법과 이를 활용한 Chunkwise Parallel Algorithm을 제안하여, 기존 모델과 유사한 속도를 유지하면서 2 차 정보 (곡률) 를 활용할 수 있게 했습니다.
새로운 설계 공간 (DGPS): 선형 재귀 모델의 설계 요소를 체계화하여 향후 모델 개발을 위한 가이드라인을 제공했습니다.
구현 및 오픈소스: 340M 및 1B 파라미터 규모의 모델에 대해 Triton 커널을 구현하고 코드를 공개했습니다.

4. 실험 결과 (Results)

합성 작업 (Synthetic Benchmarks):
- MQAR (Multi-Query Associative Recall): 시퀀스 길이와 키 - 값 쌍의 수를 변화시킨 환경에서 전조건화된 모델 (PDN, PGDN) 이 기존 모델 (DeltaNet, GDN) 보다 일관되게 높은 정확도를 기록했습니다.
- S-NIAH (Needle In A Haystack): 긴 컨텍스트 내 특정 정보를 검색하는 능력에서 전조건화된 모델이 현저히 우수한 성능을 보였습니다. 특히 PGDN 은 긴 컨텍스트에서의 회상 능력이 크게 향상되었습니다.
언어 모델링 (Language Modeling):
- SlimPajama 데이터셋: 340M 및 1B 파라미터 크기로 훈련된 모델에서, 전조건화된 모델들은 공통 추론 (Commonsense Reasoning) 및 문맥 내 검색 (In-context Retrieval) 벤치마크에서 기존 모델보다 더 낮은 퍼플렉시티 (Perplexity) 와 더 높은 정확도를 달성했습니다.
- 효율성: 전조건자 계산으로 인한 오버헤드는 약 10% 수준으로, MesaNet 과 같은 기존 정밀 해법 모델에 비해 20% 이상 빠른 처리 속도를 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 선형 재귀 모델이 단순히 1 차 근사에 머무르지 않고, 곡률 (Curvature) 정보를 고려한 2 차 최적화를 통해 더 효율적이고 정확한 메모리 매핑을 학습할 수 있음을 증명했습니다.

성능 향상: 추가적인 파라미터 오버헤드 없이 (매우 적은 추가 파라미터만 사용) 모델의 회상 능력과 언어 모델링 성능을 획기적으로 개선했습니다.
안정성: 수치적 불안정성을 해결하는 전조건자 파라미터화 기법을 통해, 이론적으로 이상적인 최소제곱 해를 근사하면서도 실제 훈련에서 안정적인 모델을 구축할 수 있음을 보였습니다.
미래 방향: DGPS 분류 체계를 통해 선형 어텐션과 재귀 모델 간의 설계 공간을 통합하며, 향후 더 효율적인 차세대 시퀀스 모델 개발의 기초를 마련했습니다.

요약하자면, 이 연구는 **전조건화 (Preconditioning)**라는 고전적인 최적화 기법을 현대적인 선형 어텐션 모델에 적용하여, 계산 효율성과 장기 기억 능력 (Long-context Recall) 을 동시에 달성하는 새로운 패러다임을 제시했습니다.