🤖 machine learning

DeltaLog: Deferred Materialization of Recurrent States for Linear Attention Decoding

DeltaLog는 전체 상태를 구체화하는 것을 유예하고 대신 제한된 로그에 압축된 업데이트를 추가한 뒤 이를 주기적으로 병합하는 방식을 통해 선형 어텐션 모델을 가속화함으로써, 메모리 트래픽을 크게 줄이고 엔드 투 엔드 서빙 속도를 향상시키는 순환 상태 디코딩 기법이다.

원저자: Junqing Lin, Jingwei Sun, Guangzhong Sun

게시일 2026-08-18

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Junqing Lin, Jingwei Sun, Guangzhong Sun

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

챗봇에서 창의적 글쓰기 보조 도구에 이르기까지, 텍스트를 생성하는 현대의 인공지능 시스템은 '자기회귀 디코딩(autoregressive decoding)'이라 불리는 근본적인 과정에 의존합니다. 이 과정에서 컴퓨터는 이미 생성된 단어들을 활용해 다음 단어를 예측하며 문장의 다음 단어를 한 번에 하나씩 예측합니다. 수년 동안 가장 강력한 모델들은 현재의 예측에 어떤 이전 단어가 가장 중요한지를 결정하기 위해 '어텐션(attention)'이라고 알려진 메커니즘을 사용해 왔습니다. 이 방식은 매우 효과적이지만, 하나의 병목 현상을 만들어냅니다. 대화가 길어질수록 시스템은 지금까지 본 모든 단어의 계속해서 확장되는 목록을 끊임없이 저장하고 불러와야 하며, 이는 막대한 양의 컴퓨터 메모리를 소비하고 응답 시간을 늦춥니다. 이를 해결하기 위해 연구자들은 확장되는 목록 대신, 새로운 단어가 추가될 때마다 업데이트되는 고정된 크기의 요약본, 즉 '상태(state)'를 사용하는 새로운 부류의 모델들을 개발했습니다. 이러한 변화는 모든 과거 토큰을 기억할 필요를 없애주지만, 대신 시스템이 새로운 단어가 추가될 때마다 이 전체 요약본을 끊임없이 다시 써야 한다는 다른 문제를 야기하며, 이는 컴퓨터 메모리에 심각한 교통 체증을 유발합니다.

중국과학기술대학교의 연구팀은 이러한 지속적인 재작성 과정을 주요한 비효율성으로 식별하고, '델타로그(DeltaLog)'라고 부르는 해결책을 고안해 냈습니다. 델타로그는 컴퓨터가 매 단어마다 대화의 전체 요약본을 다시 쓰도록 강요하는 대신, 시스템이 완전하고 안정적인 버전의 요약본을 유지하면서 가장 최근의 변화만을 설명하는 작고 압축된 노트를 첨부할 수 있도록 합니다. 시스템은 이 작은 노트들이 일정량 쌓인 후에만 전체 요약본을 다시 작성합니다. 이 방식은 마치 마스터 장부와 포스트잇 뭉치를 관리하는 것과 같습니다. 새로운 거래가 발생할 때마다 장부 전체를 다시 쓰는 대신, 거래 내용을 포스트잇에 적어 붙이고 포스트잇 뭉치가 너무 높아졌을 때만 장부를 업데이트하는 것과 같습니다. 이 방식을 통해 연구자들은 컴퓨터가 이동시켜야 하는 데이터의 양을 획기적으로 줄일 수 있었으며, 데이터 이동은 종종 프로세스에서 가장 느린 부분입니다.

연구진은 이 방법을 Gated DeltaNet, Kimi Delta Attention, RWKV6를 포함한 여러 유형의 현대적 언어 모델에 테스트했습니다. 실험에서 그들은 컴퓨터가 단어 하나를 생성하는 데 걸리는 시간과 얼마나 많은 메모리 트래픽이 발생하는지를 측정했습니다. 그들은 요약본의 전체 재작성을 미룸으로써, 고성능 그래픽 카드에서 모델의 메모리를 업데이트하는 핵심 계산 속도를 최대 1.86배까지 높일 수 있다는 것을 발견했습니다. 더 중요한 것은, 컴퓨터의 고속 메모리로 쓰여지는 데이터의 양이 최대 7.83배까지 감소했다는 점을 관찰했다는 것입니다. 이러한 트래픽 감소는 중요한데, 이러한 유형의 모델에서는 속도가 컴퓨터가 얼마나 빨리 계산할 수 있느냐가 아니라, 데이터를 메모리에 얼마나 빨리 넣고 뺄 수 있느냐에 의해 제한되는 경우가 많기 때문입니다.

연구진이 이 방법을 동시에 여러 사용자를 지원하도록 설계된 전체 시스템에 통합했을 때, 그 이점은 최종 사용자에게 더 빠른 응답 시간으로 나타났습니다. 수백억 개의 파라미터를 가진 대규모 모델을 대상으로 한 테스트에서, 시스템은 이전보다 5%에서 20% 더 빠르게 단어를 생성했습니다. 이러한 개선은 시스템이 동시에 많은 요청을 처리할 때 가장 두드러졌는데, 이는 실제 응실 환경에서 흔히 발생하는 시나리오입니다. 연구진은 이 방법이 정확도를 희생하지 않는다는 점을 확인했습니다. 수정된 시스템이 생성한 텍스트는 원래의 모델과 수학적으로 동일하게 유지되었으며, 이는 출력의 품질은 보존하면서 전달 효율성만 높였음을 의미합니다.

이 연구의 핵심 통찰은 컴퓨터가 정보를 물리적으로 저장하고 업데이트하는 방식이 반드시 모델이 수행하는 논리적 단계와 일치할 필요는 없다는 것입니다. 모델은 논리적으로 매 단어마다 상태를 업데이트하지만, 물리적 하드웨어는 그 변화를 반영하기 위해 즉시 전체 상태를 다시 쓸 필요가 없습니다. 안정적인 이력과 최근의 변화를 분리하고 주기적으로 병합함으로써, 델타로그는 과도한 메모리 트래픽을 유발하는 '상태 업데이트 세금(state-update tax)'을 줄여줍니다. 이 전략은 기본 모델이나 가중치를 변경하지 않으며, 단지 컴퓨터가 데이터를 처리하는 일정(schedule)을 변경할 뿐입니다. 연구 결과는 대규모 언어 모델에 있어 데이터의 물리적 이동을 최적화하는 것이 수학적 알고리즘 자체를 개선하는 것만큼 중요하다는 것을 시사하며, 더 빠르고 효율적인 인공지능을 위한 명확한 경로를 제시합니다.

기술 요약: DeltaLog

문제: 선형 어텐션 디코딩의 상태 업데이트 세금 (State-Update Tax)

선형 어텐션 모델(예: GDN, KDA, RWKV6)은 이차 복잡도의 프리픽스 계산(prefix computation)과 컨텍스트가 성장하는 KV 캐시를 고정된 크기의 재귀적 상태 업데이트로 대체함으로써 소프트맥스 어텐션에 대한 강력한 대안을 제공합니다. 이러한 모델에서 상태 $S_t$ 는 시퀀스 길이에 독립적인 $d_k \times d_v$ 크기의 조밀한(dense) 행렬입니다.

그러나 기존의 디코딩 구현은 **상태 업데이트 세금(state-update tax)**이라 불리는 심각한 비효식성을 겪고 있습니다. 단일 토큰이 기여하는 논리적 업데이트는 매우 압축적( $O(d_k + d_v)$ 크기의 벡터로 표현됨)임에도 불구하고, 표준적인 "이전(eager)" 구현 방식은 이 업데이트를 즉시 전체 조밀 상태로 구체화(materialize)하여 매 토큰 생성 시마다 전체 $[B, H, d_k, d_v]$ 텐서를 고대역폭 메모리(HBM)에 다시 씁니다.

메모리 트래픽 불일치: 배치 크기 $B$ 와 헤드 수 $H$ 에 대해 실제 추가되는 정보는 $O(BH(d_k + d_v))$ 이지만, 물리적 트래픽은 $O(BH d_k d_v)$ 개의 요소를 읽고 쓰는 과정을 포함합니다.
메모리 대역폭 병목 현상: 이러한 이전 구체화 방식은 약 0.5–1.0 FLOPs/byte의 산술 강도(arithmetic intensity)를 생성하며, 이는 현대 GPU(예: H200의 ~208 FLOPs/byte)의 머신 밸런스보다 훨씬 낮습니다. 결과적으로 재귀적 상태 유지는 메모리 트래픽의 주요 원인이 되며, 특히 배치 크기와 상태 크기가 커질수록 디코딩 지연 시간(latency)을 지배하게 됩니다. 측정 결과, 대규모 배치 시나리오에서 이 작업이 디코딩 지연 시간의 최대 44.6%를 차지할 수 있음이 나타났습니다.

방법론: DeltaLog를 통한 지연된 구체화 (Deferred Materialization)

본 논문은 논리적 재귀와 상태의 물리적 구체화를 분리하는 디코딩 방식인 DeltaLog를 제안합니다. DeltaLog는 모델 가중치나 수학적 재귀를 변경하지 않으며, 오직 상태 업데이트의 물리적 스케줄만을 변경합니다.

핵심 메커니ism: Base + Log

DeltaLog는 활성 재귀 상태를 두 가지 구성 요소로 표현합니다:

조밀한 베이스 상태 ( $\bar{S}$ ): 마지막 "병합(merge)" 지점까지 축적된 이력을 저장하는 조밀한 행렬입니다.
유계 업데이트 로그 (Bounded Update Log): 최근의 압축된 업데이트 인자( $a_t, b_t$ )와 그와 관련된 로그-감쇄(log-decay) 메타데이터( $\Lambda$ )를 저장하는 버퍼입니다.

디코딩 사이클은 두 단계로 작동합니다:

추가 단계 (Append Phase - 일반적인 경우): $M-1$ 단계 동안, 시스템은 전체 조밀 상태를 다시 쓰지 않습니다. 대신, 압축된 업데이트 인자와 현재의 로그-감쇄 스냅샷을 로그 버퍼에 추가(append)합니다. 이때 조밀한 베이스 $\bar{S}$ 는 변경되지 않은 상태로 유지됩니다.
병합 단계 (Merge Phase - 주기적): 매 $M$ 단계마다, 시스템은 축적된 논리적 상태(베이스 + 재생된 로그 항목)를 다시 조밀한 베이스 $\bar{S}$ 로 구체화하고, 로그를 초기화하며, 지연된 업데이트를 해제합니다.

트래픽 모델

조밀한 쓰기 작업을 지연시킴으로써, DeltaLog는 빈번한 전체 상태 쓰기를 다음과 같이 대체합니다:

압축된 인자( $O(d_k + d_v)$ )의 경량화된 추가(append).
$M$ 단계당 한 번 발생하는 분할 상환(amortized) 조밀 쓰기.
병합 단계에서의 로그 항목 재생(replay).

최적의 병합 간격 $M$ 은 감소된 조밀 쓰기로 인한 절감 효과와 증가된 재생 트래픽 비용 사이의 균형을 맞춥니다.

커널 구현

GPU에서 이를 효율적으로 구현하기 위해, 저자들은 **타일 기반 커널 분해(tiled kernel decomposition)**를 채택합니다:

값-타일 병렬성 (Value-Tile Parallelism): 상태를 값 차원( $d_v$ )을 따라 분할합니다. 각 작업 단위는 조밀한 베이스의 슬라이스와 그에 대응하는 값 측 로그의 셰드(shard)를 처리합니다.
공유 메타데이터: 키 측 인자와 로그-감쇄 메타데이터를 값 타일에 공유하여 중복 계산을 방지합니다.
단계적 실행 (Staged Execution): 커널은 하나의 공유 "ReplayPrep" 단계(슬롯-헤드당 한 번 계수를 계산)와 여러 개의 병렬 "AppendDecode" 단계(값 타일용)로 나뉩니다.

이 방법은 서로 다른 감쇄 정밀도와 업데이트 의미론을 가진 세 가지 연산자에 적용되었습니다:

GDN (Gated DeltaNet): 헤드 단위 스칼라 감쇄; Delta-rule 보정을 사용합니다.
KDA (Kimi Delta Attention): 키 단위 감쇄; Delta-rule 보정을 사용합니다.
RWKV6: 키 단위 감쇄; 원시 값 업데이트(raw-value updates, Delta-rule 보정 없음)를 사용합니다.

주요 기여

상태 업데이트 세금의 식별: 본 논문은 대규모 배치 선형 어텐션 서빙에서 발생하는, 조밀한 이전 구체화로 인한 토큰당 오버헤드를 특성화하며, 이를 논리적 재귀 비용과는 별개인 메모리 대역폭 병목 현상으로 규명했습니다.
DeltaLog 실행 전략: 상태를 조밀한 베이스와 압축된 업데이트의 유계 로그로 표현하여, 대부분의 단계에서 전체 상태 재작성 대신 경량화된 추가를 수행할 수 있게 하는 지연 구체화 접근 방식을 제시했습니다.
시스템 구현 및 평가: GDN, KDA, RWKV6에 대한 완전한 구현을 vLLM 기반 서빙 스택에 통합하여, 이 최적화가 정확한 산술적 등가성(부동 소수점 허용 오차 범위 내)을 유지하면서 성능을 향상함을 입증했습니다.

결과

실험은 다양한 배치 크기와 컨텍스트 길이에 대해 NVIDIA H200 및 RTX 4090 GPU에서 수행되었습니다.

커널 수준 성능:
- DeltaLog는 고도로 최적화된 Fast Linear Attention (FLA) 베이스라인과 비교하여 재귀적 상태 업데이트 커널을 1.19배에서 1.86배 가속화합니다.
- 재귀적 상태 쓰기 트래픽을 최대 7.83배 줄입니다.
- GDN은 스칼라 감쇄 메타데이터가 압축적이기 때문에 가장 큰 이득을 얻었으며, RWKV6와 KDA 역시 더 무거운 키 단위 메타데이터에도 불구하고 상당한 이득을 보여주었습니다.
엔드 투 엔드(End-to-End) 서빙 성능:
- 프로토타입 서빙 스택에 통합된 DeltaLog는 Qwen3.6-35B 및 Kimi-Linear-48B와 같은 모델에서 조밀 재귀 베이스라인 대비 1.05배에서 1.20배의 엔드 투 엔드 속도 향상을 달s성했습니다.
- 재귀적 업데이트가 전체 디코드 단계(MLP, 정규화, 스케줄링 포함)의 일부일 뿐이므로, 암달의 법칙(Amdahl's law)에 의해 커널 수준의 개선보다 이득이 작게 나타납니다.
수치적 정확성:
- 이 방법은 조밀한 이전 디코딩과 수치적 등가성을 유지하며, 테스트된 모든 연산자에 대해 최대 출력 상대 오차는 표준 레포지토리 허용 오차(예: < 0.005) 이내입니다.

의의

본 논문은 **재귀적 상태 구체화(recurrent-state materialization)**가 특히 대규모 배치 서빙에서 선형 어텐션 디코딩의 결정적이고 종종 간과되는 병목 구간임을 주장합니다. 알고리즘적 재귀 자체를 수정하는 대신 상태 업데이트의 물리적 스케줄을 최적화함으로써, 모델 아키텍처를 변경하지 않고도 상당한 효율성 이득을 얻을 수 있음을 DeltaLog는 보여줍니다.

이 연구는 선형 어텐션이 KV 캐시의 컨텍스트 길이 의존성을 제거하지만, 새로운 고정 상태 유지 비용을 도입한다는 점을 강조합니다. DeltaLog는 이 "상태 업데이트 세금"에 대한 실질적인 해결책을 제공하며, 조밀한 쓰기를 지연시키는 것이 재귀적 선형 어텐션 모델의 추론 처리량을 개선하는 유효한 전략임을 입증합니다. 저자들은 이러한 이점이 재귀적 상태 쓰기 작업이 메모리 트래픽의 주된 부분을 차지하는 환경(대규모 배치, 대규모 상태 크기)에서 가장 두드러진다고 언급했습니다.