기술 요약: ATMA – 폴라 어텐션(Polar Attention) 및 게이티드-델타 압축 메모리(Gated-Delta Compression Memory)를 통한 길이 불변 언어 모델링

1. 문제 정의

표준 소프트맥스 스케일드 닷 프로덕트 어텐션(SDPA)에 의존하는 현대의 대규모 언어 모델(LLM)은 학습 분포를 초과하는 시퀀스 길이에 일반화할 때 심각한 한계에 직면합니다. 본 논문은 두 가지 주요 실패 모드를 식별합니다:

• 소프트맥스 희석 및 활성화 이동(Softmax Dilution and Activation Shift): 키-값(key-value) 시퀀스가 증가함에 따라 소프트맥스의 확률 질량이 더 넓은 분포로 퍼집니다. 이러한 "희석"은 소프트맥스 벡터의 최대 좌표를 0에 가깝게 만들어, 어텐션을 평탄하게 만들고 모델을 분포 외(out-of-distribution)로 밀어내는 활성화 이동을 유발합니다.
• 구조적 긴장(The Structural Tension): 기존 솔루션들은 로컬 일관성(local coherence)과 글로벌 회상(global recall) 사이의 트레이드오프를 강요합니다.
  • *슬라이딩 윈도우 어텐션(SWA)*은 낮은 퍼플렉시티(perplexity)를 유지하지만, 윈도우 너머의 장거리 의존성에는 무력합니다.
  • *풀 소프트맥스 어텐션(Full Softmax Attention)*은 글로벌 회상을 보존하지만, 극단적인 길이에서 퍼플렉시티 폭발과 검색 붕괴(retrieval collapse) 문제를 겪습니다.
  • 순환/선형 메모리(Recurrent/Linear Memories) (예: Titans, DeltaNet)는 효율적인 장기 압축을 제공하지만, "손실이 있는(lossy)" 시스템으로 작용하여 방대한 컨텍스트로부터 특정하고 정밀한 사실을 추출하는 데 실패합니다 (즉, "건더기 속의 바늘 찾기" 문제).

2. 방법론: ATMA 아키텍처

ATMA(Attention with Memory and Attention)는 윈도우와 회상 사이의 트레이드오프를 해결하기 위해 설계된 하이브리드 합성곱-어텐션(convolutional-attention) 아키텍처입니다. 이 모델은 3:1 비율의 LFM2 게이티드 합성곱 레이어와 폴라 어텐션 레이어로 구성된 16계층 디코더 전용 구조를 사용합니다. 핵심 혁신은 폴라 어텐션(Polar Attention) 메커니즘과 이를 **게이티드-델타 타이탄스 메모리(Gated-Delta Titans Memory)**와 통합하는 방식에 있습니다.

2.1 폴라 어텐션: 3채널 분해

크기와 방향을 결합하는 표준 어텐션과 달리, ATMA는 어텐션 혼합 단계를 세 가지 스트림의 가산적 조합으로 분해합니다:
$$\text{out} = \text{content} + \text{count} + \text{memory}$$

1. 방향 채널 ("무엇인가"):

   • 매칭된 값의 합(value-sum)을 단위 구체(unit sphere) 위로 투영합니다.
   • 이는 매칭 횟수나 시퀀스 길이에 관계없이 순수하게 어떤 특징이 어텐션 되었는지를 나타내는 카운트 불변(count-blind), 크기 불변(size-invariant) 벡터를 생성합니다.
   • 컨텍스트가 커짐에 따라 분포를 날카롭게 만드는 길이 온도(Length Temperature) 파라미터와, 배경 노이즈가 신호를 압도하는 것을 방지하기 위해 로짓(logits)을 보정하는 **극값 교정 널 플로어(Extreme-Value-Corrected Null Floor)**를 활용합니다.

2. 크기 채널 ("얼마나 많은가"):

   • 어텐션 분포의 참여 비율(participation ratio) (역 심슨 지수)을 계산하여 유효 매칭 횟수($n_{eff}$)를 결정합니다.
   • 이 카운트는 신호 탐지 신뢰도에 의해 게이팅되며, 유계되고 포화되는 단조 함수(log의 tanh)를 통해 매핑됩니다. 이는 크기 입력이 로그 카운트의 무제한 성장 없이 어떤 컨텍십 길이에서도 분포 내에 머물도록 보장합니다.

3. 순환 메모리 채널:

   • 게이티드-델타 타이탄스 메모리(Behrouz et al., 2025에서 영감을 받음)에 의해 구동되는 가산적 제3의 스트림입니다.
   • 이는 장기적인 퍼플렉시티 트렌드를 포착하는 손실 있는 "요지(gist)" 역할을 하며, 폴라 어텐션의 고충실도(high-fidelity) 및 유계된 리드아웃(readout)을 보완합니다.
   • 안정성 메커니즘: 논문은 표준 RMS-정규화가 델타 규칙 업데이트에서 지수적 발산을 일으킨다고 지적합니다. ATMA는 키(key)와 쿼리(query)에 L2-정규화를 적용하여 델타 규칙의 고윳값(eigenvalues)을 제한함으로써 절대적 안정성을 확보하여 이를 해결합니다.

2.2 하드웨어-소프트웨어 코디자인

효율성을 보장하기 위해 저자들은 커스텀 트라이톤(Triton) 커널을 구현했습니다:

• 융합된 폴라 어텐션 커널: 중간 점수를 가시화하기 위한 $O(T^2)$ 메모리 비용을 피하기 위해 스트리밍 누산기와 제곱 보정 인자를 사용하여 $O(\text{block})$ 메모리로 참여 비율을 온라인으로 계산합니다.
• GQA-그룹화된 페이지드 디코드 커널: 페이지드 KV 캐시 블록에서 직접 읽어 들임으로써 추론을 최적화하고 HBM 트래픽을 4배 감소시킵니다.
• 인플레이스 게이티드-델타 스텝 커널: 순환 메모리 업데이트를 인플레이스(in-place)로 수행하여 gather-scatter 사이클을 제거하고 메모리 트래픽을 3배 줄입니다.

3. 실험 결과

저자들은 10억 토큰의 FineWeb-Edu(학습 길이 2K)를 사용하여 370M 파라미터 모델을 대상으로 **100회의 팩토리얼 절제 실험(factorial ablation sweep)**을 수행하였으며, 최대 **64K 토카인(학습 길이의 32배)**까지 성능을 평가했습니다.

3.1 주요 발견

• 리트리벌 정확도(Retrieval Accuracy): 폴라 어텐션 + 타이탄스 메모리의 조합은 전체 2K~64K 범위에서 유도션 건더기 속의 바늘(induction needle-in-a-haystack) 리트리벌 정확도를 90% 이상으로 유지하는 유일한 구성입니다.
  • 소프트맥스 + 메모리: 활성화 드리프트가 메모리 리드아웃을 부식시켜 64K에서 정확도가 16%로 붕괴됩니다.
  • 폴라 전용: 64K에서 정확도가 0%로 붕kali하며, 이는 메모리 브랜치 없이는 어텐션만으로 일반화할 수 없음을 증명합니다.
• 퍼플렉시티(Perplexity): ATMA 모델은 2K에서의 2.70 nats에서 64K에서의 1.96 nats로 단조적인 퍼플렉시티 감소를 보여줍니다. 이는 극단적인 길이에서 퍼플렉시티 증가(붕괴)를 보이는 소프트맥스 기반 메모리 베이스라인보다 우수한 성능입니다.
• 절제 실험 통찰:
  • 슬라이딩 윈도우나 디스트랙터 로스(Distractor Losses)(널 플로어를 보정하기 위한 보조 목적 함수)를 추가하는 것은 메모리 브랜치가 활성화되어 있을 때 오히려 성능을 저해했습니다. 윈도우는 장거리 패턴에 대한 학습을 제한했고, 디스트랙터 로스는 널 플로어를 과도하게 날카롭게 만들어 메모리로부터 오는 필요한 약한 신호까지 억제했습니다.
  • 가장 단순한 구성(Full Polar + Memory, 윈도우 및 디스트랙터 없음)이 엄격하게 더 우수했습니다.

3.2 효율성

• 순환 메모리 브랜치는 폴라 전용 학습에 비해 NVIDIA L4 GPU에서 모델 FLOPs 활용률(MFU)을 4.5 퍼센트 포인트 하락시키지만, 리트리벌 및 퍼플렉시티 측면에서 얻은 상당한 이득에 비하면 관리 가능한 수준의 오버헤드입니다.

4. 의의 및 주장

본 논문은 ATMA가 언어 모델링에서 로컬 퍼플렉시티와 장거리 리트리벌 사이의 구조적 긴장을 성공적으로 해결한다고 주장합니다. 주요 의의는 다음과 같습니다:

1. 길이 불변성이 달성 가능하다: 방향과 크기를 분리하고 극값 노이즈를 보정함으로써, 어텐션 메커니즘이 학습 데이터의 길이를 훨씬 초과하는 길이에서도 안정적이고 효과적으로 유지될 수 있음을 보여줍니다.
2. 하이브리드화가 필수적이다: 폴라 어텐션이나 순환 메모리 중 어느 하나도 단독으로는 충분하지 않습니다. 이들의 결합은 특정 사실에 대한 고충실도 리트리벌과 문서 퍼플렉시티의 지속적인 개선을 동시에 가능하게 합니다.
3. 실질적인 확장성: 커스텀 커널 엔지니어링으로 지원되는 이 아키텍처는 표준 소프트맥스 또는 선형 어텐션 베이스라인에서 관찰되는 "붕괴" 현상 없이 64K 토큰(학습 길이의 32배)까지 확장 가능합니다.

저자들은 이 접근 방식이 거대한 컨텍스트 윈도우를 수용하고 추론하면서도 일관된 표현과 정밀한 회상을 유지할 수 있는 모델을 향한 실행 가능한 경로를 제공한다고 결론짓습니다.