Depth-Staggered Fibonacci Spacing for Sparse Attention: Static Schedules Beat Learned Dilation and Extrapolate Where Dense Attention Fails

기술적 요약: 희소 어텐션을 위한 깊이 기반 스태거링 피보나치 간격(Depth-Staggered Fibonacci Spacing): 정적 스케줄이 학습된 딜레이션을 능가하며 밀집 어텐션이 실패하는 지점에서 외삽(Extrapolate)한다.

문제 정의

본 논문은 언어 모델의 이차 복잡도(quadratic computational cost)를 줄이기 위한 희소 셀프 어텐션(sparse attention) 메커니립의 과제를 다룹니다. 기존의 많은 방식은 쿼리를 특정 하위 집합(예: 로컬 윈도우, 스트라이드 패턴, 또는 헤드별 변형)으로 제한하지만, 제어된 환경에서 단일 간격 파라미터를 네트워크 깊이에 따라 어떻게 최적으로 변화시킬지에 대한 이해는 부족합니다. 구체적으로, 저자들은 피보나치 간격 오프셋을 스케일링하는 레이어별 스칼라 $\alpha$가 수용 영역(receptive field)의 커버리지와 모델 성능 사이의 균형을 맞추기 위해 고정되어야 하는지, 동적으로 학습되어야 하는지, 아니면 정적 스케줄에 의해 설정되어야 하는지를 조사합니다.

방법론

저자들은 동일한 레시피(60M 파라미터, 512 히든 차원, 16개 레이어, 426M 토큰)로 훈련된 21개의 언어 모델을 통해 통제된 비교 실험을 수행했습니다.

아키텍처 및 어텐션 메커니즘:

• 대상 세트(Attended Set): 위치 $i$에 있는 각 쿼리에 대해, 모델은 크기 $W$의 조밀한 로컬 윈도우와 피보나치 수열($fib = [1, 2, 3, 5, \dots, 987]$)에 기반한 희소 오프셋 세트에 어텐션을 수행합니다.
• 스케일링: 각 오프셋 $f_k$는 타겟 거리 $d_k = \alpha f_k$가 되도록 레이어별 스칼라 $\alpha$에 의해 스케일링됩니다. 스칼라는 $\alpha \in [0.5, 1.5]$ 범위로 제한됩니다.
• 구현: 오프셋이 정수가 아닐 때도 $\alpha$로의 그래디언트 흐름을 허용하기 위해, 모델은 키/값(key/value) 행 사이의 선형 보간(linear interpolation)을 사용합니다. 회전 위치 임베딩(RoPE)은 데이터를 모으기(gathering) 전에 적용됩니다.

실험 변수:
연구는 16개 레이어에 걸쳐 스칼라 $\alpha$를 설정하는 네 가지 방법을 비교했습니다:

1. 고정(Fixed): 모든 레이어에 대해 $\alpha = 1$.
2. 학습(Learned): 레이어당 자유 파라미터 $\theta$를 가지며, $\alpha=1$로 초기화되어 경사 하강법을 통해 최적화됨.
3. 스태거드 선형(Staggered Linear): 레이어 0에서 0.5, 레이어 15에서 1.5로 선형적으로 증가하는 고정된 램프(ramp).
4. 스태거드 코프라임/HDC(Staggered Coprime/HDC): 선형 램프와 동일한 $\alpha$ 멀티셋을 사용하되, 인접 레이어 간의 간격 차이를 최대화하기 위해 코프라임 스트라이드($\ell \to (7\ell \mod L)$)를 사용하여 레이어에 재할당함.

대조군(Controls):

• 간격 밀도의 효과를 간격의 특정 피보나치 수열로부터 분리하기 위해, "리치 매칭(reach-matched)"된 2의 거듭제곱 기반(log-sparse)이 사용되었습니다.
• 동일한 아키텍처와 훈련 레시피를 가진 밀집(dense) 베이스라인이 성능 상한선(upper bound) 역할을 했습니다.

주요 기여 및 결과

1. 정적 스태거링이 지배적인 레버이다 (Static Staggering is the Dominant Lever)
모든 윈도우 크기($W \in \{6, 8, 10, 12\}$)와 데이터셋에 걸쳐, 정적 per-layer staggered 스케줄이 고정 및 학습된 스케줄보다 우수한 성능을 보였습니다.

• 성능 순위: Staggered $\approx$ Coprime $>$ Learned $>$ Fixed.
• 최적 모델: $W=12$인 선형 스태거드 모델이 가장 낮은 퍼플렉시티(FineWeb-Edu: 42.02, Wikipedia: 37.59)를 달성했습니다.
• 베이스 불가지론(Base Agnosticism): 스태거링의 이점은 베이스 시퀀스와 무관합니다. 선형 스태거를 2의 거듭제곱 기반에 적용했을 때 성능이 크게 향상되어 고정된 피보나치 기반보다 나은 성능을 보였으며, 학습된 피보나치 기반과 대등한 수준에 도달했습니다. 이는 레이어별 간격의 다양성이 특정 베이스 시퀀스의 선택보다 더 중요하다는 것을 나타냅니다.

2. 학습된 딜레이션은 무력하다 (Learned Dilation is Inert)
레이어들이 최적의 스프링 같은 간격을 "학습"할 것이라는 가설과 달리, 학습된 스칼라 $\alpha$는 초기값 근처($\alpha \approx 1$)에서 거의 정적으로 유지되었습니다.

• 성능: 학습된 변형은 고정된 모델보다 약간 개선되었으나, 정적 스태거드를 이기지는 못했습니다.
• 효율성: 학습된 변형은 비정수 오프셋으로 인해 퓨즈드(fused)되지 않은 보간된 개더(interpolated gather)가 필요하여, 추론 레이턴시가 약 5배 더 높았습니다. 반면 정적 변형은 더 빠른 퓨즈드 불리언 마스크 경로를 사용할 수 있었습니다.
• 메커니즘 프로브: 제어된 검색(retrieval) 태스크를 통해, 그래디언트 하강이 특정 간격을 명시적으로 보상하더라도 스칼라를 유의미하게 이동시키지 못함을 확인했습니다. 이점은 적응적(adaptive)인 것이 아니라 구조적(structural)인 것, 즉 다양한 간격의 존재에서 기인합니다.

3. 길이 외삽: 희소성의 견고함 vs 밀집의 붕괴 (Length Extrapolation: Sparse Robustness vs. Dense Collapse)
훈련 길이의 4배(훈련 시 1024 토큰, 평가 시 4096 토큰)로 외삽할 때의 가장 중요한 발견입니다.

• 밀집 베이스라인: 퍼플렉시티가 201% 증가(FineWeb-Edu 기준 33.37에서 100.36으로)하며 처참하게 붕괴했습니다.
• 희소 변형들: 퍼플렉시티가 평탄하거나 약간 개선되는 등(예: 선형 스태거드는 1.3% 감소) 견고함을 유지했습니다.
• 메커니즘: 고정 오프셋 희소 어텐션은 훈련 중에 본 상대적 위치만을 쿼리합니다. 훈련 중의 오프셋들에 대해 RoPE 각도가 분포 내(in-distribution)에 있기 때문에 자연스럽게 외삽이 가능합니다. 반면 밀집 어텐션은 훈련 중에 본 적 없는 회전 각도를 가진 모든 상대적 위치에 어텐션을 수행하며, 이로 인해 실패가 발생합니다.
• 베이스 민감도: 2의 거듭제곱 기반은 피보나치 기반보다 더 많이 저하되었습니다(+11.3% vs 0% ~ 2.8%). 이는 해당 베이스의 희소 런(rungs)이 긴 평가 길이에서 훈련되지 않은 새로운 큰 오프셋(예: 1024, 2048)을 도입하기 때문입니다.

4. 정직한 부정적 결과 및 한계 (Honest Negatives and Limitations)
논문은 두 가지 부정적인 발견을 통해 자신의 주장을 명확히 제한합니다.

• 분포 내 품질 격차: 훈련 길이(1024)에서 최상의 희소 모델은 밀집 베이스라인보다 퍼플렉시티가 약 26% 높습니다. 즉, 희소 어텐션은 길이 일반화를 위해 인-디스트리뷰션 품질을 희생하는 선택입니다.
• 균일한 이득: 스태거링의 이점은 특정 장거리 범위에 집중되지 않고 모든 컨텍스트 위치에서 균일하게 나타납니다. 이 이점은 특정 "장거리 도달" 효과보다는 일반적인 per-layer 표현 다양성에서 기인하는 것으로 보입니다.

의의 및 주장

본 논문은 희소 셀프 어텐션에 있어 정적이고 깊이 변화하는 스케줄이 고정되거나 학습된 스케줄보다 우월하다고 주장합니다. 저자들은 "학습된 스프링" 메커니즘이 불필요하고 비효율적이며, 대신 수동으로 스태거링된 범위를 부여하는 것이 필요한 수용 영역의 다양성을 제공한다고 주장합니다.

주요 실무적 시사점은 트레이드오프입니다: 구조적 희소 어텐션은 훈련 시의 인-디스트리뷰션 품질을 희생하지만, 밀집 어텐션이 완전히 실패하는 길이에서도 **비용이 거의 들지 않는 외삽(near-zero cost extrapolation)**을 제공합니다. 이는 밀집 어텐션이나 복잡한 학습된 위치 적응 없이도 긴 컨텍스트 처리가 필요한 애플리케이션에 유효한 전략이 됩니다.

저자들은 이러한 결과가 테스트된 규모(60M 파라미터)와 베리라(vanilla) RoPE(스케일링 없음)에 특화된 결과임을 강조하며, 최적의 스태거링 스케줄(선형 vs 코프라임)은 더 큰 모델에 대한 미해결 과제로 남겨두었습니다.