기술 요약: FRACTAL – 분수 재귀 아키텍처를 갖춘 상태 공간 모델

1. 문제 제기

연속 시간에서의 시퀀스 모델링은 근본적인 긴장 관계에 직면해 있습니다: 무제한의 과거 문맥을 유지해야 하는 동시에 고해상도의 급격한 단기 변동을 감지해야 한다는 요구 사이의 갈등입니다. 기존 상태 공간 모델 (SSM), 특히 고차 다항식 투영 연산자 (HiPPO) 프레임워크에 의존하는 모델들은 메모리 측정의 "삼중 딜레마"에 제약받습니다:

• 확대된 르장드르 (LegS): 역사에 균일한 가중치를 부여하여 시간 척도 불변성을 보장하지만, 최근 입력의 영향을 점진적으로 희석시킵니다.
• 이동된 라게르 (LagT): 지수 감쇠를 통해 최근성을 우선시하지만 고정된 특징 시간 척도를 부과하여 시간 왜곡 신호와 전역 문맥에 대한 강건성을 희생합니다.
• 이동된 르장드르 (LegT): 슬라이딩 윈도우를 통해 높은 지역 해상도를 제공하지만, 그 고정된 지평선 너머의 문맥을 치명적으로 폐기합니다.

기존의 어떤 측정도 전체 역사 유지, 최근성 민감도, 그리고 척도 불변성을 동시에 만족시키지 못합니다. 이러한 한계는 금융 변동성, 생리학적 $1/f$ 잡음, 네트워크 트래픽과 같이 다중 척도 역학을 특징으로 하며 지수 또는 균일 분포가 아닌 멱법칙 감쇠 커널을 보이는 물리 및 생물학적 분야에서 SSM 의 적용을 방해합니다.

2. 방법론: 분수 HiPPO 프레임워크

본 논문은 메모리 삼중 딜레마를 해결하기 위해 HiPPO 프레임워크에 분수 미적분을 통합한 FRACTAL(Long 시퀀스를 위한 계산적 시간 분석을 위한 분수 재귀 아키텍처) 을 제안합니다.

2.1 분수 차수 측정

핵심 이론적 혁신은 조정 가능한 특이점 지수 $\alpha \in [0, 1)$로 정의된 분수 차수 측정 $\mu(t)(x)$의 도입입니다:
$$\mu(t)(x) = \frac{1-\alpha}{t^{1-\alpha}} (t-x)^{-\alpha} \mathbb{I}_{[0,t]}(x)$$
이 측정은 균일 분포 (LegS, 여기서 $\alpha=0$) 와 현재 시점의 집중된 질량 사이를 보간합니다. 이는 멱법칙 가중치 $(t-\tau)^{-\alpha}$를 유도하여 장기 유지를 위한 두꺼운 꼬리를 생성하는 동시에 지역 민감도를 증폭시키기 위해 현재 시간 단계에서 특이점을 부과합니다. 결정적으로, 이 멱법칙 구조는 지수 측정과 달리 시간 확장 하에서 척도 불변성을 유지합니다.

2.2 이론적 유도

• 직교 기저: 이 측정에 대한 최적 투영은 표준 HiPPO-LegS 에서 사용되는 르장드르 다항식을 일반화한 자코비 다항식 $P_n^{(-\alpha, 0)}$을 사용하여 유도됩니다.
• 상태 공간 역학: 투영 계수에 무차원 변환과 부분 적분을 적용함으로써, 저자들은 선형 시간 가변 (LTV) 시스템을 유도합니다:
  $$\frac{d}{dt}x(t) = -\frac{1}{t} A(\alpha) x(t) + \frac{1}{t} B(\alpha) u(t)$$
  $1/t$ 인자는 척도 불변성의 수학적 서명입니다.
• 시스템 행렬:
  • 입력 투영 ($B$): 이항 계수가 LegS 에서보다 더 느리게 감소하는 폐형식 해가 유도되어, 고주파 입력 성분을 효과적으로 증폭시킵니다.
  • 상태 천이 ($A$): 행렬 $A(\alpha)$는 하삼각 행렬입니다. 중요한 이론적 결과는 그 대각 요소가 $\alpha$에 불변이라는 점 ($A_{nn} = n+1$) 으로, 이는 메모리 집중 프로파일과 무관하게 고유값이 $\{1, 2, \dots, N\}$에 고정됨을 보장합니다. 이는 스펙트럼 안정성을 보장합니다.

2.3 FRACTAL 아키텍처

효율적인 병렬 학습을 가능하게 하기 위해, LTV 시스템은 $1/t$ 인자를 학습 가능한 시간 척도 매개변수 $\Delta$로 대체하여 선형 시간 불변 (LTI) 시스템으로 완화됩니다.

• 스펙트럼 초기화: 이전 연구들이 행렬 구조를 근사한 것과 달리, FRACTAL 은 엄격하게 대각화 가능한 $A(\alpha)$의 직접적인 수치 고유값 분해를 수행하여 대각 스펙트럼 $\Lambda$를 얻습니다.
• 물리 기반 초기화: 입력 투영 벡터 $\tilde{B}$는 분수 측정에서 유도된 분석적 폐형식 해를 사용하여 초기화되며, 이는 초기 역학을 멱법칙 메모리 구조와 정렬시키는 전처리기 역할을 합니다.
• 다중 척도 필터 뱅크: 상태 공간은 채널로 분할되며, 각 채널은 고유한 특이점 지수 $\alpha_k$를 할당받습니다. 이는 "분수 필터 뱅크"를 생성합니다:
  • 낮은 $\alpha$ 채널은 로우패스 필터로 작용하여 (전역 문맥 유지).
  • 높은 $\alpha$ 채널은 하이패스 필터로 작용하여 (지역 과도 현상 증폭).
• 계산: 대각화된 시스템은 병렬 접두사 합 (연관 스캔) 알고리즘을 통해 해결되어 $O(N \log L)$ 복잡성을 유지합니다.

3. 주요 기여

1. 이론적: HiPPO 프레임워크에 분수 차수 멱법칙 측정을 도입했습니다. 이는 전체 역사 유지, 최근성 민감도, 그리고 척도 불변성의 "불가능한 삼위일체"를 이론적으로 만족시키는 최초의 측정입니다. 저자들은 자코비 다항식이 자연스러운 기저를 형성하며 상태 천이 행렬의 고유값이 특이점 지수에 불변임을 보여주는 엄밀한 유도를 제공합니다.
2. 아키텍처적: 이 이론을 FRACTAL 아키텍처로 구체화하여, 이질적인 메모리 매개변수를 가진 다중 채널 구성 (스펙트럼 필터 뱅크) 과 입력 투영에 대한 폐형식 해를 활용하는 분석적 초기화 전략을 특징으로 합니다.
3. 경험적: Long Range Arena (LRA) 벤치마크에 대한 포괄적인 검증을 통해, 분수 측정이 다중 척도 추론 작업에서 경험적 개선을 산출함을 입증했습니다.

4. 실험 결과

Long Range Arena (LRA) 벤치마크에서 평가된 FRACTAL 은 엄격하게 동일한 단일 GPU 조건에서 S5 모델 (87.04%) 과 S4 (86.09%) 를 능가하는 평균 점수 **87.11%**를 달성했습니다.

• ListOps: FRACTAL 은 **61.85%**를 달성하여 S5 (61.10%) 와 S4 (59.60%) 를 능가했습니다. 이 작업은 중첩된 수학 식을 파싱해야 하므로, 모델이 전역 괄호 구조 (낮은 $\alpha$) 와 지역 피연산자 값 (높은 $\alpha$) 을 동시에 추적할 수 있음을 검증합니다.
• Path-X: 16K 길이의 시퀀스에서 FRACTAL 은 **98.39%**를 달성하여 S5 (98.62%) 와 실질적으로 일치하며, 분수 특이점이 극단적인 지평선에서의 기울기 전파를 훼손하지 않음을 확인했습니다.
• 수치 검증: 실험은 $\alpha$가 증가함에 따라 메모리 밀도가 균일에서 두꺼운 꼬리로 이동하며, 이론에서 예측한 대로 상태 천이 행렬의 대각 요소가 불변임을 확인했습니다.

5. 중요성과 주장

본 논문은 FRACTAL 이 HiPPO 의 최적 투영 이론과 분수 미적분의 메모리 특성 사이의 간극을 연결한다고 주장합니다. SSM 의 측정론적 기초를 일반화함으로써, 이 연구는 척도 불변성을 희생하지 않고 순수한 역사와 순수한 최근성 사이에서 메모리 커널을 조정할 수 있는 엄밀한 메커니즘을 제공합니다.

저자들은 FRACTAL 을 선형 시간 불변 (LTI) SSM 패러다임 내의 기초적 혁신으로 위치시킵니다. 그들은 Mamba 와 같은 "선택적" (시간 가변) SSM 들과 자신의 작업을 명시적으로 구분하며, 기초적이고 처음부터 훈련되는 LTI 혁신과 대규모 최적화된 사전 훈련된 선택적 아키텍처를 비교하는 것은 서로 다른 연구 패러다임을 혼동하게 만든다고 논합니다. 결과적으로, 본 논문은 분수 측정이 멱법칙 영역에서 특히 구조적 이점을 제공한다고 주장하며, 이는 금융 시계열 및 생리학적 신호 분석과 같은 다중 척도 역학과 두꺼운 꼬리 시간 의존성을 특징으로 하는 도메인에 특히 적합합니다.