기술 요약: VORT: NLP 트랜스포머를 위한 적응형 멱법칙 메모리

문제 제기

표준 트랜스포머 아키텍처는 원거리 토큰의 영향력에 대해 암묵적인 거의 지수적 감쇠를 부과하는 어텐션 메커니즘에 의존합니다. 이러한 계산적 설계는 토큰 간의 상호 정보가 멱법칙 ($I(\ell) \sim c \ell^{-\gamma}$, 여기서 $\gamma \in (0, 1)$) 에 따라 감쇠하는 자연어의 통계적 특성과 상충됩니다. 이러한 "통계적 불일치"는 현재 모델이 자연어에서 발견되는 장거리 의존성 (장기 기억 과정) 을 포착하는 데 있어 비최적임을 시사하며, 이러한 의존성은 ARFIMA 과정에서 볼 수 있듯이 멱법칙 가중치에 의해 통계적으로 가장 잘 예측됩니다.

기존의 긴 문맥 해결책들—예를 들어, 배제 캐시 (이진 유지/배제), 고정된 지수적 재귀를 가진 상태 공간 모델, 또는 양자화된 캐시—는 토큰별, 콘텐츠 적응형 멱법칙 감쇠 메커니즘을 제공하지 못합니다. 또한, 분수 미적분 (특히 Grünwald–Letnikov 가중 합) 은 멱법칙 메모리에 적합한 수학적 구조를 제공하지만, 본질적으로 비마코프적 (non-Markovian) 이므로 근사 없이 고정 차수의 재귀로 축소될 수 없습니다.

방법론: VORT 메커니즘

저자들은 분수 미적분의 비마코프적 성질을 해결하면서도 계산 효율성을 유지하도록 설계된 **가변 차수 유지 트랜스포머 (Variable-Order Retention Transformer, VORT)**라는 메모리 아키텍처를 소개합니다.

1. 지수합 (SOE) 근사

Grünwald–Letnikov (GL) 분수 합을 계산적으로 처리 가능하게 만들기 위해 VORT 는 지수합 (Sum-of-Exponentials, SOE) 분해를 사용합니다.

• 적분 표현: GL 가중치 $w^{(\alpha)}_j$는 밀도 함수 $\rho_\alpha(\lambda)$를 포함하는 라플라스 유형의 적분을 통해 표현됩니다.
• 구적법: 적분은 로그 변수 변환 후 가우스–라게르 구적법 (구체적으로 가우스–르장드르) 을 사용하여 근사되며, 커널을 $S$개의 감쇠 지수함수로 분해합니다:
  $$\hat{w}^{(\alpha)}_j \approx \sum_{s=1}^S c_s^{(\alpha)} (\lambda_s^{(\alpha)})^j$$
• 마코프적 재귀: 각 지수항은 정확한 1-단계 마코프적 재귀를 허용합니다. 이를 통해 분수 상태를 매 단계당 $O(S d_v)$로 업데이트할 수 있으며, 여기서 $S = O(\log(T/\varepsilon))$개의 항은 구간 $[1, T]$에 대한 $\varepsilon$-균일 정확도를 위해 충분합니다.

2. 가변 차수 라우팅

고정 차수 분수 모델과 달리 VORT 는 각 토큰 $x_i$에 대해 학습 가능한 분수 차수 $\alpha_i \in [\delta, 1]$를 할당합니다.

• 라우팅 논리: 차수는 토큰의 문맥적 엔트로피와 얕은 개체명 인식 (NER) 프로브에서 얻은 개체 지시자의 함수에 의해 결정됩니다.
  • 높은 엔트로피/비개체 토큰: 낮은 $\alpha_i$를 받음 (공격적인 압축).
  • 개체 토큰: 높은 $\alpha_i$를 받음 (손실 없는 유지).
• 뱅크 아키텍처: 효율성을 유지하기 위해 토큰은 고정된 분수 차수 $\alpha_k$로 작동하는 $K$개의 병렬 뱅크 중 하나로 라우팅됩니다. 시스템은 SOE 재귀를 사용하여 이러한 뱅크에 값을 누적합니다.

3. 키가 있는 선형 어텐션 검색

검색은 선형 어텐션 누적기를 통해 수행됩니다. 소프트맥스 어텐션 점수를 무작위 특징 $\phi(q)^\top \phi(k)$로 근사함으로써, 시스템은 동일한 SOE 재귀를 통해 진화하는 명시적 상태 행렬 $G_t$와 벡터 $b_t$를 유지합니다. 이는 표준 어텐션의 2 차 비용 없이 매 단계당 정확한 $O(K S d_\phi d_v)$ 재귀를 결과로 냅니다.

주요 기여 및 이론적 결과

본 논문은 네 가지 주요 이론적 결과와 하나의 수렴 정리를 확립합니다:

1. SOE 근사 정리 (정리 3.1): SOE 근사의 기하학적 수렴을 증명합니다. 오차 한계는 로그 변수 변환 후 피적분함수의 해석성에 의존하며, $S = O(\log(T/\varepsilon))$개의 항이 높은 정확도를 위해 충분함을 보여줍니다.
2. 양자화 한계 (정리 4.1): 구간 $[\delta, 1]$에서 분수 차수 $\alpha$를 양자화할 때의 오차 한계를 설정합니다. 특히 $\alpha = 0$ 근처에서 커널이 발산하는 것이 아니라 0 으로 수축함을 보여주는 올바른 분석을 제공합니다.
3. 스케일링 하한 (명제 4.2): 임의의 분수 차수 $\alpha > 1/2$에 대해, 최소 감쇠율 $\Lambda > 0$을 가진 $M$개의 고정 지수함수의 임의의 혼합물이 $T \to \infty$일 때 $L^2([1, T])$ 오차가 증가함을 보여주는 직접적인 $L^2$ 에너지 논증입니다. 이는 고정 지수 모델 (상태 공간 모델 포함) 이 긴 시간 범위에서 멱법칙 유지를 점근적으로 모방할 수 없음을 증명합니다.
4. 그래디언트 가소성 수렴 (정리 5.1): Polyak–Łojasiewicz (PL) 조건 하에서 $\alpha_i$를 정제하기 위한 그래디언트 기반 가소성 규칙의 선형 수렴을 보여줍니다.

실험 결과

저자들은 세 가지 합성 및 준합성 실험을 통해 아키텍처를 검증합니다:

1. Zipf 분포 검색: Zipf 분포된 지연 시간에 앵커 토큰이 심어진 작업에서, 멱법칙 (PL) 모델은 긴 지연 시간 (>1000) 에서 79.4%의 정확도를 유지한 반면, 지수 모델은 52.3%로 떨어졌습니다. 5-성분 혼합 (M5) 은 61.8%로 개선되었으나 이론적 하한과 일치하게 격차를 해소하지는 못했습니다.
2. 개체 라벨 복사 (균일 지연): "사전 매칭"(모델이 지연 시간 분포가 커널과 일치하기 때문에만 성공하는 경우) 을 배제하기 위해, 두 번째 작업은 균일하게 분포된 지연 시간을 사용했습니다. 멱법칙 모델은 다시 지수 기준선보다 현저히 우수했습니다 (긴 지연 시간에서 82.7% 대 58.4%), 이는 이점이 분포적이 아닌 구조적임을 확인시켜 주었습니다.
3. PG-19 언어 모델링: PG-19 코퍼스의 하위 집합에서, 멱법칙 모델은 4096 초과 문맥 길이에서 1.56 비트/문자 (BPC) 를 달성한 반면, 지수 기준선은 1.68 BPC 였습니다. 이 이점은 문맥 길이가 증가함에 따라 커졌습니다.

학습된 행동: 학습된 $\alpha_i$ 분포의 분석은 이모달 분리를 보여주었습니다: 개체 토큰은 $\alpha \approx 0.80$(높은 유지) 주변에 군집한 반면, 기능어와 연결사는 $\alpha \approx 0.35$(높은 압축) 주변에 군집하여 적응형 라우팅 메커니즘을 검증했습니다.

중요성 및 주장

본 논문은 VORT 가 자연어의 장거리 의존성과 이론적으로 정렬된 멱법칙 메모리를 구현하는 계산적으로 효율적인 메커니즘을 제공한다고 주장합니다.

• 이론적 정렬: 장기 기억 과정에 대한 멱법칙 가중치의 통계적 필요성과 마코프적 재귀에 대한 계산적 요구 사항 사이의 간극을 해소합니다.
• 아키텍처적 이점: SOE 를 사용하여 VORT 는 지수 모델이 먼 거리에서 잃어버리는 두꺼운 꼬리 유지 특성을 보존하면서 선형 복잡도 $O(n)$을 달성합니다.
• 적응성: 가변 차수 메커니즘을 통해 모델은 동적으로 메모리 자원을 할당하여 관련 없는 문맥은 압축하고 중요한 개체는 유지할 수 있습니다.

저자들은 수렴성 가소성에 대한 증명 지역성, 하한이 주로 $\alpha > 1/2$에 대해 엄격하다는 점, 그리고 현재 실험이 파일럿 규모라는 한계를 지적합니다. 포괄적인 검증을 위해서는 RULER 및 128K 문맥의 'Haystack 속의 바늘'과 같은 벤치마크에 대한 전체 규모 평가가 필요하다고 주장합니다.