기술 요약: FourierQK

문제 정의

표준 트랜스포머 어텐션 메커니즘은 학습된 쿼리($Q$)와 키($K$) 투영의 내적을 통해 쌍별 유사도 점수를 계산합니다($e_{ij} = q_i \cdot k_j$). 이는 완전히 학습된 임베딩 공간 내에서 작동하며, 단일 토큰 표현을 비교합니다. 본 논문은 $Q$와 $K$를 다른 표현 공간으로 변환하는 것, 구체적으로는 어텐션 유사도 점수를 계산하기 전에 주파수 영역의 스펙트럼 전처리(spectral preprocessing)를 적용하는 것이 언어 모델링 성능을 개선할 수 있는지 조사합니다.

이 분야의 핵심 과제는 진정한 시퀀스 학습과 "위치 누출(positional leakage)"을 구분하는 것입니다. 많은 스펙트럼 방법들(특히 역 FFT를 사용하는 경우)은 이산 푸리에 변환(DFT)의 주기적 특성으로 인해 미래 토큰의 정보가 과거 위치로 유입되는 순환 경계 아티팩트(circular boundary artifacts)의 위험이 있습니다. 본 논문은 스펙트럼 전처리가 표준 어텐션에 비해 실질적인 이점을 제공하는지 결정하고, 이러한 개선이 정보 누출에 의한 아티팩트가 아님을 엄격하게 검증하는 것을 목표로 합니다.

방법론

스펙트럼 어텐션 아키텍처

제안된 FourierQK 방식은 어텐션 점수 계산 전에 $Q$와 $K$ 투영에 주파수 영역 필터 $\phi(\omega)$를 적용합니다.

1. 변환: 학습된 투영 $q, k \in \mathbb{R}^{T \times d}$를 DFT를 통해 변환합니다: $\hat{q}(\omega) = \mathcal{F}[q](\omega)$.
2. 필터링: 주파수 영역에서 필터를 적용합니다: $\hat{\tilde{q}}(\omega) = \hat{q}(\omega) \cdot \phi(\omega)$.
3. 재구성: 필터링된 표현을 역 DFT(IDFT)를 통해 시간 영역으로 다시 변환합니다: $\tilde{q} = \mathcal{F}^{-1}[\hat{\tilde{q}}]$.
4. 점수 계산: 필터링된 표현을 사용하여 어텐션 점수를 계산합니다: $e_{ij} = \tilde{q}_i \cdot \tilde{k}_j / \sqrt{d}$.

본 논문은 여러 필터 변형을 테스트합니다:

• Random-QK: 어떤 스펙트럼 혼합이라도 도움이 되는지 테스트하기 위해 고정된, 학습되지 않은 무작위 스펙트럼 필터(Morlet 형태)를 사용합니다.
• Fourier-QK: 헤드당 하나의 학습 가능한 지배적 주파수 $f^*$를 가진 소프트 가우시안 선택기(soft Gaussian selector)를 사용합니다.
• MultiFourier-QK: 다중 스케일 구조를 포착하기 위해 헤드당 여러 개의 학습 가능한 주파수를 사용합니다.
• Causal Filters (인과적 필터): 국소적이고 누출이 없는 필터링이 유사한 이점을 제공하는지 테스트하기 위해 시간 영역의 인과적 컨볼루션(Gaussian, Mexican Hat, Causal Morlet)을 사용합니다.

검증 진단

모델이 미래 토큰을 엿봄으로써 발생하는 "위치 누출(미래 정보를 이용해 속임수를 쓰는 경우)"로 인해 결과가 왜곡되지 않도록 하기 위해, 저자들은 **셔플 검증 진단(shuffled validation diagnostic)**을 채택했습니다. 모델은 토큰 순서가 섞인 검증 세트에서 평가됩니다.

• 진정한 학습: 정렬된 검증 손실과 셔플된 검증 손실 사이에 큰 격차가 있다면 모델이 시간적 순서에 의존하고 있음을 나타냅니다.
• 누출: 격차가 작다면(정렬된 데이터와 셔플된 데이터의 손실이 비슷함) 모델이 누출된 미래 정보를 활용하고 있음을 나타냅니다.

또한, 본 논문은 자신의 접근 방식을 FNet(Lee-Thorp et al., 2021)과 구분합니다. FNet은 전체 어텐션 메커니즘을 토큰 임베딩의 글로벌 푸리에 혼합으로 대체하여($Q/K$ 투영 및 스코어 행렬을 제거) 사용하는 반면, FourierQK는 표준 어텐션 구조(학습된 $Q/K$, 스코어 행렬, 인과적 마스킹)를 유지하면서 스코어 계산에 앞서 $Q/K$에만 스펙트럼 필터링을 적용합니다.

주요 결과

1. 스펙트럼 전처리가 성능을 개선함

문자 단위의 TinyShakespeare 데이터셋($T=256$)에서 스펙트럼 전처리는 표준 도트 프로덕트 어텐션(BASE-DOT, val $\approx$ 1.474)에 비해 상당한 이득을 보여줍니다:

• Random Spectral Filter: 고정된 학습되지 않은 무작위 필터는 val = 1.031 ($\Delta = +0.443$)을 달성했습니다.
• Single Learned Frequency: 단락 규모에서 초기화된 하나의 학습 가능한 주파수를 가진 모델은 val = 0.608 ($\Delta = +0.867$)을 달성했습니다.
• Multi-Frequency Attention: 단락에서 단어 규모까지 아우르는 4개의 학습된 주파수를 가진 모델은 val = 0.309 ($\Delta = +1.166$)를 달성하여, 검증 손실을 79% 감소시켰습니다.

이러한 결과는 여러 랜덤 시드에 걸쳐 확인되었으며(평균 val = 0.236, std = 0.019), 재현성을 입증했습니다.

2. 메커니즘: 위상 일관성(Phase Coherence) 및 글로벌 믹싱

• 위상은 필수적임: 절제 연구(Ablation studies)에 따르면, 진폭 스펙트럼을 유지하면서 위상을 무작위화하면 표준 어텐션보다 성능이 저하되었습니다. 이 이득은 단순한 에너지 분포가 아니라 **위상 일관적인 시간적 구조(phase-coherent temporal structure)**에 의해 주도됩니다.
• 글로벌 vs 로컬: 이 이득은 양방향 FFT(bilateral FFT)(글로벌 시퀀스 믹싱)에 특화되어 있습니다. 인과적 시간 영역 필터(Gaussian, Mexican Hat, Causal Morlet)는 문자 스케일에서 표준 어텐션보다 성능을 개선하는 데 실패했습니다.
  • 이유: 수용 영역($K \le T/2$)이 제한된 인과적 필터는 단락 규모의 패턴에 필요한 글로벌 위상 일관성을 포착할 수 없습니다. 양방향 FFT는 구조적으로 비인과적이지만 필요한 글로벌 컨텍스트를 제공합니다.
• 메트릭 왜곡이 아님: 스펙트럼 필터링 없이 $Q/K$에 무작위 직교 회전이나 비직교 투영을 적용했을 때는 이득이 없었으며, 이는 이점이 단순한 표현 재매핑이 아닌 주파수 영역의 혼합에서 온다는 것을 확인시켜 줍니다.

3. 다중 스케일 순서

MultiFourier 모델의 학습된 주파수들은 근사적인 기하급수적 계층 구조로 수렴합니다:

• 주파수: 약 49, 27, 10, 6 토큰당 한 주기.
• 해석: 이는 극적 텍스트에서의 단락, 소단락, 구절, 단어 스케일에 해당합니다.
• 검증: 훈련 후 독립적으로 적용된 경험적 모드 분해(EMD)는 이와 동일한 스케일을 복구하였으며, 이는 모델이 $Q/K$ 공간에서 진정한 다중 해상도 구조를 발견했음을 확인해 줍니다.

4. 누출 및 구현 제약 사항

• Irfft 누출: 논문은 irfft를 사용하는 Morlet 웨이브렛 교차 상관에 대한 "부정적 결과"를 보고합니다. 커널($\kappa(-\tau) = \kappa(\tau)$)의 양방향 특성은 본질적으로 모든 위치를 미래 토큰과 결합하여 치명적인 누출(val $\approx$ 0.018)을 일으키며, 이는 셔플된 격차 진단을 적용했을 때만 사라집니다.
• FourierQK 솔루션: 성공적인 FourierQK 구현은 위치 인덱스가 지정된 시퀀스의 irfft 재구성을 피합니다. 대신, 위치당 가중치 스칼라로 주파수 차원을 축소함으로써, 전체 신호 재구성에 내재된 누출을 방지합니다.

의의 및 주장

본 논문은 Query와 Key 투영의 스펙트럼 전처리가 트랜스포터 어텐션이 여러 언어적 스케일에서 위상 일관적인 시간적 구조를 탐지할 수 있게 함으로써 어텐션을 향상시키는 독특하고 효과적인 아키텍처 수정 사항이라고 주장합니다.

주요 주장은 다음과 같습니다:

1. 스펙트럼 특이성: 개선은 무작위 선형 변환이나 메트릭 왜곡이 아니라, 주파수 영역의 글로벌 믹싱에 의한 것입니다.
2. 아키텍처 경계: 글로벌 믹싱 스펙트럼 어텐션(작동하지만 양방향 FFT로 인해 비인과적임)과 진정으로 인과적인 스펙트럼 어텐션(에일리어싱 및 제한된 수용 영역 때문에 문자 스케일에서는 실패하지만 단어 스케일에서는 작동할 수 있음) 사이에 명확한 경계가 존재합니다.
3. FNet과의 차별점: FNet은 어텐션을 대체하는 반면, 이 방법은 기존 어텐션 메커니즘을 강화하여 주파수 계층 구조가 어텐션 점수 자체에서 나타나도록 합니다.
4. 위상의 지배력: 이 메커니즘은 진폭(에너지)만이 아니라 위상 일관성(주파수 성분의 시간적 정렬)에 의존합니다.

본 연구는 정밀한 한계를 식별했습니다: 양방향 FFT 전처리는 매우 효과적이지만, 그 비인과적 특성 때문에 인과적 언어 모델에 직접 적용할 경우 누출이 발생합니다. 저자들은 향-나이퀴스트 제약이 덜 엄격한 단어 스케일 토큰화로 이동함으로써, 인과적 스펙트럼 어텐션이 시간 영역 필터에서 관찰된 에일리어싱 및 수용 영역 문제를 해결할 수 있을 것이라고 제안합니다.