Influence Malleability in Linearized Attention: Dual Implications of Non-Convergent NTK Dynamics

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 어텐션 (Attention) 메커니즘은 딥러닝의 혁신을 이끌었으나, 그 학습 동역학의 이론적 기초는 여전히 복잡하고 비선형적인 특성으로 인해 명확히 규명되지 않았습니다.
• 기존 이론의 한계: 신경망의 학습 동역학을 분석하는 표준 프레임워크인 신경 탄성 커널 (Neural Tangent Kernel, NTK) 이론은 충분히 넓은 (infinite-width) 신경망이 훈련 중에도 커널이 거의 변하지 않는 "게으른 훈련 (lazy training)" regimes 에서 작동한다고 예측합니다. 이 regime 에서는 네트워크가 커널 회귀와 동등하게 동작합니다.
• 핵심 문제: 본 논문은 선형화된 어텐션 (Linearized Attention) 메커니즘이 NTK 이론의 예측과 달리, 무한한 폭 (width) 으로 확장되더라도 NTK 한계에 수렴하지 않는다는 것을 발견했습니다. 이는 어텐션이 고정된 커널이 아닌, 훈련 중 표현 (representation) 이 크게 변화하는 특징 학습 (feature learning) regimes 에서 작동함을 의미합니다.

2. 방법론 (Methodology)

• 선형화된 어텐션 모델:
  • 파라미터가 없는 (parameter-free) 어텐션 메커니즘을 설계하여 $f_{att}(X) = X X^T X$ 형태로 정의했습니다. 이는 표준 어텐션의 1 차 테일러 근사 및 데이터 의존적 Gram 행렬 유도 커널과 정확히 대응됩니다.
  • 이 어텐션 레이어를 거친 후 2 층 ReLU MLP 를 통과하는 아키텍처 (MLP-Attn) 를 구성했습니다.
• 영향력 가변성 (Influence Malleability) 도입:
  • 훈련 데이터의 품질 변화에 따라 모델이 특정 훈련 예제에 의존하는 정도를 동적으로 변경할 수 있는 능력을 정량화하기 위해 영향력 가변성이라는 새로운 지표를 제안했습니다.
  • 측정 방법: PGD (Projected Gradient Descent) 등의 적대적 공격을 통해 고영향력 (high-influence) 훈련 예제를 교란시켰을 때, 해당 예제의 영향력 부호 (유용함/해로움) 가 반전되는 비율 (Flip Rate) 을 계산합니다.
• 이론적 분석:
  • NTK 프레임워크를 사용하여 선형화된 어텐션과 데이터 의존적 Gram 유도 커널 간의 정확한 대응 관계를 증명했습니다.
  • 스펙트럼 증폭 (Spectral Amplification): 어텐션 변환이 Gram 행렬의 조건수 (condition number) 를 세제곱 ($\kappa^3$) 으로 증폭시킨다는 것을 수학적으로 증명했습니다.

3. 주요 기여 및 이론적 발견 (Key Contributions)

1. NTK 비수렴 (Non-Convergence) 증명:
   • 선형화된 어텐션은 폭이 커짐에도 불구하고 무한 폭 NTK 한계에 수렴하지 않습니다.
   • 이유: 어텐션 변환이 Gram 행렬의 조건수를 $\kappa(G)^3$ 으로 증폭시킵니다. NTK 에 수렴하기 위해 필요한 네트워크 폭 $m$ 은 $m = \Omega(\kappa(G)^6)$ 이어야 하는데, 자연 이미지 데이터셋 (MNIST, CIFAR-10) 의 조건수를 고려할 때 이 값은 $10^{18}$ 이상으로, 실제 가능한 폭을 훨씬 초과합니다.
2. 이론적 프레임워크 구축:
   • 파라미터가 없는 선형화된 어텐션이 데이터 의존적 Gram 유도 커널 (Theorem 4.1) 과 정확히 대응됨을 보였습니다. 이는 어텐션이 전이적 유사성 (transitive similarity) 구조를 가진다는 것을 의미합니다.
3. 영향력 가변성 (Influence Malleability) 정량화:
   • 어텐션 메커니즘이 표준 ReLU 네트워크보다 6~9 배 더 높은 영향력 가변성을 보임을 실험적으로 확인했습니다. 이는 어텐션이 훈련 데이터에 대해 훨씬 더 민감하고 유연하게 반응함을 의미합니다.
4. 이중적 함의 (Dual Implications) 규명:
   • 장점: 데이터 의존적 커널은 작업 구조와 정렬될 때 근사 오차 (bias) 를 줄여 성능을 향상시킵니다.
   • 단점: 동일한 민감성은 훈련 데이터의 적대적 조작 (adversarial manipulation) 에 대한 취약성을 증가시킵니다.

4. 실험 결과 (Results)

• NTK 거리 (NTK Distance):
  • 2L-ReLU: 네트워크 폭이 증가함에 따라 NTK 거리가 단조 감소하며 NTK regime 에 수렴합니다.
  • MLP-Attn: 폭이 증가해도 NTK 거리가 감소하지 않거나 오히려 증가합니다 (MNIST 는 비단조, CIFAR-10 은 단조 증가). 이는 어텐션이 특징 학습 regimes 에 머무름을 보여줍니다.
• 영향력 가변성 (Flip Rate):
  • MNIST/CIFAR-10: PGD 공격 하에서 MLP-Attn 의 영향력 반전 비율은 2L-ReLU 보다 훨씬 높았습니다 (예: MNIST 에서 28.9% vs 3.3%).
  • 적대적 훈련 (Adversarial Training): ReLU 네트워크에 적대적 훈련을 적용하면 가변성이 크게 증가하지만, 어텐션 네트워크는 별도의 적대적 훈련 없이도 구조적으로 높은 가변성을 가집니다.
• 손실 지형 (Loss Landscape):
  • 2L-ReLU 는 날카롭고 좁은 최소값 (sharp minimum) 으로 수렴하는 반면, MLP-Attn 은 더 넓고 평평한 분지 (broad basin) 를 형성하여 특징 학습의 특성을 시각적으로 보여줍니다.

5. 의의 및 결론 (Significance)

• 이론적 통찰: 어텐션 메커니즘이 NTK 이론의 "게으른 훈련" regimes 를 벗어난 특징 학습 regimes에서 작동한다는 것을 최초로 이론적으로 증명했습니다. 이는 어텐션의 강력한 성능이 고정된 커널이 아닌, 데이터 구조에 적응하는 동적 표현 학습에서 비롯됨을 시사합니다.
• 실용적 함의:
  • 강점: 데이터의 기하학적 구조와 작업 목표가 일치할 때, 어텐션은 더 낮은 편차 (bias) 를 달성하여 높은 일반화 성능을 보입니다.
  • 약점: 훈련 데이터의 작은 변화나 적대적 예제에 대해 모델의 의존도가 급격히 변할 수 있어, 보안 및 안정성 측면에서 취약할 수 있습니다.
• 미래 방향: NTK 이론을 어텐션 기반 모델에 적용할 때는 주의가 필요하며, 데이터 품질 관리와 적대적 방어 메커니즘의 중요성이 강조됩니다. 또한, 완전한 소프트맥스 어텐션으로의 확장 및 더 큰 규모의 아키텍처에 대한 연구가 필요합니다.

요약하자면, 이 논문은 어텐션 메커니즘이 NTK 이론적 한계를 깨고 특징 학습을 수행하며, 이로 인해 데이터에 대한 높은 민감성 (가변성) 을 가지게 된다는 사실을 규명했습니다. 이 민감성은 동시에 모델의 유연성과 취약성이라는 상반된 두 가지 결과를 초래한다는 것이 핵심 결론입니다.