Position-Agnostic Pre-Projection for Transformer Attention: Nonlinear Feature Construction and Content Skip Before Q/K/V

논문 요약: Transformer 어텐션에 대한 위치 무관성 (Position-Agnostic) 사전 투영 및 콘텐츠 스킵

이 논문은 트랜스포머 (Transformer) 블록의 어텐션 메커니즘에 두 가지 상호 보완적인 수정을 제안합니다. 첫째, 위치 인코딩이 적용되기 전에 비선형 사전 투영 (Pre-projection) MLP를 도입하여 더 풍부한 특징을 생성하고, 둘째, **콘텐츠 스킵 연결 (Content Skip)**을 통해 어텐션 메커니즘을 우회하여 정보 전달을 가능하게 합니다.

1. 문제 제기 (Problem)

현대 트랜스포머 블록은 고정된 파이프라인 (Layer Norm $\rightarrow$ 선형 Q/K/V 투영 $\rightarrow$ RoPE $\rightarrow$ 어텐션) 을 따르며, 이는 다음과 같은 두 가지 한계를 가집니다.

• 선형 특징 병목 (Linear Feature Bottleneck): Q/K/V 투영이 순수하게 선형 (Linear) 이기 때문에, 유용한 어텐션 패턴이 비선형 특징의 조합에 의존할 경우 모델은 이전 FFN(Feed-Forward Network) 층들이 이를 구성하도록 의존해야 합니다. 이는 단일 층으로 해결 가능한 작업을 여러 층에 걸쳐 수행하게 만들어 비효율적입니다.
• 강제적인 위치 필터링 (Mandatory Positional Filtering): 모든 정보가 출력에 도달하기 위해 위치 인식 어텐션을 통과해야 합니다. 위치와 무관한 정보 (시맨틱 유형, 구문 범주, 엔티티 식별 등) 가 위치 의존적 정보와 동일한 라우팅 경로를 강제로 통과하게 되어 불필요한 노이즈가 발생할 수 있습니다.

2. 제안된 방법론 (Methodology)

논문은 두 가지 주요 수정 사항을 제안하며, 이는 모두 **위치 무관성 (Position-Agnostic)**을 가지며 K/V 캐시 오버헤드를 추가하지 않습니다.

• 사전 투영 (Pre-projection):
  • Layer Normalization 과 Q/K/V 투영 사이에 작은 비선형 MLP 를 삽입합니다.
  • 수식: $\tilde{x} = \hat{x} + W_{down} \cdot \sigma(W_{up} \cdot \hat{x})$ (여기서 $\sigma$는 SiLU, $e=1.25$).
  • 역할: 위치 인코딩 (RoPE) 적용 전에 richer 한 비선형 특징을 생성하여 Q/K/V 입력을 풍부하게 합니다.
• 콘텐츠 스킵 (Content Skip):
  • 사전 투영을 통해 생성된 풍부해진 특징 ($\tilde{x}$) 을 학습 가능한 선형 매핑 ($W_{skip}$) 을 통해 어텐션 메커니즘을 우회하여 직접 출력에 더합니다.
  • 수식: $out = x + \text{attn\_out} + W_{skip} \cdot \tilde{x}$
  • 역할: 모델이 학습을 통해 각 층에서 위치 기반 어텐션이 불필요한 경우, 콘텐츠 정보를 어텐션 없이 직접 전달하도록 합니다. $W_{skip}$은 초기에 0 에 가깝게 설정되어 기본 모델과 동일하게 시작하며, 학습을 통해 각 층별 우회 정도를 조절합니다.

3. 주요 기여 및 통찰 (Key Contributions & Insights)

• 이중 역할 (Double Duty): 사전 투영은 어텐션 입력을 풍부하게 하는 동시에, 콘텐츠 스킵을 통해 어텐션을 우회할 특징을 제공합니다. 모델은 각 층에서 어떤 경로 (위치 인식 경로 vs 위치 무관 경로) 가 더 유용한지 학습합니다.
• 층별 활성화 패턴 (Layer-wise Pattern): 실험 결과, 콘텐츠 스킵 연결은 모델의 후반부 층 (Later Layers) 에서 더 강하게 활성화되는 일관된 패턴을 보입니다.
  • 해석: 초기 층은 위치 기반 어텐션을 통해 토큰 간 정보를 라우팅하며 구문 (Syntax) 을 처리하는 반면, 후기 층은 이미 풍부한 시맨틱 (Semantic) 표현을 형성했으므로, 위치 라우팅 없이 콘텐츠 정보만 전달하는 것이 더 유리합니다.
• 오버헤드 부재: K/V 캐시 크기를 증가시키지 않으며, 토큰당 고정 비용만 발생합니다.

4. 실험 결과 (Results)

Pythia-160M 및 410M 모델에서 사전 학습된 가중치를 고정 (Frozen) 하고 제안된 파라미터만 학습하는 프로브 (Probe) 실험을 수행했습니다.

• 성능 향상:
  • 160M 규모: LAMBADA 정확도가 +40.6% 향상 (0.128 $\rightarrow$ 0.180), Perplexity(PPL) 는 -39% 감소 (78.4 $\rightarrow$ 47.9). HellaSwag 벤치마크에서도 유일하게 성능을 향상시킨 방법입니다.
  • 410M 규모: PPL 17.0 으로, 더 많은 파라미터를 사용하는 LoRA(17.7) 보다 더 좋은 성능을 기록했습니다.
• 상호 보완성:
  • 사전 투영만으로는 이해도 (LAMBADA) 가 향상되지만 PPL 개선은 미미했습니다.
  • LoRA 만으로는 PPL 은 개선되지만 이해도는 오히려 저하되었습니다.
  • 사전 투영 + 콘텐츠 스킵 조합은 두 가지 장점 (이해도 향상 및 PPL 감소) 을 모두 달성했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 다중 모달 아키텍처 적용 가능성: 사전 투영과 콘텐츠 스킵은 위치 인코딩을 포함하지 않으므로, 텍스트 (순차적), 이미지 (2D 공간), 비디오 (시공간) 등 다양한 모달리티에 적용하기 용이합니다. 특히 위치가 정의되지 않는 모달리티에서는 콘텐츠 스킵이 매우 유용할 수 있습니다.
• 아키텍처적 통찰: 트랜스포머의 초기 층은 구문 (위치 의존적) 처리에, 후기 층은 시맨틱 (콘텐츠 의존적) 처리에 집중한다는 기존 관측을 학습된 가중치 패턴을 통해 자동으로 확인하고 최적화하는 방법을 제시했습니다.

이 연구는 트랜스포머의 어텐션 메커니즘을 단순한 선형 투영과 위치 인코딩의 결합을 넘어, 비선형 특징 생성과 유연한 정보 라우팅을 통해 더 효율적이고 강력한 모델 설계를 가능하게 함을 보여줍니다.