기술 요약: 위치 인코딩(Positional Encodings)은 비전 트랜스포머의 공간 구조를 고정한다

문제 정의

비전 트랜스포머(ViT)는 합성곱 신경망(CNN)에서 발견되는 국소성(locality)과 이동 불변성(translation equivariance)에 대한 내재적 유도 편향(inductive bias)이 부족하다. 결과적으로, 이들은 위치에 따라 토큰을 구별할 수 있도록 공간 정보를 주입하는 위치 임베딩(Positional Embeddings, PEs)에 의존한다. 그러나 PEs의 기능적 역할은 여전히 모호하다. 선행 연구들은 PEs가 제거되거나 저하되어도 ViT가 상당한 성능을 유지할 수 있음을 보여주며, 이는 공간 구조가 패치 콘텐츠 자체만으로도 부분적으로 발현될 수 있음을 시사한다.

이는 핵심적인 수수께끼를 던진다: 만약 명시적인 위치 가이드 없이도 공간 구조가 발생할 수 있다면, PEs의 구체적인 역할은 무엇인가? 기존 연구들은 주로 다운스트림 성능 비교나 아키텍처 변형을 통해 이를 다루어 왔으며, 내부 표현 기하학(internal representational geometry)에 미치는 PEs의 기계론적 영향과 분포 변화에 따른 강건성(robustness) 사이의 구체적인 관계는 여전히 미개척 영역으로 남아 있다.

방법론

저자들은 PEs가 트랜스포머 스택 전반에 걸쳐 토큰 표현을 어떻게 형성하는지 분석하기 위해 기하학적 관점을 채택한다. 방법론은 세 가지 핵심 요소에 기반한다:

1. 공간 유사도 거리 상관관계 (Spatial Similarity Distance Correlation, SSDC):
   공간 구조를 정량화하기 위해 도입된 새로운 지표이다. SSDC는 토큰 쌍 간의 토큰 유사도 행렬($S$)과 음의 공간 거리 행렬($D$) 사이의 스피어먼 순위 상관관계(Spearman rank correlation)를 계산한다.
   $$SSDC = \rho_{Spearman} (\{S_{ij}\}_{i<j}, \{-D_{ij}\}_{i<j})$$
   SSDC 값이 높을수록 공간적으로 인접한 토큰들이 더 유사한 표현을 가짐을 의미한다. 저자들은 SSDC를 특정 메커니즘의 절대적 척도로 사용하기보다는, 깊이(depth)에 따른 변화와 개입에 대한 민감도를 추적하기 위한 비교 프록시로 사용한다.

2. 순열 개입 (Permutation Interventions):
   인덱스 기반(토큰 위치에 고정됨) 조직과 콘텐츠 기반(시각적 패치 콘텐츠에 의해 구동됨) 공간 조직을 구분하기 위해 두 가지 개입을 사용한다:

   • 추론 시 무작위 순열 (Random Permutation at Inference, RPI): 위치 인덱스는 고정된 상태에서 추론 시 토큰 순서를 섞는다. 이는 토큰 콘텐츠와 공간 위치 사이의 연결을 끊는다. 만약 공간 구조가 지속된다면 이는 인덱스에 고정된 것이고, 붕괴한다면 콘텐츠에 의해 구동되는 것이다.
   • 학습 시 무작위 순열 (Random Permutation Training, RPT): PEs는 원래 인덱스에 고정되어 있지만, 학습 과정의 매 포워드 패스마다 토큰을 섞는다. 이는 모델이 일관된 인덱스-위치 매핑을 학습하는 것을 방지하여, 안정적인 위치 참조 프레임을 효과적으로 파괴한다.

3. 강건성 평가:
   저자들은 콘텐츠 교란 분포 변화(JPEG 압축 및 가우시안 블러) 하에서 모델을 평가하며, **취약성 점수(Fragility Score, FS)**를 사용한다. FS는 상대적 정확도 저하($1 - A_{shift}/A_{normal}$)로 정의된다.

4. 위치 스케일링 (Positional Scaling):
   공간 조직과 강건성 사이의 인과 관계를 조사하기 위해, 학습된 절대 위치 임베딩(APE)의 크기를 추론 시 계수 $\alpha \in [0, 1]$에 따라 조절한다. 이를 통해 재학습 없이 인덱스 기반의 공간 신호를 연속적으로 저하시킬 수 있다.

주요 기여 및 결과

1. PE가 없는 상태에서의 콘텐츠 주도적 구조 발현

PE가 없는 모델("ablated" 모델)에서도 학습 중에 비자명한(non-trivial) 공간 구조가 나타난다. 그러나 이 구조는 **콘텐츠 주도적(content-driven)**이다. RPI 조건에서, ablated 모델의 SSDC는 모든 레이어에서 0에 가깝게 붕괴하며, 이는 이들의 공간 조직이 전적으로 패치 콘텐츠에 의존하며 콘텐츠-위치 대응 관계가 깨질 때 실패함을 나타낸다.

2. PEs는 인덱스에 고정된 공간 조직을 유도함

PE가 적용된 모델(Learned Absolute, Sinusoidal, Rotary/RoPE)은 뚜렷하게 인덱스에 고정된(index-anchored) 공간 조직으로의 전환을 보인다.

• RPI 하에서, 이 모델들은 상당한 SSDC 회복력을 보여주며, 이는 패치 콘텐츠가 치환되더라도 표현이 토큰 인덱스에 부분적으로 고정되어 있음을 나타낸다.
• 깊이별 궤적 (Depth-wise Trajectories): 모든 PE 유형이 이러한 전환을 유도하지만, 구조가 발달하는 방식은 다르다:
  • APE 및 Sinusoidal: 초기 레이어에서 SSDC가 급격히 증가하며, 이는 가산적(additive) 신호를 통해 초기에 공간 구조가 주입됨을 시사한다.
  • RoPE: 깊이에 따라 점진적이고 연속적인 구조 축적을 보여주며, 이는 어텐션 메커니즘에 곱셈적으로 통합되는 특성과 일치한다.

3. 안정적인 참조 프레임의 우선순위

본 연구는 강건성의 결정적 요인이 특정 인코딩 메커니즘이 아니라, 안정적인 위치 참조 프레임의 존재임을 입증한다.

• RPT 모델: PEs가 존재함에도 불구하고, RPT로 학습된 모델(인덱스-위치 매핑이 일관되지 않은 모델)은 RPI 하에서 SSDC를 회복하지 못하며, ablated 모델과 유사한 취약성 점수를 보인다.
• 결론: 단순히 PEs가 존재하는 것만으로는 불충분하며, 모델이 강건성을 확보하기 위해서는 토큰 인덱스와 공간 위치 사이의 일관된 매핑을 학습해야 한다.

4. 인덱스 기반 조직과 강건성의 상관관계

인덱스 기반 공간 조직의 안정성과 콘텐츠 교란 변화에 대한 강건성 사이에는 강한 상관관계가 있다:

• 취약성 점수: 안정적인 인덱스 고정 조직을 가진 모델(APE, Sinusoidal, RoPE)은 ablated 또는 RPT 모델(Fragility $\sim 0.66$)보다 JPEG 압축에 대해 훨씬 더 강건하다(Fragility $\sim 0.30–0.43$).
• 이차적 변이: 모든 PE 기반 모델이 강건하지만, RoPE가 일관되적으로 가장 낮은 취약성을 보여준다. 이는 인코딩 메커니즘이 점진적인 깊이별 통합 덕분에 이차적인 역할을 수행함을 시사한다.
• 스케일링 실험: APE의 크기($\alpha$)가 감소함에 따라 $\Delta SSDC$(공간 구조의 회복량)가 붕괴하고 취약성이 급격히 증가한다. 공간 조직이 완전히 파괴되면($\alpha \le 0.4$), 취약성은 정체기에 도달한다. 이는 강건성 저하가 공간 구조의 상실을 추적함을 확인시켜 준다.

의의 및 주장

본 논문은 비전 트랜스포머에서 위치 인코딩이 어떻게 기능하는지에 대한 기하학적 설명을 제공한다. 저자들의 주장은 다음과 같다:

1. 강건성은 참조 프레임에 달려 있다: 콘텐츠 교란 변화에 대한 강건성의 주요 동력은 특정 수학적 형태(학습형 vs 고정형, 가산형 vs 곱셈형)가 아니라, 안정적인 인덱스 고정 공간 조직의 확립이다.
2. 개입 기반의 증거: 공간 조직과 강건성 사이의 관계는 통제된 개입(RPI, RPT, 스케일링)을 통해 식별되었다. 저자들은 증거가 강력하지만, 이것이 엄격히 격리된 인과 메커니즘을 규명했다기보다는 관계를 식별한 것이라고 명시한다.
3. 설계 시사점: 향후 인코딩 방식은 일관된 위치 참조 프레임을 구축할 수 있는 능력을 우선시해야 한다. 특정 인코딩 메커니즘 자체보다는 학습 과정 중 인덱스-위치 매핑의 안정성이 더 중요하다.

저자들은 본 연구 결과가 ImageNet-100에서 처음부터 학습된 ViT-S 모델을 기반으로 하며, 강건성 평가가 적대적 변화나 시맨틱 분포 변화가 아닌 콘텐츠 교란 섭동에 국한되어 있다는 점을 언급하며 일반화에 대해 신중한 태도를 유지한다.