기술 요약: 포물선 위치 인코딩 (PaPE)

문제 제기

비전 트랜스포머 (ViT) 는 컴퓨터 비전 분야에서 지배적인 위치를 차지하고 있지만, 그 위치 인코딩은 종종 자연어 처리 (NLP) 아키텍처에서 차용된 것입니다. 언어는 본질적으로 1 차원이며 기하학적 방향에 크게 무관한 반면, 비전 모달리티 (이미지, 비디오, 이벤트 스트림, 포인트 클라우드) 는 고유한 공간적 특성을 지닙니다. 기존에 $n$차원 비전 구조에 적용된 위치 인코딩들은 종종 이동 불변성, 회전 불변성, 거리 감쇠, 방향성, 그리고 문맥 인식과 같은 이러한 특성을 완전히 반영하지 못합니다. 또한 많은 현재 방법론들은 훈련 중 본 적 없는 해상도보다 훨씬 높은 해상도로 효과적으로 외삽 (extrapolate) 하는 데 어려움을 겪어, 다중 해상도 시나리오에서의 견고성과 적용 범위를 제한합니다.

방법론: 포물선 위치 인코딩 (PaPE)

저자들은 비전 모달리티에 특화된 위치 인코딩인 **포물선 위치 인코딩 (PaPE)**을 제안하며, 이는 다음 다섯 가지 정제된 설계 원칙에 기반합니다:

1. 이동 불변성 (Translation Invariance): 인코딩은 토큰의 절대 좌표가 아닌 토큰 간의 상대적 위치에 의존합니다.
2. 회전 불변성 (PaPE-RI): 회전 시 인코딩이 변하지 않는 특정 구현체입니다 (다만 방향성 측면에서는 비용이 발생합니다).
3. 거리 감쇠 (Distance Decay): 토큰 간의 거리가 증가함에 따라 어텐션 강도가 감소합니다.
4. 방향성 (Directionality): 인코딩은 토큰 간의 특정 방향 (예: 위, 아래, 대각선) 을 고려합니다. 이는 비전에 필수적이지만 1 차원 언어에서는 덜 중요합니다.
5. 문맥 인식 (Context Awareness): 거리 감쇠와 방향성의 강도는 토큰 자체의 내용에 의해 조절되어, 모델이 국소적 상호작용과 장거리 상호작용에 적응할 수 있도록 합니다.

수학적 공식화

PaPE 는 상대적 위치 $\Delta r_{ij} = W_p(r_j - r_i)$를 $m$개의 학습 가능한 포물선의 합에 있는 종속 변수로 모델링합니다. 어텐션 점수 $S_{ij}$는 세 가지 구성 요소로 분해됩니다:
$$S_{ij} = \langle a_i, \Delta r_{ij}^{\odot 2} \rangle + \langle b_i, \Delta r_{ij} \rangle + \langle q_i, k_j \rangle$$
여기서:

• $\langle a_i, \Delta r_{ij}^{\odot 2} \rangle$는 거리 감쇠를 인코딩합니다. 계수 $a_i$는 학습 가능한 프로젝션과 softplus 활성화 함수 (부호 반전) 를 통해 토큰 콘텐츠 $x_i$에서 유도되며, $a_i < 0$을 보장하여 오목성을 강제합니다.
• $\langle b_i, \Delta r_{ij} \rangle$는 방향성을 인코딩합니다. 계수 $b_i$ 역시 $x_i$에서 유도됩니다.
• $\langle q_i, k_j \rangle$는 표준 의미론적 어텐션을 나타냅니다.

회전 불변 변형 (PaPE-RI)

회전 불변성을 달성하기 위해 PaPE-RI 는 다음과 같은 제약을 부과합니다: $b_i = 0$(방향성 제거), $a_i$는 스칼라 $\alpha_i < 0$, 그리고 프로젝션 행렬 $W_p$는 스케일된 단위 행렬입니다. 이로써 거리 항은 회전 불변인 유클리드 거리의 제곱 함수로 축소됩니다.

효율적 커널과의 호환성

핵심적인 기술적 기여는 전체 $N \times N$ 어텐션 행렬을 물리적으로 생성하지 않고 PaPE 를 계산할 수 있게 하는 별도의 쿼리 및 키 변환 ($f_q$ 및 $f_k$) 의 유도입니다. 이는 FlashAttention 과 같은 효율적인 어텐션 커널과의 호환성을 보장합니다. 이러한 변환은 위치 정보를 직접 쿼리 및 키 벡터에 주입하며, 헤드 차원을 $p^2 + 2p + 2$만큼 증가시킵니다 (여기서 $p$는 공간 차원). 이는 $p=2$ 또는 $p=3$인 경우 moderate 한 오버헤드입니다.

주요 기여

1. 새로운 인코딩: 이동/회전 불변성, 거리 감쇠, 방향성, 그리고 문맥 인식의 결합된 원칙에서 유도된 최초의 위치 인코딩인 PaPE 와 PaPE-RI 의 도입.
2. 효율성: 별도의 쿼리 - 키 변환을 통해 PaPE 가 효율적인 어텐션 커널과 호환 가능함을 입증하여, 전체 어텐션 행렬 생성의 계산 병목 현상을 회피함.
3. 외삽 능력: 분류 작업에서 PaPE 가 우수한 외삽 능력을 보이며, 추가 훈련이나 보간 없이 훈련 해상도를 훨씬 초과하는 해상도에서도 성능을 유지함을 입증.
4. 일반성: 비디오, 이벤트 카메라, 이미지, 포인트 클라우드 등 4 가지 비전 모달리티에 걸친 8 개 데이터셋에서 PaPE 를 검증하여, 기존 최첨단 베이스라인과 맞먹거나 능가함을 보임.

실험 결과

분류 외삽

ImageNet-1K에서 $224^2$ 해상도로 훈련된 모델들을 재훈련이나 위치 보간 없이 $1024^2$까지 평가했습니다.

• PaPE는 $1024^2$에서 **74.9%**의 정확도를 달성하여, 다음으로 가장 좋은 베이스라인 (LookHere) 보다 10.5% 높은 성능을 보였습니다 (LookHere 는 64.4% 달성).
• 반면, nD-sincos 및 RoPE 변형과 같은 표준 베이스라인들은 더 높은 해상도에서 성능이 크게 저하되었습니다.
• 저자들은 이 성공을 PaPE 의 문맥 인식적 특성, 즉 모델이 동적으로 위치 감쇠에 적응할 수 있게 해주는 특성에 기인합니다.

일반 비전 위치 인코딩

8 개 데이터셋 (UCF101, DvsGesture, GEN1, ImageNet-1K, COCO, ScanNet, ModelNet40, nuScenes) 에 대한 평가 결과는 다음과 같습니다:

• 평균 성능: PaPE 는 평균 점수 66.3 을 기록하여 다음으로 가장 좋은 방법 (RoPE) 보다 1.0 점 높았습니다.
• 데이터셋 승리: PaPE 는 5 개 데이터셋에서 최상위 베이스라인과 동률을 이루었고, 2 개 데이터셋 (UCF101 및 GEN1) 에서 모든 베이스라인을 능가했습니다.
• 시공간 데이터: PaPE 는 UCF101 (49.5% 대 RoPE 의 43.9%) 과 GEN1 에서 특히 강력한 개선을 보였으며, 이는 방향성과 문맥 인식이 빠르게 움직이는 객체 및 이벤트 기반 데이터에 필수적임을 시사합니다.
• 포인트 클라우드: ScanNet 에서 PaPE 는 절대 인코딩 (nD-sincos) 에 비해 성능이 낮았는데, 이는 고유의 절대 크기를 가진 실내 장면의 경우 절대 위치 정보가 유익할 수 있음을 시사합니다. 반면, 격리된 객체인 ModelNet40 에서는 이동 불변 인코딩이 절대 인코딩보다 우수한 성능을 보였습니다.

견고성과 효율성

• 분포 외 (OOD): ImageNetV2 및 ImageNet-Renditions 에서 PaPE 는 베이스라인보다 더 큰 성능 저하를 보이지 않아, 문맥 인식이 일반화에 해를 끼치지 않음을 확인했습니다.
• 파라미터 매칭: 베이스라인을 PaPE 의 파라미터 수와 일치하도록 조정했을 때, PaPE 는 여전히 성능 우위를 유지하여 이득이 단순히 증가된 모델 용량 때문이 아님을 나타냈습니다.
• 효율성: PaPE 는 $m=50$인 경우 VRAM 및 FLOPS 에서 7~20% 의 moderate 한 자원 증가를 도입하지만, 표준 효율적 어텐션 구현과 호환된 상태를 유지합니다.

중요성과 주장

본 논문은 PaPE 가 언어에서 유래된 인코딩과 비전의 특정 기하학적 필요성 사이의 간극을 메우는 일반 비전 위치 인코딩을 대표한다고 주장합니다.

• 외삽: 저자들은 PaPE 가 고해상도에서 다음으로 가장 좋은 방법보다 절대적 수치로 최대 10.5% 까지 개선되는 "놀라운" 외삽 능력을 제공한다고 주장하며, 이는 훈련 비용을 줄이고 견고한 다중 해상도 추론을 가능하게 하는 결정적 요소라고 강조합니다.
• 원칙적 설계: 이동 불변성, 거리 감쇠, 방향성, 그리고 문맥 인식을 명시적으로 설계함으로써, 기존 적응들에서 비전 특성에 대한 "불완전한" 커버리지를 해결합니다.
• 다용도성: 2D 이미지부터 3D 포인트 클라우드 및 비동기 이벤트 스트림에 이르기까지 다양한 모달리티에 걸친 결과는 PaPE 가 비전 트랜스포머를 위한 통일되고 견고한 솔루션을 제공하며, 위치 인코딩 연구에 새로운 길을 열고 있음을 시사합니다.

저자들은 한계에 대해 겸손하게 언급하며, 하이퍼파라미터 $m$에 의존하는 파라미터 및 자원 사용량의 moderate 한 증가를 지적하고, 향후 연구는 $m$을 줄이거나 PaPE 를 효율적 커널에 더 깊이 통합하는 데 초점을 맞출 수 있음을 제안합니다.