기술 요약: $O(2)$의 이산 부분군에 대해 등변성을 갖는 비전 트랜스포머를 위한 통합 프레임워크

문제 정의

비전 트랜스포머(ViT)는 시각적 인식을 위한 지배적인 아키텍처로 자리 잡았으나, 표준 모델들은 많은 시각 영역에 내재된 평면 대칭성을 명시적으로 인코딩하지 못한다. 군-등변 합성곱 신경망(Group-equivariant CNNs)은 대칭성(예: 평행 이동 및 회전)을 귀납적 편향(inductive biases)으로 성공적으로 통합해 왔지만, 트랜스포머 기반 아키텍처로의 전환에는 새로운 이론적 프레임워크가 필요하다. 기존의 등변 ViT 제안들은 특정 대칭군(예: 반전 또는 $D_4$ 대칭)이나 특정 구현 전략에 국한되어 왔다. 따라서 특정 대칭군에 종속되지 않고 $O(2)$의 임의의 이산 부분군에 대해 등변성을 갖는 모델을 체계적으로 구축, 비교 및 분석할 수 있는 통합 프레임워크가 필요하다.

방법론

이론적 기초

저자들은 유한 군 $G \leq O(2)$에 대해 등변성을 갖는 Vi트를 구축하기 위해 표현론적 접근 방식을 채택한다. 이 프레임워크는 특징 공간을 기약 표현(irreducible representations, irreps)으로 분해하는 것에 기반한다.

• 특징 공간: 토큰 특징은 $G$-표현 $V$의 원소로 모델링되며, 다음과 같이 기약 표현의 직합으로 분해된다: $V = \bigoplus_{\rho \in \hat{G}} \mathbb{R}^{C_\rho} \otimes V_\rho$ (여기서 $C_\rho$는 다중도이다).
• 패치화된 그리드: 입력은 $G$-패치화된 그리드 $H_0 = U + H$로 정의된다. 여기서 $U$는 기본 패치이고, $H$는 $G$-작용에 의해 안정적인 일련의 평행 이동 집합이다. 이를 통해 모델은 다양한 그리드 구조(예: $D_4$를 위한 정사각형, $D_6$를 위한 육각형)를 처리할 수 있다.

핵심 아키텍처 구성 요소

프레임워크는 표준 Vi트 구성 요소의 등변 성질을 갖는 아날로그를 구축한다:

1. 선형 층 (Linear Layers): 슈어의 보조정리(Schur's Lemma)에 근거하여, 각 기약 표현의 채널 차원에 작용하는 블록 대각 연산으로서 등변 선형 사상을 구축한다. 복소수 형태의 기약 표현(O(2) 부분군에서 흔함)의 경우, 선형 사상은 $\mathbb{C}$와 동형인 부분 대수를 생성하는 기저를 활용한다.
2. 패치 임베딩 및 위치 인코딩 (Patch Embedding & Positional Encoding): 패치 임베딩은 이미지 공간에서 토큰 특징 공간으로 가는 $G$-등변 아핀 사상이다. 위치 인코딩은 토큰에 더해지는 학습 가능한 $G$-불변 벡터로 구현된다.
3. 비선형성 (Nonlinearities): 등변성을 유지하면서 비선형성을 도입하기 위해, 저자들은 "푸리에 유사(Fourier-like)" 구성을 제안한다. 특징을 기약 표현 기저에서 $G$-집합 $X$(동차 공간)로 매핑하고, 점별 비선형성 $\sigma$를 적용한 후, 다시 기약 표현 기저로 매핑한다. 사용되는 $G$-집합 $X$($G/H$로 구성된 동차 공간들의 집합)의 선택이 비선형성의 표현력을 결정한다.
4. 셀프 어텐션 (Self-Attention): 저자들은 $G$-불변 내적을 사용하여 어텐션 점수를 계산하고, $G$-안정 부분 공간(어텐션 헤드)으로 투영함으로써 등변 셀프 어텐션을 위한 일반적인 구성을 제안한다. 두 가지 특정 메커니즘이 정의된다:
   • 기약 표현별 어텐션 (Irrep-wise Attention): 헤드가 기약 표현별로 분해된다.
   • 결합 어텐션 (Coupled Attention): 헤드가 기약 표현들을 혼합하여 형성된다.
     저자들은 단일 헤드 설정에서, 이 등변 파라미터화가 $G$-등변 사상으로 제한된 표준 셀프 어텐션만큼 표현력이 있음을 증명한다.
5. 분류 헤드 (Classification Head): 불변 작업(예: 이미지 분류)을 위해 클래스 토큰이 추가된다. 최종 출력이 불변성을 보장하기 위해, 클래스 토큰의 비자명한 성분들은 최종 선형 분류 층 이전에 "불변화(invariantized)"(노름(norm)으로 변환)된다.

이론적 결과

• 임베딩 정리 (Embedding Theorem): 저자들은 만약 $H \leq G$라면, $G$-등변 Vi트의 클래스가 $H$-등변 Vi트의 클래스에 자연스럽게 임베딩됨을 증명한다. 이는 더 큰 대칭군을 부과하는 것이 함수 클래스를 제한(표현력 감소)하지만, 귀납적 편향을 증가시킨다는 것을 의미한다.
• 어텐션의 표현력 (Expressivity of Attention): 단일 헤드 등변 셀프 어텐션 층은, 주어진 맵이 $G$-등변인 경우 일반적인 셀프 어텐션이 달성할 수 있는 모든 $G$-등변 사상을 나타낼 수 있다.

실험 결과

프레임워크는 데이터 희소 환경(학습 데이터의 10%, 40%, 100%)에서 $D_4$(정사각형 그리드) 및 $D_6$(육각형 그리드)의 부분군에 대해 PatternNet 항공 이미지 데이터셋을 사용하여 평가되었다.

• 등변성의 영향: 매칭된 파라미터 예산 하에서의 예비 결과에 따르면, 등변 모델(특히 분류를 위해 불변성을 강제하는 모델)은 비등변 베이스라인에 비해 인식 정확도를 향상시킬 수 있으며, 특히 저데이터 환경에서 그러하다. 이는 등변성이 효과적인 데이터 증강 전략으로 작용한다는 가설을 뒷받침한다.
• 어텐션 메커니즘: "기약 표현별" 어텐션과 "결합" 어텐션 메커니즘 간의 비교는 데이터 환경과 모델 용량에 따라 성능 차이를 보였으나, 두 메커니즘 모두 모든 설정에서 일관되게 우월하지는 않았다.
• 비선형성 구성: 실험은 비선형성에 사용되는 동차 공간 구성($G$-집합 $X$)의 선택이 성능에 미치는 영향을 분석하였으며, 이를 통해 비선형 층에서의 아키텍처 선택이 모델 효능에 결정적임을 강조하였다.

주요 기여 및 의의

• 통합 프레임워크: 본 논문은 $D_1$(반전) 및 $D_4$ 등변 Vi트를 특수 사례로 포함하여, 임의의 $O(2)$ 이산 부분군에 대해 등변성을 갖는 Vi트를 위한 일반적인 구성을 제공한다.
• 이론적 보장: 저자들은 등변 층이 등변 사상으로 제한될 때 표준 층에 비해 표현력을 잃지 않음을 증명하여 표현력에 대한 엄밀한 보장을 확립하였고, 대칭성의 강도와 모델 표현력 사이의 트레이드오프를 공식화하였다.
• 육각형 호환성: 프레임워크는 육각형 패칭으로 성공적으로 확장되어, 항공 이미지와 관련된 6회전 대칭성을 존중하는 $D_6$-등변 모델을 가능하게 한다.
• 신중한 주장: 저자들은 실험이 대규모 벤치마크 성능 최적화보다는 통제된 소규모 설정에서의 아키텍처 선택을 조사하도록 설계되었음을 강조한다. 결과는 이 연구가 이산 대칭군이 트랜스포머 기반 시각적 인식을 어떻게 형성하는지에 대한 추가 연구를 촉발하는 예비적 증거로서 제시된다.

본 연구는 표현론적 구조를 특정 그룹별 구현 세부 사항으로부터 분리하여, 다양한 평면 대칭군에 걸쳐 등변 Vi트를 구축하고 분석할 수 있는 공통 기반을 제공하는 것을 목표로 한다.