기술 요약: 비전 트랜스포머의 패치-그리드 불안정성을 위한 위상 마진화 (Phase Marginalization)

1. 문제 정의: 패치-그리드 위상 불안정성 (Patch-Grid Phase Instability)

비전 트랜스포머(ViT)는 이미지를 토큰 시퀀스로 변轉換하기 위해 고정된 패치화(patchification) 프로세스에 의존한다. 이는 이미지 좌표계에 대한 패치 그리드의 정렬 상태에 따라 토큰에 할당되는 픽셀이 결정되는 이산적 공간 위상(discrete spatial phase)을 도입한다. 본 논문은 이러한 패치-그리드 위상을 밀집 예측(dense prediction) 작업(예: 세그멘테이션, 깊이 추정, 로컬 매칭)에서 **위상 의존적 불안정성(phase-dependent instability)**을 유발하는 "불필요한 변수(nuisance variable)"로 규정한다.

구체적으로, 패치 그리드를 몇 픽셀 이동시키는 것(위상 오프셋 $\phi$)은 모델이 가용할 수 있는 토큰 증거(token evidence)를 변화시킬 수 있으며, 특히 인접한 픽셀들이 서로 다른 클래스나 깊이에 속하는 의미론적 경계 근처에서 이러한 현상이 두드-하게 나타난다. 만약 패치 그리드가 이동했을 때 모델의 밀집 예측 결과가 크게 변한다면, 해당 모델은 불안정성을 보이는 것이다. 이는 일반적인 이미지 섭동(노이즈나 회전 등)과는 구별되는 것으로, 중첩되지 않는 패치 토큰화(non-overlapping patch tokenization)에서 발생하는 특유의 구조적 양자화 아티팩트(architectural quantization artifact)를 의미한다.

2. 방법론: 위상 마진화 (Phase Marginalization)

본 논문은 백본을 수정하거나 모델을 재학습시키지 않고도 이러한 불안정성을 완화하기 위해 설계된, 사후적(post-hoc)이며 학습이 필요 없는 추론 래퍼(inference wrapper)인 **위상 마진화(Phase Marginalization)**를 제안한다.

핵심 메커니즘

이 방법은 패치-그리드 위상을 마진화(marginalize)해야 할 변수로 취급한다. 단일 정준 그리드($\phi = (0,0)$)를 이용한 단일 순전파 대신, 모델은 구조화된 위상 오프셋 집합 $\Phi_K = \{\phi_1, \dots, \phi_K\}$에 대해 이미지를 평가한다.

1. 위상 이동 (Phase Shifting): 각 위상 $\phi_k$에 대해, 입력 이미지는 패치 그리드를 이동시키기 위한 위상 이동 연산자 $S_{\phi_k}$(반사 패딩 및 크롭 포함)를 사용하여 처리된다.
2. 추론 (Inference): 동결된(frozen) ViT 인코더와 밀집 헤드(dense head)가 각 위상에 대한 로짓 맵(logit map) $z_{\phi_k}$를 생성한다.
3. 역 정렬 (Inverse Alignment): 각 출력은 역 정렬 연산자 $A^{-1}_{\phi_k}$를 사용하여 원래의 이미지 좌표계로 다시 매핑된다. 이는 리셰이핑(reshaping), 쌍선형 업샘플링(bilinear upsampling, align-corners=False 적용), 그리고 원래 해상도를 복구하기 위한 크롭 과정을 포함한다.
4. 집계 (Aggregation): 정렬된 로짓들은 다음 식에 따라 평균화되어 최종 예측값을 생성한다:
   $$\bar{z}(p) = \frac{1}{K} \sum_{k=1}^K \mathcal{A}^{-1}_{\phi_k}(z_{\phi_k})(p)$$

주요 변형: 균등 위상 마진화 (Uniform Phase Marginalization)

핵심 기여는 $K=4$인 균등 위상 마진화이다. 패치 크기 $P$가 짝수인 경우, 이 방법은 서브 패치 위상 공간의 네 가지 정준 사분면을 샘플링한다:
$$\Phi_4 = \{(0,0), (0, P/2), (P/2, 0), (P/2, P/2)\}$$
이 접근 방식은 계산량 측면에서 4-순방향 테스트 타임 증강(TTA) 앙상블과 동일하지만, 일반적인 이미지 변환이 아닌 패치-그리드 정렬이라는 특정 불필요 변수를 샘플링한다는 점에서 차이가 있다.

부차적 변형 (감사 실험)

논문은 다음과 같은 학습된 또는 적응된 변형들을 보조적인 감사(audit)로서 함께 평가한다:

• 학습된 위상-특징 어텐션 (Learned Phase-Feature Attention): 국소 분산(local variance)에 따라 위상별 특징의 가중치를 학습하는 훈련된 모듈.
• 부분 인코더 튜닝 (Partial Encoder Tuning): 위상 어텐션을 사용하면서 마지막 인코더 블록의 가중치를 해제(unfreeze)함.
• 트랜스포머 전 평균화 (Pre-Transformer Averaging): 셀프 어텐션 이전에 패치 임베딩을 평균화함 (부정적인 설계 변형).
• 깊이 특화 융합 (Depth-Specific Fusion): 잔차 교정(residual correction)을 위해 설계된 깊이 추정용 변형.
  이들은 주요 제안 방법이라기보다 탐색적 비교로서 제시되었다.

3. 주요 기여

1. 현상 정의: 패치-그리드 위상 불안정성을 CNN의 일반적인 이동-에일리어싱(shift-aliasing)과 구분되는, 밀집 ViT 예측을 위한 측정 가능한 불필요 변수로 공식 정의하였다.
2. 방법론 제안: 구조화된 패치-그리드 위상에 대해 예측을 집계하는 학습이 필요 없는 사후적 절차인 균등 위상 마진화를 도입하였다.
3. 실증적 증거: 제안된 방법이 세그멘테이션, 깊이 추정, 로컬 매칭 작업 전반에서 $K=1$ 베이스라인보다 일관된 개선을 보임을 입증하였다.
4. 통제된 비교: 일반적인 이동 기반 TTA와의 계산량 매칭 비교 및 스케일링 연구($K=4, 8, 16$)를 통해 $K=4$가 실용적인 비용-정확도 트레이드오프임을 확립하였다.

4. 실험 결과

본 방법은 세만틱 세그멘테이션(GTA5→Cityscapes, SYNTHIA→Cityscapes, ADE20K), 깊이 추정(NYU Depth v2), 로컬 특징 매칭(HPatches)에서 평가되었다.

• 성능 향상: 균등 위상 마진화($K=4$)는 모든 측정 환경에서 $K=1$ 베이스라인보다 우수한 성능을 보였다.
  • 세그멘테이션: ADE20K 및 교차 도메인 설정(예: GTA5→Cityscapes에서 +0.82 mIoU)에서 +0.76 ~ +1.39 mIoU의 향상을 보였다.
  • 깊이 추정: NYU Depth v2에서 RMSE를 0.6506에서 0.6277로 감소시켰다.
  • 매칭: HPatches에서 정확도가 향상되었다 (예: DINOv2에서 +3.75%).
• TTA와의 비교: 동일한 4-순방향 예산을 가진 통제된 Cityscapes 실험에서, 균등 위상 마진화는 일반적인 행 기반 이동(row-based shift) TTA보다 소폭 우세(+0.31 mIoU)하였으며, 이는 패치-그리드 위상을 구체적으로 샘플링하는 것이 일반적인 이미지 이동보다 더 효과적임을 시사한다.
• 스케일링 연구: $K$를 4 이상으로 늘려도 수확 체감의 법칙이 적용되었다. $K=8$은 거의 변화가 없었으며, $K=16$은 훨씬 높은 지연 시간(latency)을 초래하면서도 정확도 향상은 미미했다. 이를 통해 $K=4$가 실용적인 기본값임을 검증하였다.

5. 의의 및 주장

본 논문은 패치-그리드 위상을 모델 재설계나 재학습 없이 완화할 수 있는, ViT의 측정 가능한 불안정성 원인으로 규정한다.

• 진단적 유용성: 이 방법은 모델의 예측이 임의적인 그리드 정렬에 얼마나 민적한지를 보여주는 간단한 진단 도구 역할을 한다. 높은 위상 분산은 모델의 예측이 패치-그리드 정렬에 민감함을 나타낸다.
• 실용적 베이스라인: 밀집 ViT 예측을 위한 "간단한 진단 및 사후 마진화 베이스라인"을 제공한다.
• 배포: Swin, PVT 또는 중첩된 토큰(overlapping tokens)과 같이 모델 재설계나 새로운 학습 체계가 필요한 구조적 해결책과 달리, 위상 마진화는 동결된 백본(DINO 스타일 모델 등)과 호환되는 가벼운 추론 래퍼이다.

저자들은 이 방법을 구조적 혁신을 대체하는 것이 아니라, 기존의 밀집 예측 파이프라인에서 견고성과 일반화 성능을 개선하기 위해 필수적인 특정 양자화 아티팩트에 대한 교정 작업으로 프레임화하며 겸허한 어조를 유지한다.