기술 요약: 견고한 ViT 분류를 위한 수직적 융합 (Vertical Fusion, VFusion)

1. 문제 정의

비전 트랜스포머(Vision Transformers, ViTs)는 컴퓨터 비전 분야에서 최첨단 성능을 달 achievement 했으나, 주로 마지막 레이어의 표현만을 다운스트림 태스크에 활용하는 블랙박스 특징 추출기로 사용되고 있다. 이러한 관행은 마지막 레이어가 태스크 관련 정보를 최적으로 응축한다는 암묵적인 가정에 의존한다. 그러나 최근의 관찰 결과에 따르면, 중간 레이어들이 특히 분포 변화(distribution shifts) 및 샘플 난이도와 관련하여 상호 보완적인 정보를 인코딩한다는 점이 시사되고 있다.

현재의 앙상블 전략(수평적 앙상블)은 여러 독립적인 모델의 예측을 결합하여 성능을 개선하지만, 높은 계산 비용이 발생하며 단일 모델 내부의 계층 구조 내에 존재하는 "수직적" 신호를 무시한다. 또한, 합성곱 신경망(CNN)의 중간 레이어들은 오류를 수정하는 데 유용함이 밝혀진 반면, ViT의 경우 더 균일한 표현 프로파일과 높은 중복성을 가지고 있어 그 적용에 대한 이해가 부족하다. 본 연구가 다루는 핵심 질문은 중간 ViT 레이어가 마지막 레이어의 실패를 교정할 수 있는 복구 가능한 신호를 포함하고 있는지, 그리고 만약 그렇다면 레이어 간의 예측 다양성(불일치)에 의존하지 않고 어떻게 효과적으로 이 신호들을 집계할 것인가 하는 점이다.

2. 방법론

2.1. 복구 가능성 분석 (Recoverability Analysis)

저자들은 먼저 **복구 가능성(recoverability)**을 정량화하였는데, 이는 중간 프로브(probe)가 마지막 레이어 프로브가 오분류한 샘플을 얼마나 정확하게 분류할 수 있는지를 의미한다. 16개의 다양한 데이터셋에 걸쳐 분석한 결과, 중간 프로브는 마지막 레이어 오류의 18%에서 76%를 복구해 냈다.

결정적으로, 이 분석은 이러한 이득이 예측 다양성(즉, 레이어들이 서로 다른 유형의 오류를 범하는 것)에 의해 발생하는 것이 아님을 밝혀냈다. 대신, 이는 **중복성-정확성 대응 관계(redundancy-correctness correspondence)**에서 기인한다. 즉, 내부 레이어들은 공유된 판별적 신호에 대한 안정적이고 약간 변형된 프로브 역할을 한다. 높은 복구 가능성은 높은 "교정 엔트로피"(깊이에 따른 분산된 교정 능력)와 상관관계가 있으며, 기하학적 불일치(오분류된 샘플들의 로짓 간 코사인 거리)와는 음의 상관관계를 가진다. 이는 레이어들이 서로 상관되어 있으나 동일하지는 않으며, 올바른 결정 경계에 대한 중복되면서도 정보가 풍부한 흔적을 제공함을 의미한다.

2.2. VFusion 아키텍처

이러한 중복성을 활용하기 위해, 저자들은 ViT의 내부 계층 구조 전반에서 특징을 합성하여 견고한 글로벌 토큰을 만드는 수직적 집계 전략인 VFusion을 제안한다. 이 프레임워크는 세 가지 구성 요소로 이루어진다:

1. 레이어 선택 (Layer Selection): 동결된 백본으로부터 레이어 부분 집합 $S$를 선택한다. 전략에는 전체적(holistic) (모든 레이어), 후반부(last-half), 스트라이드(strided) 방식이 포함된다. 저자들은 완전한 정보 흔적을 보존하기 위해 전체적 전략을 권장한다.
2. 레이어 융합 (Layer Fusion): 선택된 레이어 표현(특히 [CLS] 토큰)을 벡터 $v$로 결합한다. 학습 가능한 융합 인코더 $E$(다층 퍼셉트론)는 이 고차원 벡터를 저차원 잠재 공간 $z$로 매핑한다. 이 인코더는 노이즈 억제 필터 역할을 하여, 태스크와 무관한 잔차($r^{(\ell)}$)를 버리고 공유된 태스크 관련 신호($s^{(\ell)}$)만을 분리해 낸다.
3. 지도 학습 (Supervised Training): 융합 인코더와 경량 분류 헤드는 동결된 백본에 대해 공동으로 학습된다. 학습 목적 함수는 표준 교차 엔트로피 손실($L_{CE}$)과 직교화 정규화 항($L_{orth}$)을 결합한다. 이 정규화 항은 잠재 차원에서의 선형 의존성에 페널티를 부여하여, 모델이 융합된 표현의 상보적이고 탈상관화된 성분을 학습하도록 유도한다.

3. 주요 기여

• 복구 가능성의 정량화: 본 논문은 ViT에서의 복구 가능성 개념을 도입하고 측정하였으며, 중간 레이어가 16개 데이터셋에서 마지막 레이어 오분류의 18%에서 76%를 교정할 수 있음을 입증하였다.
• 메커니즘 식별: 교정 신호가 예측 다양성이 아닌 중복성-정확성 대응 관계(안정적인 공유 신호)로부터 발생함을 경험적으로 확립함으로써, 앙상블 이득을 위해 반드시 독립적인 모델 간의 불일치가 필요하다는 가설에 도전하였다.
• VFusion 제안: 내부 계층 특징을 하나의 글로벌 토큰으로 합성하는 가볍고 원칙적인 수직적 집계 방법을 제안하였으며, 이는 인-도메인(ID) 및 아웃-오브-도메인(OOD) 설정 모두에서 기존의 집계 베이스라인(예: Super Learner, Neural Logit Controller, Mixture of Experts)보다 우수한 성능을 보였다.
• 일반화 및 효율성: VFusion은 다양한 모델 크기(ViT-S, B, L), 백본 패밀리(Supervised IN21k, Self-supervised DINOv2, Multimodal CLIP), 그리고 사전 학습 체계에 걸쳐 일반화된다. 이는 수평적 앙상블에 비해 매우 적은 계산 오버헤드로 이러한 이득을 달성한다.
• 경험적 가이드라인: 레이어 선택에 대한 가이드라인을 제공하며, 전체적(contiguous) 레이어 선택이 최상의 성능을 내는 반면, 스트라이드 방식의 서브샘플링은 효과가 떨어짐을 보여준다.

4. 실험 결과

• 인-도메인(In-Distribution) 성능: 16개의 분류 벤치마크에서 VFusion은 평균 **91.4%**의 정확도를 달성하였으며, 이는 가장 우수한 개별 레이어 프로브보다 1.9%, 가장 강력한 베이스라인(Super Learner)보다 1.7% 높은 수치이다. 주목할 점은 VFusion이 최선의 개별 레이어와 이론적 오라클(어떤 레이어라도 정답을 맞히면 정답으로 간주하는 경우) 사이의 정확도 격차를 **45%**까지 좁혔다는 것이다.
• 아웃-오브-도메인(Out-of-Distribution) 강건성: 공변량 및 하위 집단 변화(5개 데이터셋) 상황에서 VFusion은 가장 높은 평균 정확도(84.6%)를 기록하였으며, C-100C 및 IN-200C와 같은 미세 조정 작업에서 최선의 단일 레이어보다 최대 1.3% 높은 성능을 보였다.
• 절제 연구 (Ablation Studies):
  • 레이어 선택: 전체적 선택이 가장 우수했다. 후반부 절반만 사용하는 것은 미미한 하락(0.3%)을 초래했으나, 스트라이드 선택은 더 큰 하락(0.9%)을 유발했다.
  • 백본 일반화: 성능 향상은 ViT-S, B, L 스케일과 다양한 사전 학습 패러다임 전반에서 일관되게 나타났다. 가장 큰 개선은 자기 지도 학습(DINOv2) 및 멀티모달(CLIP) 백본에서 관찰되었다.
  • 수평적 vs 수직적: 서로 다른 백본 간의 수평적 융합(HFusion)이 절대적으로 가장 좋은 결과를 냈지만, VFusion(단일 백본 내의 수직적 융합) 역시 경쟁력이 있었으며, 로짓 수준의 집계 방식인 Super Learner보다 평균 0.5% 높은 성능을 보였다.

5. 의의 및 주장

본 논문은 ViT의 **잠재적 중복성(latent redundancy)**이 한계가 아니라 유익한 자산이라고 주장한다. 내부 계층을 일련의 안정적이고 중복된 프로브로 취급함으로써, VFusion은 이 정보를 효과적으로 응축하여 단일 레이어의 예측 능력을 넘어서는 글로벌 토큰을 형성한다.

저자들은 VFusion이 수평적 앙상블 방식에 대한 견고하고 효율적인 대안임을 강조한다. 수평적 앙상블은 여러 개의 다양한 사전 학습 모델(의료 영상과 같은 특수 도메인에서는 구하기 어려울 수 있음)에 접근해야 하며 높은 계산 비용이 들지만, VFusion은 단일 동결된 백본 내에서 작동한다. 이는 백본의 구조적 변경이나 광범위한 미세 조정을 요구하지 않고도 기존의 사전 학습된 모델의 효용을 극대화할 수 있는 원칙적인 방법을 제공한다.

결론적으로, 본 연구는 단일 ViT 내의 "수직적 신호"가 상당하며, 이러한 표현을 특징 수준의 압축을 통해 집계하는 것이 단순한 레이어 선택이나 로짓 평균화보다 우월한 전략임을 보여준다. 특히 미세 조정 작업이나 열화된 이미지 작업에서 더욱 그러하다.