Entropy Reveals Block Importance in Masked Self-Supervised Vision Transformers

기술 요약: 엔트로피를 통한 마스크드 자기지도 학습 비전 트랜스포머의 블록 중요도 규명

문제 정의
마스크드 자기지도 학습 비전 트랜스포머(예: MAE, VideoMAE)는 레이블이 없는 데이터로부터 풍부한 시각적 표현을 학습하는 지배적인 패러다임을 구축했습니다. 그러나 이들의 상당한 모델 크기는 자원이 제한된 환경(예: 엣지 디바이스)에서의 배포와 효율적인 전이 학습에 큰 장벽이 됩니다. 근본적인 질문은 다음과 같습니다: 모든 트랜스포머 블록이 다운스트림 성능에 똑같이 중요한가?

기존 솔루션들은 결정적인 한계에 직면해 있습니다. 민감도 기반 프루닝(Sensitivity-based pruning)은 효과적이긴 하지만, 반복적인 블록 제거와 전체 파인튜닝을 요구하여 과도한 계산 비용을 발생시킵니다. 데이터 구동형 프루닝 방법은 다운스트림 데이터나 활성화 통계에 의존하며, 이는 데이터셋 편향을 유발하고 데이터가 없거나 제한적인 상황에서의 적용성을 제한합니다. 비구조적 프루닝(Unstructured pruning)은 현대 하드웨어에서 효율적으로 배포하기 어려운 불규칙한 희소성 패턴을 생성하는 경우가 많습니다. 결과적으로, 데이터 접근이나 그래디언트 없이 블록의 중요도를 추정하고 중복성을 식별할 수 있는 원칙적이고, 데이터가 필요 없으며, 계산 효율적인 방법이 필요합니다.

방법론: 가드너(Gardener)와 가중치-수 엔트로피(Weight-Number Entropy)
저자들은 마스크드 자기지도 학습 비전 트랜스포머를 위한 데이터가 필요 없는(data-free), 원샷(one-shot), 블록 단위 프루닝 알고리즘인 Gardener를 제안합니다. 핵심 통찰은 블록의 중요성이 사전 학습된 파라미터 자체, 구체적으로는 가중치의 구조적 분포 내에 인코딩되어 있다는 점입니다.

이 방법은 **가중치-수 엔트로피(weight-number entropy)**라고 불리는 새로운 지표에 의존합니다. 가중치 크기나 활성화에 작용하는 기존의 엔트로피 정의와 달리, 이 공식은 트랜스포머 블록 내의 값 구간(value intervals)에 따른 파라미터 개수의 분포를 특징짓습니다.

1. 공식화: $N_l$개의 스칼라 가중치를 가진 블록 $B_l$에 대해, 가중치 값 범위를 $K$개의 서로 소인 구간으로 나눕니다. 경험적 확률 질량 $p_l(i)$는 구간 $i$에 속하는 가중치의 비율을 블록 내 전체 가중치 수로 나누어 계산됩니다.
2. 엔트로피 계산: 가중치-수 엔트로피 $H(B_l)$는 $-\sum p_l(i) \log p_l(i)$로 계산됩니다. 이 지표는 가중치 스케일링에 불변하면서도 블록 내 가중치의 구조적 다양성을 포착합니다.
3. 프루닝 전략: Gardener는 사전 학습된 파라미터를 단 한 번 훑는 과정(single pass)을 통해 모든 블록에 대해 이 엔트로피를 계산합니다. 블록들은 엔트로피가 낮은 순서대로 정렬됩니다. 낮은 엔트로피는 파라미터 분포가 더 집중되어 있음을 나타내며, 저자들은 이것이 전이 학습에 있어 낮은 중요도와 대응한다고 가설을 세웠습니다. 알고리즘은 목표 프루닝 비율에 따라 가장 낮은 순위의 블록들을 단 한 번의 단계(single shot)로 제거하며, 이 과정에서 순방향/역방향 전파, 데이터 접근, 또는 반복적인 파인튜닝을 요구하지 않습니다.

주요 기여

• 문제 공식화: 본 논문은 자원이 제한된 환경에서 마스크드 자기지도 학습 비전 트랜스포머를 위한 데이터가 필요 없는 블록 중요도 추정 문제를 정의합니다.
• 이론적 통찰: 사전 학습된 파라미터만을 사용하여 계산되는 정보 이론적 기준으로서 가중치-수 엔트로피를 도입하였으며, 이것이 오라클 민감도(반복적 블록 제거 및 파인튜닝을 통해 도출됨)와 강력한 상관관계가 있음을 입증했습니다.
• 알고리즘 제안: 저자들은 선형 시간 복잡도를 가지며 메모리 오버헤드가 미미하고, 데이터를 전혀 사용하지 않는 원샷 프루닝 알고리즘인 Gardener를 제안합니다.
• 실증적 검증: 다양한 프루닝 비율에 걸쳐 VideoMAE-B에 대해 수행된 광범한 실험과 다수의 다운스트림 비디오 인식 벤치마크(UCF101) 결과, Gardener가 기존의 데이터 프리 베이스라인들을 지속적으로 능가하거나 대등한 성능을 보였으며, 민감도 기반(오라클) 프루닝의 성능에 근접함을 보여주었습니다.
• 구조적 분석: 본 연구는 마스크드 자기지도 모델의 체계적인 구조적 이질성에 대한 실증적 증거를 제공하며, 초기 및 중간 블록은 높은 엔트로피(다양한 저/중수준 패턴 포착)를 갖는 반면, 깊은 블록은 낮은 엔트로피(의미적 추상화 특화)를 보인다는 점을 밝혀냈습니다.

결과
Kinetics-400으로 사전 학습되고 UCF101에서 파인튜닝된 VideoMAE-B를 대상으로 실시된 실험은 다음과 같은 결과를 도출했습니다:

• 블록 이질성: 서로 다른 트랜스포머 블록을 제거하는 것은 다운스트림 성능에 극적인 차이를 가져왔으며, 이는 블록들이 동일하게 중요하지 않음을 확인시켜 줍니다. 예를 들어, 블록 1을 제거하면 가중 평균 재현율(WAR)이 46.73%로 급격히 떨어졌으나, 블록 12를 제거했을 때는 WAR가 91.29%(원본 91.78% 대비)를 기록했습니다.
• 오라클과의 상관관계: 가중치-수 엔트로피에 의한 블록 순위는 민감도 기반 오라클 순위와 강력하게 일치합니다. 엔트로피가 높은 블록은 제거 시 성능 저하가 크게 나타나는 블록과 일관되게 대응합니다.
• 프루닝 성능: Gardener는 모든 프루닝 비율에서 다른 데이터 프리 기준들(크기 기반, 분산 기반, 무작위 선택 포함)보다 우수한 성능을 보였습니다. 특히, 블록의 최대 **91.7%**를 제거한 후에도 프룬된 모델은 경쟁력 있는 전이 성능(WAR 68.81%)을 유지하며, 동일한 비율에서의 민감도 기반 프루닝 결과와 밀접하게 일치했습니다.
• 효율성: 이 방법은 파라미터에 대한 단 한 번의 통과(single pass)로 작동하여 계산 오버헤드가 무시할 만한 수준이며, 이는 반복적인 민감도 기반 방식보다 수십 배 더 효율적입니다.

의의 및 주장
본 논문은 사전 학습된 가중치에 대한 정보 이론적 분석이 모델 압축 및 자원 효율적인 전이 학습을 위한 원칙적이고 효율적인 경로를 제공한다고 주장합니다. 데이터 접근 없이도 블록의 중요도를 정확하게 추정할 수 있음을 입사함으로써, 저자들은 마스크드 자기지도 트랜스포머를 위한 데이터 구동형 또는 반복적 프루닝의 필요성에 의문을 제기합니다.

본 연구는 이러한 모델들에 상당한 블록 수준의 중복성이 존재하며, 가중치-수 엔트로피가 사전 학습 중에 습득된 내재적 표현 특성을 포착한다는 점을 강조합니다. 이를 통해 단순한 측정을 통해 중복된 블록을 식별할 수 있으며, 신속한 모델 적응을 가능하게 합니다. 저자들은 Gardener를 모든 프루닝 시나리오를 대체하는 완벽한 도구가 아니라, 엄격한 제로 데이터(zero-data) 제약 조건 하에서 오라클 동작을 근사하는 견고하고 저비용인 대리 모델(surrogate)로 정의하며, 이를 통해 데이터와 컴퓨팅 자원이 제한된 환경에서 대규모 파운데이션 모델의 배포를 용이하게 합니다.

한계점
저자들은 가중치-수 엔트로피가 입력 의존적 행동이나 작업 특화적 활성화 패턴을 고려하지 않는 거칠고 정적인 척도라는 점을 인정하며, 이는 매우 특화된 다운스트림 작업에 대한 적응성을 제한할 수 있습니다. 또한, 현재 연구는 ViT 기반 마스크드 오토인코더의 블록 단위 프루닝에 집중되어 있으며, 이러한 기준을 더 세밀한 구조(예: 어텐션 헤드)로 확장하는 것은 향-과제로 남아 있습니다. 마지막으로, 민감도와의 상관관계가 강력하기는 하나, 모든 아키텍처나 훈련 체계에서 완벽하게 보장되는 것은 아닙니다.