Selective Coupling of Decoupled Informative Regions: Masked Attention Alignment for Data-Free Quantization of Vision Transformers

기술 요약: 비전 트랜스포머의 데이터 프리 양자화를 위한 마스크드 어텐션 정렬 (Masked Attention Alignment for Data-Free Quantization of Vision Transformers)

문제 정의
데이터 프리 양자화(Data-Free Quantization, DFQ)는 사전 학습된 풀 프리시전(full-precision) 비전 트랜스포머(ViT)를 원본 학습 데이터에 대한 접근 없이 양자화된 모델로 압축하는 것을 목표로 하며, 이는 중요한 데이터 프라이버시 및 보안 문제를 해결한다. DFQ는 배치 정규화(Batch Normalization) 통계량을 활용하여 CNN에서 성공을 거두었으나, ViT로의 이식은 상당한 과제에 직면해 있다. ViT는 레이어 정규화(Layer Normalization)와 셀프 어텐션(self-attention) 메커니즘에 의존하며, CNN에서 발견되는 안정적인 분포적 사전 지식(distributional priors)이 부족하다. 결과적으로, 기존의 ViT용 DFQ 방법들은 합성 샘플이 의미적 분산(semantic dispersion)(의미가 응집된 구조를 형성하지 못하고 이미지 전체에 흩어져 있는 현상)과 어텐션 불일치(attentional disparity)(양자화된 모델 $Q$가 판별적 영역의 부재로 인해 풀 프리시전 모델 $P$의 어텐션 맵과 정렬되지 못하는 현상)를 겪게 된다. 이러한 문제들은 특히 초저정밀도(예: 3-bit) 설정에서 최적화되지 않은 보정(calibration)과 성능 저하를 초0 유발한다.

방법론: MaskAQ
저자들은 정보 병목(Information Bottleneck, IB) 관점을 통해 ViT를 위한 DFQ를 재정의하는 새로운 접근 방식인 MaskAQ를 제안한다. 핵심 통찰은 셀프 어텐션의 의미가 균등하게 분포되어 있는 것이 아니라, **정보 영역(Informative Regions, IR)**이라 불리는 희소한 패치 집합에 집중되어 있다는 것이다. MaskAQ는 이러한 IR을 노이즈가 섞인 배경으로부터 분리하고 이를 양자화된 모델 $Q$와 정렬하는 것을 목표로 한다. 이 방법은 세 가지 주요 구성 요소로 이루어진다:

1. 정보 영역 분리 (Informative Region Decoupling):
   의미적 분산을 해결하기 위해, MaskAQ는 정보 패치를 배경으로부터 분리한다. 이 방법은 어텐션 가중치를 기반으로 IR을 정의하고, 패치 유사성에 대한 미분 엔트로피 최대화(differential entropy maximization) 전략을 채택한다. 어텐션 벡터 간의 유사도 분포에 대한 엔트로피를 최대화함으로써, 방법론은 다양한 어텐션 패턴을 장려하고, 어텐션 붕괴를 방지하며, 의미적으로 중요한 패치와 노이즈 섞인 배경 사이의 명확한 구분을 보장한다. 이는 합성 샘플의 구조적 일관성을 촉진하는 정규화 항($L_{fb}$)으로 공식화된다.

2. 마스크드 어텐션 결합 (Masked Attention Coupling):
   어텐션 불일치를 해결하기 위해, MaskAQ는 적응형 마스킹 메커니즘을 도입한다. 전체 어텐션 맵을 정렬하는 대신(이는 무관한 배경에 과도한 규제를 가할 수 있음), 이 방법은 엄격한 정보 패치의 부분 집합을 선택하기 위해 바이너리 마스크를 구축한다. 그 후, 선택된 영역 내에서만 $P$와 $Q$의 어텐션 맵 차이를 최소화하는 마스크드 어텐션 정렬 목적 함수($L_{align}$)가 사용된다. 이는 합성 샘플이 $Q$가 학습해야 할 특정 의미 영역에 집중하도록 보장하며, 비정보 영역의 양자화 유도 노이즈에 의해 오도되지 않고 두 모델 사이의 간극을 메운다.

3. 주기적 샘플 갱신 (Periodic Sample Refreshing):
   양자화된 모델 $Q$의 상태가 보정 과정 동안 진화한다는 점을 인식하여, 초기 합성 샘플은 $Q$의 현재 능력과 정렬되지 않을 수 있다. MaskAQ는 학습 과정 중 고정된 간격으로 합성 샘로를 재생성하는 주기적 갱신 전략을 사용한다. 이를 통해 방법론은 $Q$의 진화하는 상태에 지속적으로 적응하여, 샘플과 모델 출력 사이의 바람직한 상호 정보(mutual information)를 유지할 수 있다.

주요 기여

• 핵적인 병목 지점 식별: 본 논문은 의미적 분산과 어텐션 불일치를 기존 ViT DFQ 방법들의 성능 격차, 특히 초저정밀도 환경에서의 주요 원인으로 명시적으로 식별하였다.
• 정보 병목 관점: 저자들은 DFQ의 목표를 단순히 실제 데이터 분포를 근사하는 것에서 $Q$를 보정하는 데 필요한 결정적인 상호 정보를 보존하는 것으로 전환하였다. 또한, 정보 영역에서 $P$와 $Q$를 정렬하는 것이 예측력을 유지하기에 충분함을 입증하는 이론적 보장(정리 1 및 2)을 제공한다.
• 새로운 아키텍처 (MaskAQ): 미분 엔트로피 기반의 영역 분리, 적응형 마스크드 어텐션 결합, 그리고 주기적 갱신의 통합은 고품질 샘플 합성을 위한 견고한 파이프라인을 생성한다.
• 포괄적인 평가: 이 방법은 다양한 백본(ViT, DeiT, Swin Transformer)과 다운스트림 태스크(분류, 객체 탐지, 시맨틱 세그멘테이션)에 대해 검증되었다.

실험 결과
ImageNet 데이터셋에 대한 광범위한 실험은 MaskAQ가 다양한 비트 너비(bit widths)에서 최첨단(SOTA) 접근 방식들(MimiQ, PSAQ-ViT V2, CLAMP-ViT 포함)을 능가함을 보여준다.

• 분류 (Classification): 3-bit 양자화(3w3a) 조건에서, MaskAQ는 DeiT-T에 대해 MimiQ보다 최대 3.1%의 Top-1 정확도 향상을 달 Erkennt. 4-bit 설정에서도 경쟁 모델 대비 1.4%에서 7% 이상의 마진으로 일관되게 정확도를 개선한다.
• 다운스트림 태스크: 이 방법은 객체 탐지(COCO) 및 시맨틱 세그멘테이션(ADE20K) 태스크에서도 우수한 성능을 보여, 분류를 넘어선 일반화 가능성을 확인시켜 준다.
• 절제 연구 (Ablation Studies): 세 가지 핵심 구성 요소(엔트로피 정규화, 마스크드 정렬, 또는 샘플 갱신) 중 하나라도 제거하면 성능이 크게 하락하며, 이는 각 모듈의 필요성을 입증한다.

의의
본 논문은 MaskAQ가 비전 트랜스포머를 위한 데이터 프리 양자화 분야에서 중요한 진전을 나타낸다고 주장한다. 단순한 분포 매칭을 넘어 분리된 정보 영역의 선택적 결합에 집중함으로써, 이 방법은 ViT 아키텍처가 제기하는 독특한 과제들을 효과적으로 완화한다. 실제 데이터에 대한 접근 없이도 초저정밀도(3-bit) 시나리오에서 높은 정확도를 유지할 수 있는 능력은, 자원이 제한된 에지 디바이스에 안전하고 효율적인 ViT를 배포하기 위한 중요한 단계임을 강조한다. 이 연구는 시각적으로 완벽한 이미지를 생성하는 것보다 합성 샘플과 양자화된 모델의 출력 사이의 특정 상호 정보를 보존하는 것이 더 중요하다는 점을 역설한다.