Suppressing Non-Semantic Noise in Masked Image Modeling Representations

이 논문은 마스크edImage Modeling (MIM) 기반의 자기지도학습 (Self-Supervised Learning, SSL) 모델이 학습한 표현 (Representation) 에 비시맨틱 (Non-semantic) 노이즈, 특히 **위치 정보 (Positional Noise)**가 과도하게 포함되어 있어 추론 성능을 저하시킨다는 문제를 제기하고, 이를 해결하기 위한 새로운 방법론을 제안합니다.

주요 내용은 다음과 같습니다.

1. 문제 제기 (Problem)

• MIM 의 한계: 최근 MIM (예: MAE, DINOv2, iBOT 등) 은 강력한 비전 백본을 제공하는 것으로 알려져 있습니다. 그러나 MIM 은 마스킹된 패치를 예측하는 과정에서 **시맨틱 내용 (Semantic Content)**뿐만 아니라 패치의 위치 (Position) 정보까지 함께 학습하게 됩니다.
• 위치 편향 (Positional Bias): 연구자들은 MIM 모델의 학습된 임베딩이 실제 이미지 내용과 무관한 위치 정보 (예: 좌/우, 상/하 배치) 를 강하게 인코딩하고 있음을 발견했습니다. 이는 모델이 의미 있는 특징을 학습하는 대신, 마스킹된 패치의 위치를 단순히 추측하는 '단축 경로 (Shortcut)'를 이용하기 때문입니다.
• 성능 저하: 이러한 비시맨틱 노이즈는 추론 단계 (Inference) 에서, 특히 제로샷 (Zero-shot) 다운스트림 작업 (예: 세그멘테이션, 분류) 에서 성능을 저하시키는 원인이 됩니다.

2. 방법론 (Methodology)

A. 시맨틱 불변성 점수 (Semantic Invariance Score, SI Score)

• 목적: 모델의 표현 공간에서 시맨틱 정보와 비시맨틱 (위치) 노이즈를 구분하고 정량화하기 위한 지표 개발.
• 구현:
  1. 데이터 준비: 실제 이미지 (시맨틱 정보 포함) 와 합성 노이즈 이미지 (시맨틱 정보 없음, 핑크 노이즈, 백색 노이즈, 그라디언트 필드 혼합) 를 사용합니다.
  2. PCA 분석: 학습된 패치 임베딩에 주성분 분석 (PCA) 을 적용하여 주요 성분 (Principal Components) 을 추출합니다.
  3. 활성화 비교: 실제 이미지와 합성 이미지에 대해 각 주성분의 활성화 (Activation) 분포를 비교합니다.
  4. 점수 산출: 두 분포가 유사할수록 (즉, 이미지 내용이 달라도 동일한 반응을 보일수록) 해당 성분이 시맨틱 불변성 (Non-semantic invariant) 을 가진다고 판단하여 SI Score를 높게 부여합니다.
  • 결과: MIM 모델의 상위 주성분들은 합성 이미지에서도 강한 활성화 패턴 (위치 편향) 을 보이며 높은 SI 점수를 기록하는 반면, 대비 학습 (Contrastive Learning) 기반 모델은 그렇지 않았습니다.

B. 시맨틱 직교 아티팩트 투영 (SOAP, Semantically Orthogonal Artifact Projection)

• 목적: 식별된 비시맨틱 노이즈를 제거하여 표현을 정제하는 후처리 (Post-hoc) 기법.
• 동작 원리:
  1. 선형 투영: PCA 기반의 주성분 공간에서 SI Score 가 높은 (노이즈가 많은) 성분을 식별합니다.
  2. 그람 - 슈미트 과정 (Gram-Schmidt): 식별된 노이즈 성분을 제거하기 위해 원본 임베딩에서 해당 성분의 기여도를 선형적으로 뺍니다 (직교 투영).
  3. 스케일링 함수 (Scaling Function): 모든 성분을 무조건 제거하는 것이 아니라, SI Score 가 가장 높은 성분들만 선택적으로 억제하기 위해 페르미 창 (Fermi window) 함수를 사용하여 부드럽게 가중치를 조정합니다.
• 특징:
  • 모델 무관성 (Model-agnostic): 기존 MIM 모델의 구조를 변경하지 않고, 학습된 모델 뒤에 단일 선형 헤드로 부착 가능합니다.
  • 무학습 (Training-free): SOAP 자체를 학습시키지 않으며, 데이터와 PCA, SI 점수만으로 계산됩니다.

3. 주요 기여 (Key Contributions)

1. 심층 분석: MIM 목적이 시맨틱 정보보다 위치 노이즈 인코딩을 유도한다는 것을 PCA 와 SI Score 를 통해 체계적으로 증명했습니다.
2. 새로운 진단 도구: 모델의 표현이 시맨틱 정보와 얼마나 무관한지 측정하는 Semantic Invariance Score를 제안했습니다.
3. SOAP 기법: 학습 없이 적용 가능한 경량화된 SOAP를 제안하여, MIM 모델의 제로샷 성능을 일관되게 향상시켰습니다.

4. 실험 결과 (Results)

논문은 다양한 MIM 모델 (MAE, iBOT, DINOv2, DINOv3, CAPI, I-JEPA) 과 비 MIM 모델 (DINO, DeiT3) 을 대상으로 실험했습니다.

• SI Score 분석: 모든 MIM 모델은 상위 주성분에서 높은 SI 점수 (0.75 이상) 를 보였으며, 이는 위치 노이즈가 강하게 존재함을 의미합니다. 반면 DINO 나 DeiT3 와 같은 비 MIM 모델은 낮은 점수를 보였습니다.
• 제로샷 세그멘테이션 (Salient Segmentation): TokenCut 을 사용한 실험에서 SOAP 를 적용한 결과, 모든 MIM 모델의 성능이 크게 향상되었습니다. 특히 MAE 와 CAPI 는 DINO 보다도 우수한 성능을 보였습니다.
• kNN 분류 및 세그멘테이션: ADE20k(세그멘테이션) 와 ImageNet(분류) 에서 SOAP 적용 후 kNN 기반 평가 시, 대부분의 모델에서 IoU 및 정확도가 개선되었습니다.
• 비교 실험: 기존 위치 노이즈 제거 기법인 RASA 와 비교했을 때, SOAP 는 학습이 필요 없으며 더 높은 성능을 기록했습니다.

5. 의의 및 결론 (Significance)

• MIM 의 근본적 문제 규명: MIM 이 강력한 표현 학습을 가능하게 하지만, 동시에 위치 정보에 의존하는 '단축 경로'를 학습하게 만들어 시맨틱 충실도 (Semantic Fidelity) 를 떨어뜨린다는 점을 밝혔습니다.
• 실용적 해결책: 모델 재학습 없이 기존 MIM 모델의 성능을 즉시 향상시킬 수 있는 SOAP를 제공함으로써, 비전 모델의 제로샷 일반화 능력을 높이는 실용적인 도구를 제시했습니다.
• 향후 연구 방향: 자기지도학습 모델이 시맨틱 정보와 위치 정보를 어떻게 분리하여 학습해야 하는지에 대한 새로운 관점을 제시하며, 더 견고한 비전 모델 개발의 기초를 마련했습니다.

요약하자면, 이 논문은 MIM 모델이 학습한 '위치 노이즈'를 식별하여 제거하는 SOAP 기법을 통해, 기존 MIM 모델들의 제로샷 성능을 획기적으로 개선하고 그 원인을 규명한 중요한 연구입니다.