기술 요약: 마스크드 오토인코더(MAE)에서의 강건한 표현 학습

문제 정의

마스크드 오토인코더(MAE)는 자기지도 학습(self-supervised pretraining)을 통해 이미지 분류 작업에서 최첨단 성능을 입증해 왔으나, 이러한 성공을 이끄는 내부 메커니즘은 여전히 명확히 이해되지 않고 있습니다. 특히, 사전 학습 과정에서 레이블이 부재함에도 불구하고, 사전 학습된 MAE의 잠재 공간(latent space)이 네트워크 깊이에 따라 클래스별 구조와 관련하여 어떻게 조직되는지는 불분명합니다. 또한, MAE는 표준 비전 트랜스포머(ViT)보다 우수한 성능을 보이지만, 입력 섭동(perturbation, 예: 블러 및 가림 현상)에 대한 학습된 표현의 강건성과 이러한 강건성을 가능하게 하는 구체적인 기하학적 특성이 무엇인지 체계적으로 규명된 바 없습니다. 기존 문헌은 주로 아키텍처 변형이나 학습 개선에 집중해 왔으며, 학습된 표현 자체의 진화와 동작을 분석하는 데에는 미치지 못했습니다.

방법론

저자들은 MAE의 사전 학습 및 미세 조정(fine-tuning) 과정 중 내부 표현을 조사하기 위한 포괄적인 분석 파이프라인을 제안합니다. 본 연구는 ImageNet-1K로 학습된 MAE ViT-Base 아키텍처를 활용합니다.

1. 계층별 구조 분석 (사전 학습):

• 토큰 임베딩 진화: 저자들은 12개의 인코더 레이어 각각에서 세 가지 소스(CLS 토큰, 원시 패치 토크, 가시적 패치 전체에 걸쳐 집계된 평균 패치 토큰)로부터 임베딩을 추출합니다. 이를 t-SNE를 사용하여 시각화함으로써 클래스 클러스터의 출현을 관찰합니다.
• 서브스페이스 기하학: 기하학적 구조를 정량화하기 위해, 저자들은 각 클래스의 패치 임베딩에 특이값 분해(SVD)를 적용합니다. 이는 각 클래스를 위한 저차원 서브스페이스를 생성합니다. 클래스 간의 분리는 이 서브스페이스들 사이의 **주각(principal angles)**을 사용하여 측정됩니다. 또한, 기저 방향(basis directions)의 정보량을 평가하기 위해 특이값의 진화를 추적합니다.
• 어텐션 메커니즘: 연구는 평균 어텐션 거리를 계산하여 MAE 인코더가 국소적(local) 맥락 또는 전역적(global) 맥락에 의존하는지 판단하며, 이를 표준 ViT의 동작과 비교합니다.

2. 강건성 평가 (미세 조정):

• 섭동 유형: 미세 조정된 모델은 두 가지 특정 열화 유형에 대해 평가됩니다:
  • 가우시안 블러(Gaussian Blur): 다양한 커널 크기와 표준 편차를 적용합니다.
  • 어텐션 가이드 가림(Attention-Guided Occlusion): 무작위 마스킹 대신, 어텐션 롤아웃(attention rollout)을 통해 식별된 가장 높은 어텐션을 받는 패치들을 체계적으로 마스킹하여 모델의 핵심 영역을 타겟팅합니다.
• 강건성 지표: 표현의 강건성을 정량화하기 위해 두 가지 지표를 도입합니다:
  • 방향 정렬(Directional Alignment): 깨끗한 평균 패치 임베딩과 섭동된 입력으로부터 유도된 임베딩 사이의 코사인 유사도로 측정됩니다.
  • 헤드별 특징 유지(Head-wise Feature Retention): 저자들은 깨끗한 입력 내의 개별 어텐션 헤드 내에서 "활성 특징(active features)"(높은 크기를 가진 차원)을 식별합니다. 그 후, 섭동된 입력에서 이러한 특정 특징들이 유지되는 정도를 계산하여 공통 활성 특징의 감소량($\Delta C$)을 정량화합니다.

주요 기여

본 논문은 다섯 가지 주요 기여를 합니다:

1. 클래스 분리 구조의 출현: 사전 학습된 MAE가 네트워크 깊이에 따라 클래스 분리 구조를 점진적으로 발달시킨다는 것을 입증합니다. 명시적인 지도 학습 없이도 CLS 토큰뿐만 아니라 평균 패치 및 원시 패치 표현에서도 뚜렷한 클래스 클러스터가 나타납니다.
2. 기하학적 특성 규명: 서브스페이스 분석을 통해, 클래스별 서브스페이스가 네트워크 깊이가 깊어짐에 따라 점진적으로 분리되고 더욱 구별 가능해짐을 보여줍니다. 이는 증가하는 주각과 상승하는 최소 특이값에 의해 입증됩니다.
3. 전역 어텐션 메커니즘: 국소적 어텐션에서 전역적 어텐션으로 전환되는 표준 ViT와 달리, MAE는 초기 단계부터 모든 레이어와 헤드에서 지속적인 전역 어텐션(높은 평균 어텐션 거리)을 보이며, 이는 빠른 구조적 조직을 가능하게 하는 기계적 설명이 됩니다.
4. 강건성 정량화: 미세 조정된 MAE를 가우시안 블러 및 어텐션 가이드 가림 하에서 평가하여, 광범위한 섭동 수준에서도 분류 성능이 안정적으로 유지됨을 보여줍니다.
5. 민감도 지표: 저자들은 방향 불변성(directional invariance)과 헤드별 활성 특징 유지라는 두 가지 상보적인 지표를 도입하여, 잠재 표현이 섭동에 어떻게 반응하는지 정량화하고, 표현의 안정성을 다운스트림 태스크 성능과 직접 연결합니다.

결과

• 구조적 진화: 초기 인코더 레이어에서는 서로 다른 클래스의 임베딩이 크게 중첩됩니다. 그러나 레이어 9~10에 도달하면 뚜렷한 클래스 클러스터가 형성되며, 더 깊은 레이어에서는 매우 높은 분리도를 보입니다. 이러한 경향은 CLS, 평균 패치, 원시 패치 토큰 모두에서 나타납니다.
• 서브스페이스 분리: 주각 분석은 클래스별 서브스페이스가 깊이가 깊어짐에 따라 서로 회전하며 멀어짐을 확인시켜 줍니다. 최소 특이값 또한 깊이에 따라 증가하며, 이는 인코더가 점점 더 유의미한 기저 방향을 선택하고 있음을 시사합니다.
• 섭동에 대한 강건성:
  • 블러: 이미지 품질이 크게 저하됨에도 불구하고(PSNR이 28.12 dB에서 20.06 dB로 하락), 강력한 블러 조건에서도 Top-1 정확도가 80% 이상을 유지합니다.
  • 가림(Occlusion): 가장 많이 어텐션된 패치의 50%를 마스킹하더라도 모델은 높은 정확도를 유지합니다. 정확도는 60% 가림 이후에 급격히 떨어지며, 가장 많이 어텐션된 패치의 90%를 제거했을 때도 60.8%를 유지합니다.
  • ImageNet-C: 날씨, 블러, 디지털 아티팩트에 대해 강한 강건성을 보이지만, 더 큰 분포 변화(예: ImageNet-R의 예술적 표현)에는 어려움을 겪습니다.
• 표현 안정성:
  • 방향 정렬: 깨끗한 입력과 섭동된 임베딩 사이의 코사인 유사도는 완만한 섭동 하에서 높게 유지됩니다(>0.85). 유사도의 급격한 감소는 오분류와 상관관계를 갖습니다.
  • 특징 유지: 완만한 섭동 하에서 어텐션 헤드 내의 활성 특징 집합은 깨끗한 입력과 대체로 일치합니다. 극단적인 섭동 수준에서만 활성 특징 유지율의 급격한 붕괴가 발생하며, 이는 분류 정확도의 하락을 그대로 반영합니다.

의의 및 주장

본 논문은 MAE의 강력한 분류 성능이 근본적으로 사전 학습 중에 형성된 잠재 표현의 구조와 동작에 달려 있다고 주장합니다. 구체적으로 저자들은 다음과 같이 주장합니다:

• 클래스 판별 구조의 점진적 출현은 미세 조정을 위한 견고한 초기화(initialization)를 제공합니다.
• MAE 고유의 전역 어텐션 메커즘은 모델이 제한된 맥락으로부터 전역 구조를 추론할 수 있게 하여, 클래스 서브스페이스의 빠른 분리를 촉진합니다.
• 강건성은 내재적입니다: 성능 저하 상황에서도 분류 성능이 안정적인 것은 단순히 데이터 증강이나 학습 스케줄의 결과가 아니라, 학습된 잠재 표현의 방향 불변성과 특징 유지에 뿌리를 두고 있습니다.
• 제안된 민감도 지표는 특정 유형의 입력 저하에 대해 MAE가 왜 성공하거나 실패하는지를 이해하기 위한 정량적 프레임워크를 제공하며, 표현의 안정성을 다운스트림 태스크의 성능과 직접 연결합니다.