기술 요약: 패치의 붕괴: 효율적인 시각적 모델링을 위한 이미지 패치 순위 지정

문제 정의

마스크 이미지 모델링(Masked Image Modeling, MIM)을 활용하는 현대 비전 모델들은 일반적으로 이미지 패치를 균등하게 상관된 샘플로 취급한다. 이들은 무작위 마스킹 전략(예: 자기회귀 생성 또는 마스크 분류)을 사용하며, 이는 패치 간의 의존성이 균등하다는 가정을 전제로 한다. 그러나 이러한 가정은 이미지 패치의 비균등한 지각적 중요성을 간과한다. 생물학적 시각 시스템과 인간의 관찰은 특정 패치(예: 수탉의 부리)가 다른 패치(예: 배경 영역)보다 나머지 이미지의 불확실성을 훨씬 더 크게 감소시킨다는 것을 시사한다. 저자들은 이 현상을 **패치 붕괴(patch collapse)**로 공식화한다. 이는 특정 패치를 관찰함으로써 관찰되지 않은 패치들의 분포 엔트로피(불확실성)가 감소하는 과정으로, 양자 역학의 파동 함수 붕괴와 유사하다. 핵심 문제는 불확실성 감소를 극대화하고 효율적인 시각적 모델링을 가능하게 하는 최적의 패치 관찰 순서(즉, "붕괴 순서")를 식별하는 것이다.

방법론

1. CoMAE (Collapse Masked Autoencoder)

패치 간의 의존성을 학습하기 위해, 저자들은 타겟 패치를 재구성하는 데 가장 중요한 패치가 무엇인지 식별하도록 설계된 오토인코더인 CoMAE를 제안한다.

• 구조: 인코더와 디코더는 ViT 기반의 셀프 어텐션 블록을 사용한다.
• 메커니즘: 타겟 패치 $e_n$에 대해, 인코더는 다른 모든 패치의 중요도를 나타내는 소프트 가중치 벡터 $w \in [0, 1]^N$를 예측한다.
• 노이즈 주입: 하드 마스킹 대신, 모델은 이 가중치에 따라 비타겟 패치에 노이즈를 주입한다. 가중치가 낮은 패치는 더 강한 노이즈(지수 감소 보간법을 통한)를 받으며, 가중치가 높은 패치는 상대적으로 깨끗한 상태를 유지한다.
• 학습 목적 함수: 모델은 재구성 손실($L_r$)과 함께 **대조 학습 정규화 손실($L_c$)**을 최소화한다. 대조 손실은 선택 가중치 $w$가 서로 다른 타겟 패치에 대해 유의미하게 변하도록 보장하여, 모델이 모든 패치에 균등한 중요성을 할당하는 것을 방지하고 다양한 의존성 집합을 갖도록 유도한다.
• 양극화: 학습 과정에서 가중치 $w$는 자연스럽게 0과 1로 양극화되며, 이는 특정 패치 집합만이 타겟 패치의 붕괴를 주도한다는 것을 확인시켜 준다.

2. PageRank를 통한 패치 순위 지정

CoMAE가 의존성 가중치를 학습하면, 저자들은 패치를 노드로 하고 엣지 가중치를 학습된 의존성($A_{ij} = w_{ij}$)으로 하는 유향 비순환 그래프(DAG)를 구축한다.

• 순위 지정: 이 그래프에 PageRank 알고리즘을 적용한다. 높은 PageRank 점수를 가진 패치는 많은 다른 패치에 상당한 영향력을 행사하는 패치(즉, 매우 독립적이거나 기초적인 패치)이다.
• 붕괴 순서: 결과적인 순위는 이미지 실현을 위한 최적의 시퀀스인 **붕괴 순서(collapse order)**를 정의한다. 높은 순위를 가진 패치는 먼저 관찰되었을 때 잔여 이미지의 불확실성을 가장 효과적으로 감소시키는 패치들이다.

3. 비전 태스크에 대한 적용

저자들은 학습된 붕와 순서를 두 가지 다운스트림 태스크에 통합한다.

• 자기회귀 이미지 생성 (CMAR): MAR(Masked Autoregressive) 생성기를 미세 조정한다. 패치를 무작위 또는 고정된 래스터 순서로 생성하는 대신, CMAR은 내림차순 붕괴 순서에 따라 패치를 생성하도록 유도된다. 결정론적 시퀀스에 대한 과적합을 방지하기 위해, 10%의 훈련 샘플은 무작위 순서를 유지한다.
• 이미지 분류 (CViT): 저순위 패치들을 입력 시퀀스에서 토큰으로 마스킹하는 대신 완전히 제거하도록 학습된 비전 트랜스포머(ViT) 분류기를 학습시킨다. 이를 통해 "Collapsed Vision Transformer"가 생성되어 고순위 패치만을 처리하게 된다.

주요 결과

1. CoMAE의 특성

• 양극화: 실험 결과, 대조 학습 정규화가 없으면 CoMAE가 균등한 가중치를 할당함을 보여준다. 정규화가 적용되면 가중치가 양극화되고 재구성 손실이 크게 감소하며, 이는 서로 다른 패치들이 서로 다른 부분 집합에 의존한다는 것을 입증한다.
• 시각적 정렬: 붕괴 순서의 시각화는 높은 순위의 패치들이 중요한 객체의 형태(예: 수탉의 부리 또는 거미의 몸체)를 외곽선으로 나타냄을 보여주며, 이는 인간의 시각적 스캐닝 우선순위와 일치한다.
• 일관성: 붕괴 순서는 서로 다른 이미지 클래스와 인스턴스 간에 중간 정도의 유사성을 보이며, 이는 이미지 실현에 있어 일관된 기저 구조가 존재함을 시사한다.

2. 자기회귀 생성 (CMAR)

• 성능: 붕괴 순서 가이드가 포함된 MAR 미세 조정(CMAR)은 생성 품질을 향상시킨다. ImageNet-1k에서 CMAR은 베이스라인 MAR에 비해 tFID(Fréchet Inception Distance) 측면에서 4%의 개선을 달 나타냈으며, Inception Score(IS)의 저하는 미미했다.
• 순서의 중요성: 절제 연구(Ablation study)를 통해 붕와 순위의 내림차순(가장 영향력 있는 것부터)으로 패치를 생성하는 것이 오름차순으로 생성하는 것보다 훨씬 더 나은 결과를 낸다는 것을 확인했다.
• 질적 측면: CMAR은 베이스라인에 비해 구성적 결함이 적고 더 사실적인 이미지를 생성한다.

3. 이미지 분류 (CViT)

• 효율성: CViT는 **이미지 콘텐츠의 22%**만을 처리하면서도 높은 분류 정확도를 유지한다.
• 비교: CViT는 다양한 마스크 비율에 걸쳐 표준 ViT, 무작위 마스킹 변형(RViT), 그리고 토큰 프루닝 방법(DynamicViT)보다 우수한 성능을 보인다.
• 연산 이득: 패치를 마스킹하는 대신 제거함으로써, 이 방법은 어텐션 계산 복잡도를 약 95% 감소시킨다.
• 전체 이미지의 이점: 흥격하게도, CViT는 전체 이미지를 처리할 때(0% 마스킹)도 가장 높은 정확도를 달성하는데, 이는 붕괴 모델링이 프루닝 없이도 특징 추출을 개선함을 시사한다.

의의 및 주장

본 논문은 패치 붕괴를 공식화함으로써 이미지 모델링에 대한 새로운 관점을 도입했다고 주장한다. 그 의의는 다음 세 가지 주요 기여에 있다:

1. 이론적 프레임워크: 패치 간의 균등한 상관관계 가정을 넘어, 이미지 불확실성 감소를 순차적 프로세스로 정의하는 공식적인 체계를 제공한다.
2. 방법론적 혁신: CoMAE는 명시적인 시맨틱 레이블이나 인간의 주석 없이도 이미지 특유의 붕괴 순서를 학습할 수 있는 실용적이고 데이터 중심적인 방법을 제공한다.
3. 효율성 및 성능: 패치의 자연스러운 "붕괴 순서"를 존중하는 것이 생성 모델의 품질을 높이는 동시에 판별 모델의 계산 효율성을 획기적으로 개선할 수 있음을 입증한다.

저자들은 이 접근 방식이 모델의 처리를 이미지 불확실성의 본질적인 구조와 정렬시킴으로써 비전 효율성을 증진한다고 결론지으며, 미래의 비전 시스템이 프로세싱 파이프라인 초기 단계에서 돌출적이고 의존성이 높은 영역을 우선시해야 함을 시사한다. 또한 고정된 패치 크기와 더 큰 변형 모델 학습 시의 계산 제약이라는 한계를 인정하면서도, 이 방법이 더 효율적이고 견고한 시각 시스템을 향한 확장 가능한 경로를 제시한다고 주장한다.