MaskInversion: 가시성 맵 (Explainability Maps) 최적화를 통한 국소적 임베딩 생성

이 논문은 ICLR 2026 에 발표된 **"MaskInversion"**이라는 새로운 방법을 제안합니다. 이 방법은 사전 훈련된 비전 - 언어 기초 모델 (Foundation Models, 예: CLIP) 의 특징을 활용하여, 테스트 시에 마스크로 지정된 특정 이미지 영역에 대한 **맥락 인식형 국소 임베딩 (Localized Embedding)**을 생성하는 기술입니다.

아래는 문제 정의, 방법론, 주요 기여, 실험 결과 및 의의에 대한 상세한 기술 요약입니다.

1. 문제 정의 (Problem Statement)

• 전역적 정렬의 한계: CLIP 과 같은 기초 모델은 대규모 이미지 - 텍스트 데이터셋을 대비적 손실 (Contrastive Loss) 로 훈련받아 전역적인 비전 - 언어 정렬에는 탁월한 성과를 보이지만, 이미지 내 **특정 영역 (Region)**에 대한 표현을 생성하는 데는 한계가 있습니다.
• 기존 접근법의 결함:
  • 자르기 (Cropping): 특정 영역만 잘라내어 처리하면 중요한 맥락 정보가 손실될 수 있습니다.
  • 토큰 집계 (Token Aggregation): 마스크 영역 내의 로컬 토큰을 단순히 평균화하는 방식은 올바른 표현을 학습하지 못하거나 정렬이 잘 안 될 수 있습니다.
  • 파인튜닝 기반 방법 (ReCLIP, AlphaCLIP 등): 기존 모델의 백본을 수정하거나 파인튜닝하는 방식은 막대한 데이터와 계산 비용이 필요하며, 새로운 모델에 적용하기 어렵습니다.
• 목표: 모델의 가중치를 변경하지 않고 (Zero-shot), 테스트 시에 주어진 마스크에 맞춰 최적화된 국소 임베딩 토큰을 생성하는 방법론이 필요합니다.

2. 방법론 (Methodology)

MaskInversion 은 사전 훈련된 모델의 **가시성 맵 (Explainability Map)**을 활용하여 국소 임베딩 토큰을 최적화하는 과정으로 구성됩니다.

2.1 핵심 아이디어

1. 초기화 (Initialization): CLIP 의 전역 [CLS] 토큰을 기반으로 국소 임베딩 토큰 (LET, Localized Embedding Token) 을 초기화합니다.
2. 가시성 맵 생성: 초기화된 토큰을 사용하여 사전 훈련된 모델 (Vision Encoder) 을 통과시키고, 해당 토큰이 이미지에서 어느 부분에 주목하는지 나타내는 **가시성 맵 (Explainability Map)**을 생성합니다. (논문에서는 ViT 에 최적화된 LeGrad를 사용합니다.)
3. 최적화 (Optimization): 생성된 가시성 맵과 사용자가 입력한 쿼리 마스크 (Query Mask) 간의 차이를 최소화하도록 토큰 벡터를 반복적으로 업데이트합니다.
   • 손실 함수: Dice Loss 를 사용하여 맵과 마스크의 중첩 정도를 측정합니다.
   • 정규화 (Regularization): 국소 정보만 학습하여 전체 이미지의 맥락을 잃는 것을 방지하기 위해, 학습된 토큰이 원래 전역 [CLS] 토큰과 너무 멀어지지 않도록 하는 보조 손실 함수 ($L_{reg}$) 를 추가할 수 있습니다.
4. 모델 고정: 이 과정에서 **Vision Encoder 는 동결 (Frozen)**되어 있으며, 오직 임베딩 토큰 벡터만 업데이트됩니다. 따라서 어떤 사전 훈련된 모델에도 적용 가능합니다.

2.2 기술적 혁신: 그라디언트 분해 (Gradient Decomposition)

가시성 맵을 계산하기 위해 매 반복마다 그라디언트를 계산하는 것은 계산 비용이 매우 높습니다. 이를 해결하기 위해 그라디언트 분해 전략을 제안합니다.

• 원리: 가시성 맵 유도 시 필요한 그라디언트 계산에서, 학습 가능한 토큰 ($LET_m$) 은 모델의 활성화 ($A$) 에 의존하지 않으므로, 2 차 도함수 계산을 피할 수 있습니다.
• 효과: 가시성 맵 생성을 위한 그라디언트 계산 ($\frac{\partial \bar{z}}{\partial A}$) 을 한 번만 수행하고, 이후 모든 반복 단계에서 이를 점곱 (Dot Product) 연산으로 재사용합니다. 이는 다중 마스크 처리 시 계산 효율을 극적으로 높입니다.

3. 주요 기여 (Key Contributions)

1. 테스트 시 국소 임베딩 학습: 이미지와 쿼리 마스크가 주어지면, 모델의 가중치 수정 없이 단일 토큰으로 해당 영역의 특성을 포착하는 임베딩을 학습합니다. 이 토큰은 기존 CLIP 기반 애플리케이션의 [CLS] 토큰을 **대체 (Drop-in replacement)**할 수 있습니다.
2. 계산 효율성 향상: 그라디언트 분해 전략을 통해 동일한 이미지 내 여러 마스크에 대한 임베딩 생성 비용을 크게 절감했습니다.
3. 범용성 및 성능 검증: 참조 표현 이해 (Referring Expression), 제로샷 클래스 검색 (Class Retrieval), 국소 캡셔닝 (Localized Captioning), 국소 이미지 생성 (Localized Diffusion) 등 다양한 다운스트림 태스크에서 SOTA(SOTA) 성능을 입증했습니다.

4. 실험 결과 (Results)

논문은 PascalVOC, MSCOCO, RefCOCO, OpenImagesV7 등 다양한 데이터셋에서 MaskInversion 을 평가했습니다.

• 참조 표현 검색 (Referring Expression Retrieval): RefCOCO, RefCOCO+, PhraseCut 데이터셋에서 기존 방법 (ReCLIP, FGVP, AlphaCLIP 등) 보다 우수한 성능을 보였습니다. 특히 ViT-H/14 와 같은 대형 백본을 사용할 때 성능이 크게 향상되었습니다.
• 클래스 검색 (Class Retrieval): Zero-shot 분류 태스크에서 MaskInversion 은 파인튜닝 기반 방법 (AlphaCLIP) 을 포함한 모든 베이스라인을 능가했습니다. 이는 수백만 개의 마스크 - 텍스트 쌍으로 훈련된 AlphaCLIP 보다, 테스트 시 최적화만으로도 더 나은 성능을 낼 수 있음을 의미합니다.
• 국소 캡셔닝 및 생성:
  • 캡셔닝: CLIPCap 모델을 사용하여 특정 영역에 대한 캡션을 생성할 때, MaskInversion 은 CLIP 기본 모델보다 정확도가 2 배 이상 향상되었습니다.
  • 이미지 생성: Diffusion 모델과 결합하여 특정 마스크 영역의 변형을 생성할 때, 생성된 이미지가 쿼리 마스크의 객체에 집중하는 것을 시각적으로 확인했습니다.
• 비교 분석: 훈련이 필요 없는 (Training-free) 다른 방법들 (MaskCLIP, CLIPSurgery 등) 과 비교했을 때, 특히 대형 모델 (ViT-L/14, ViT-H/14) 에서 MaskInversion 이 압도적인 성능 차이를 보였습니다.

5. 의의 및 결론 (Significance)

• 모델 수정 불필요: 기초 모델의 가중치를 변경하거나 파인튜닝할 필요 없이, 테스트 시에 동적으로 영역별 표현을 학습할 수 있어 유연성이 매우 높습니다.
• 맥락과 국소성의 균형: 정규화 손실 함수를 통해 국소 영역의 특징을 유지하면서도 전체 이미지 맥락을 고려할 수 있는 균형을 조절할 수 있습니다.
• 광범위한 적용 가능성: 분류, 검색, 캡셔닝, 생성 모델 등 다양한 비전 - 언어 태스크에 하나의 임베딩 토큰을 통해 적용 가능한 범용적인 프레임워크를 제시했습니다.

결론적으로, MaskInversion 은 기초 모델의 전역적 이해 능력을 유지하면서, 특정 영역에 대한 정밀한 국소적 이해를 가능하게 하는 효율적이고 강력한 방법론을 제시합니다.