기술 요약: SEAMS – MSE 보존 소프트 마스크를 통한 충분성 살리언시(Sufficiency Saliency)

문제 정의

컴퓨터 비전 분야의 기존 시각적 설명 방법들은 주로 민감도 기반(sensitivity-based) 접근 방식(예: 그래디언트 속성, Integrated Gradients, Layer-wise Relevance Propagation)에 의존합니다. 이러한 방법들은 입력의 미세한 섭동(perturbation)에 대해 모델의 출력이 얼마나 민감하게 반응하는지를 추정합니다. 그러나 저자들은 민감도와 **충분성(sufficiency)**이 근본적으로 다른 개념이라고 주장합니다. 특정 픽셀은 높은 민감도(작은 변화가 큰 출력 변화를 유발함) 때문에 높은 속성 점수를 가질 수 있지만, 이미지의 다른 곳에 중복되어 인코딩되어 있을 수 있습니다. 반대로, 그래디언트가 낮은 픽셀이라 하더라도 예측을 유지하는 데 있어 엄격하게 필수적일 수 있습니다.

충분성을 해결하려는 기존의 섭동 기반 방법들은 특정 한계점을 가집니다. 이들은 보조적인 방해 데이터셋(distractor datasets)을 필요로 하거나, 특정 아키텍처에 종속적인 속성 메커니즘에 의존하거나, 이산적인 픽셀 서브셋을 선택하기 위해 복잡한 미분 가능한 top-$k$ 완화(relaxations) 및 정렬 연산자를 필요로 할 수 있습니다. 핵심적인 문제는 보조적인 의존성 없이, 특정 모델 출력(예: 클래스 확률, CLS 임베딩, 또는 토큰 표현)을 보존하기 위해 충분한 최소한의 조밀한 이미지 픽셀 서브셋을 어떻게 식별할 것인가 하는 것입니다.

방법론: SEAMS

저자들은 SEAMS(MSE-Preservation Soft-Masks를 통한 충분성 살리언시)를 제안합니다. 이는 고정된 미분 가능한 비전 모델 $g$와 입력 이미지 $x$가 주어졌을 때, 타겟 표현을 보존하도록 연속적인 소프트 마스크를 직접 최적화하는 사후(post-hoc), 모델 불가지론적(model-agnostic) 프레임워크입니다.

핵심 프레임워크

고정된 미분 가능한 비전 모델 $g$와 입력 이미지 $x$가 주어졌을 때, 목표는 마스크된 합성 이미지 $\tilde{x}$로부터 계산된 모델 출력이 원래의 출력 $y^\star = g(x)$와 유사하게 유지되도록 하는 소프트 마스크 $M \in [0, 1]^{H \times W}$를 찾는 것입니다.

주요 구성 요소

1. 마스크 파라미터화 (Mask Parameterization):
   마스크를 직접 최적화하는 대신, SEAMS는 제약이 없는 로짓(logits) $\ell$을 최적화합니다. 이들은 정규화 및 클리핑(normalise-and-clip) 파라미터화를 통해 유효한 마스크로 변환됩니다:

   • $u = \text{softplus}(\ell)$는 비음수성을 보장합니다.
   • $\bar{u} = \alpha \frac{u}{\text{mean}(u)}$는 학습 가능한 희소성 예산(sparsity budget) $\alpha \in (0, 1]$를 강제합니다.
   • $M = \text{clip}(\bar{u}, 0, 1)$은 값을 $[0, 1]$ 범위로 제한합니다.
     이 접근 방식은 명시적인 서브셋 선택, 미분 가능한 정렬, Gumbel 샘플링, 또는 top-$k$ 완화를 피합니다. 정규화 단계는 픽셀 간의 경쟁을 유도하여, 명시적인 이진화 메커니즘 없이도 자연스럽게 마스크가 희소성(near-binary 값)을 갖도록 유도합니다.

2. 삼원 합성 이미지 (Three-Way Image Composite):
   마스크를 평가하기 위해, 저자들은 전적으로 쿼리 이미지 $x$로부터 생성된 세 가지 소스를 사용하여 합성 이미지 $\tilde{x}$를 구성합니다:

   • 원본 ($x$): $M \approx 1$인 보존 영역.
   • 자기 증강 방해물 ($x_{dist}$): heavyAug(강한 기하학적/광학적 변환, swirl, color shifts, cutout)를 통해 생성됩니다. $M \approx 0$인 영역은 약한 텍스처 상관관계를 깨뜨리기 위해 이 값으로 대체됩니다.
   • 블러 처리된 컨텍스트 ($x_{blur}$): $x$의 심하게 블러 처리된 버전입니다. 중간 정도의 마스크 값을 갖거나 예산을 초과한 영역은 글로벌 장면 구조를 보존하고 최적화 아티팩트를 줄이기 위해 이 값으로 채워집니다.
     합성 이미지는 $\tilde{x} = M \odot x + M'' \odot x_{dist} + N \odot x_{blur}$로 정의되며, 계수의 합은 1입니다.

3. 최적화 목적 함수 (Optimization Objective):
   마스크와 예산은 다음의 보존 손실을 최소화하도록 최적화됩니다:
   $$\mathcal{L}(\ell, \alpha) = \mathbb{E}_{\mathcal{A}} \left[ \| g(\mathcal{A}(\tilde{x})) - y^\star \|_2^2 \right] + \lambda_\alpha \alpha$$

   • 보존 항 (Preservation Term): 증강된 합성 이미지의 타겟 표현과 고정된 참조 타겟 $y^\star$ 사이의 평균 제곱 오차(MSE)를 최소화합니다. 증강 $\mathcal{A}$(중간 정도의 크롭, 플립, 지터링)는 합성 이미지에 적용되어 견고함을 보장하며, 이때 $y^\star$는 고정된 상태를 유지합니다.
   • 희소성 항 (Sparsity Term): 조밀한 마스크를 장려하기 위해 예산 $\alpha$에 페널티를 부여합니다.

4. 모듈형 타겟 (Modular Targets):
   이 프레임워크는 타겟 $g(x)$에 대해 불가지론적입니다. 보존되는 출력만을 변경함으로써 동일한 파이프라인을 통해 다음과 같은 다양한 설명을 생성할 수 있습니다:

   • 클래스 조건부 설명: 특정 클래스 확률을 보존.
   • 글로벌 표현 마스크: CLS 임베딩을 보존.
   • 토큰 레벨 설명: 조밀한 패치-토큰 표현을 보존.

주요 기여

1. 충분성 기반 공식화: 본 논문은 국소적 민감도가 아닌 보존 충실도(preservation fidelity, 즉 충분성)를 직접 최적화하는 살리언시 공식을 도입합니다.
2. 단순화된 최적화 프레임워크: SEAMS는 외부의 방해 데이터셋, 아키텍처 특유의 속성 규칙, 또는 미분 가능한 서브셋 선택 연산자(예: top-$k$ 완화)를 필요로 하지 않습니다. 대신 학습 가능한 예산을 가진 소프트 마스크와 자기 생성 방해물을 사용합니다.
3. 통합 멀티-타겟 파이프라인: 단일 최적화 절차를 통해 보존되는 타겟 표현을 변경하는 것만으로 객체 수준, 클래스 특화, 토큰 레벨의 다양한 설명을 생성할 수 있습니다.
4. 아키텍처 의존적 통찰: 이 방법은 서로 다른 아키텍처(예: ViT vs. ConvNeXt)가 유사한 보존 충실도를 달ach하기 위해 서로 다른 집합의 충분한 픽셀에 의존할 수 있음을 밝혀내며, 이는 민감도 기반 방법으로는 포착하기 어려운 뉘앙스입니다.

실험 결과

저자들은 ImageNet-1k(ViT-S/16, ConvNeT-Tiny, ViT-B/16, DeiT-III-B/16)와 개인 의료 데이터셋(미숙아 망막병증)에서 SEAMS를 평가했습니다.

• 충실도 (Insertion/Deletion): SEAMS는 그래디언트 기반 방법(IxG, SmoothGrad, Integrated Gradients) 및 다른 섭동 기반 방법(DAVE)과 비교하여 경쟁력 있고 종종 더 우수한 Insertion 및 Deletion AUC 점수를 달성했습니다. 특히, SEAMS는 높은 **픽셀 삭제 충실도(pixel-deletion faithfulness)**를 보여줍니다. 즉, 타겟 클래스 확률은 조밀한 충분 영역이 가려질 때까지(최대 70-80%의 픽셀이 제거될 때까지) 안정적으로 유지됩니다. 이는 이 방법이 최소한의 충분한 서브셋을 성공적으로 격리했음을 나타냅니다.
• 교차 아키텍처 일반화: 동일한 하이퍼파라미터를 사용하여 ViT와 ConvNeXt에 적용했을 때, SEAMS는 의미 있는 마스크를 생성했습니다. 그러나 정량적 분석(IoU, 코사인 유사도)에 따르면 선택된 특정 픽셀은 아키텍처 간에 크게 다르며, 이는 시각적 충분성이 아키텍처에 의존적임을 확인시켜 줍니다.
• 멀티-타겟 유연성: 타겟을 클래스 확률에서 CLS 임베딩이나 패치 토큰으로 변경하면, 이미지의 서로 다른 의미적 측면을 강조하는 구별된 해석 가능한 마스크가 생성됨을 실험을 통해 입증했습니다.
• 의료 영상 전이: 하이퍼파라미터나 최적화 파이프라인을 수정하지 않고도, SEAMS는 미숙아 망막병증(ROP) 안저 이미지에서 임상적으로 관련 있는 망막 구조(혈관 궤적, 경계선)를 성공적으로 식별하여 일반 이미지 이상의 전이 가능성을 보여주었습니다.
• 정성적 품질: 시각적 비교를 통해 SEAMS가 기존 기술보다 더 적은 패치-그리드 아티팩트를 가지며, 더 날카롭고 객체에 정렬된 공간적 일관성을 가진 설명을 생성함을 보여줍니다. 마스크는 경쟁 방법들에 비해 눈에 띄게 희소하고 이진값에 가깝습니다.

의의 및 주장

본 논문은 SEAMS가 표현 중심의 시각적 설명을 위한 일반적이고 모델 불가지론적인 프레임워크라고 주장합니다. 주요 의의는 "무엇이 출력을 변화시키는가?"(민감도)에서 "출력을 유지하기 위해 무엇이 충분한가?"(충분성)로 패러다임을 전환했다는 데 있습니다.

저자들은 SEAMS가 다음과 같음을 강조합니다:

• 외부 데이터나 복잡한 아키텍처 수정이 필요 없습니다.
• 조밀하고 해석 가능하며 안정적인 마스크를 생성합니다.
• 서로 다른 신경망 아키텍처가 동일한 결론에 도달하기 위해 서로 다른 시각적 증거에 의존할 수 있음을 드러내며, 이는 충분성 기반 분석을 통해 가시화됩니다.
• 다양한 스케일(224px에서 518px까지)과 도메인(자연 이미지에서 의료 영상까지)에 적용 가능합니다.

저자들은 SEAMS가 반복적인 최적화로 인해 그래디언트 기반 방법보다 계산 비용이 더 많이 든다는 점과 현재의 평가가 이미지 인코더에 국한되어 있다는 점을 언급하며 한계를 겸허히 인정했습니다. 향후 연구는 비디오, 멀티모달 및 생성형 아키텍처로 확장될 것을 제안합니다.