기술적 요약: 비전 모델의 환유성이 주의 기반 해석 가능성을 훼손함

1. 문제 정의

이 논문은 **부분 기반 추론 (part-based reasoning)**과 **주의 메커니즘 (attention mechanisms)**에 의존하는 현대 딥러닝 비전 모델의 해석 가능성에 존재하는 치명적인 결함을 다룹니다. 개념 병목 모델 (Concept Bottleneck Models, CBM) 이나 부분 중심 주의 네트워크와 같은 해석 가능하도록 설계된 많은 모델들은 국소성 가정 (locality assumption) 하에 작동합니다. 즉, 특정 객체 부분 (예: 새의 날개) 의 잠재 표현은 주로 해당 이미지 영역에 대한 정보만을 인코딩한다고 가정합니다.

저자들은 현대의 사전 학습된 비전 트랜스포머 (ViT) 들이 이 가정을 빈번하게 위반한다고 주장합니다. 이러한 아키텍처의 넓은 수용 영역 (receptive fields) 으로 인해, 단일 부분의 잠재 표현은 종종 전체 객체에 대한 정보를 인코딩하게 됩니다. 저자들은 이 현상을 객체 내부 누출 (intra-object leakage) 또는 **시각적 환유성 (visual metonymy)**이라고 명명하며, 여기서 부분이 전체를 대신하게 됩니다. 결과적으로, 주의 맵이 특정 부분을 강조할 때, 예측에 사용된 기본 특징들은 실제로 다른 부분들로부터 "누출된" 정보를 포함할 수 있습니다. 이는 모델의 추론을 **부정확 (unfaithful)**하게 만듭니다. 모델은 올바른 영역에 집중하는 것처럼 보이지만, 실제로는 다른 곳의 상관관계 특징에 의존하게 되어, 의료 영상과 같은 고위험 분야에서 주의 기반 설명의 신뢰성을 훼손합니다.

2. 방법론

2.1 객체 내부 누출 벤치마킹

이 현상을 정량화하기 위해 저자들은 부분 수준 속성 주석이 있는 데이터셋 (CUB-200-2011, CelebA, CheXpert) 을 사용하여 두 가지 평가 지표를 제안합니다.

• 부분 특이성 (Part Specificity, PS): "올바른" 부분의 특징을 사용할 때와 "잘못된" 부분의 특징을 사용할 때의 속성 분류 성능 차이를 측정합니다. 낮은 PS 는 매칭되지 않는 부분의 특징이 매칭되는 부분의 특징만큼 예측력이 있음을 의미하며, 이는 누출을 나타냅니다.
• 가장 예측력 있는 부분 중첩 (Most Predictive Part Overlap, MPPO): 특정 속성에 대해 가장 높은 예측 신뢰도를 가진 발견된 부분이 해당 속성의 실제 지상 진실 (ground-truth) 영역과 공간적으로 중첩되는지 평가합니다.

저자들은 후기 마스킹 (Late Masking) (고정된 백본에서 특징을 추출한 후 사후적으로 마스크를 적용하는 표준 접근법) 과 초기 마스킹 (Early Masking) (특징 추출 전에 입력 이미지 토큰에 직접 마스크를 적용하는 방식) 을 비교합니다. 초기 마스킹은 설계상 누출을 방지하는 상한선 역할을 합니다.

2.2 제안된 해결책: 2 단계 아키텍처

객체 내부 누출을 완화하기 위해 저자들은 2 단계 트랜스포머 아키텍처를 제안합니다.

• 1 단계 (속성 기반 부분 발견): DINOv3 와 같은 고정된 백본을 사용하여 시맨틱 부분을 국소화하는 주의 마스크를 생성합니다. 이 단계는 이전의 직교성 손실에서 발견된 공유 신호의 억제를 피하면서 부분들이 공통 배경 특징을 공유할 수 있도록 보장하는 새로운 **비상관 직교성 손실 (de-correlated orthogonality loss, $L_{\perp}$)**을 사용합니다.
• 2 단계 (엄격한 병렬 처리): 발견된 각 부분을 독립적인 병렬 스트림에서 처리합니다.
  • 메커니즘: 모델은 각 부분에 대해 접두사 토큰 (예: [CLS]) 을 복제하고 **블록 대각선 주의 마스크 (block-diagonal attention mask)**를 적용합니다. 이는 $k$번째 접두사 토큰이 $k$번째 부분 마스크 내의 이미지 패치에만 전용으로 주의를 기울이도록 하여 특징을 엄격하게 격리합니다.
  • 기울기 추정: 2 단계가 1 단계를 안내하는 엔드 투 엔드 학습을 가능하게 하기 위해 저자들은 **스트레이트 스루 추정기 (Straight-Through Estimator, STE)**를 도입합니다. 순전파 (forward pass) 에서는 하드 (이진) 마스크를 사용하여 누출을 0 으로 보장하고, 역전파 (backward pass) 에서는 소프트 (연속) 마스크를 사용하여 기울기가 흐르고 부분 발견 마스크를 정제할 수 있도록 합니다.

3. 주요 기여

1. 객체 내부 누출을 위한 벤치마크: 비전 백본의 국소성 위반을 체계적으로 측정하기 위한 PS 및 MPPO 지표의 도입.
2. 광범위한 누출에 대한 경험적 증거: 최첨단 사전 학습 백본 (DINOv1, DINOv2, DINOv3, CLIP, MAE) 이 강력한 객체 내부 누출을 보이며, 정확한 해석 가능성에 필요한 국소성 가정을 위반한다는 포괄적인 평가.
3. 완화 전략: 설계상 엄격한 공간적 격리를 강제하는 2 단계 아키텍처로, 누출 방지가 주의 맵의 정확성과 부분 발견의 품질을 모두 향상시킨다는 것을 입증.

4. 결과

4.1 정량적 발견

• 누출의 보편성: CUB 와 CelebA 에서 초기 마스킹은 후기 마스킹보다 일관되게 훨씬 높은 부분 특이성 (PS) 점수를 기록합니다 (예: DINOv3 의 경우 CUB 에서 약 3 배, CelebA 에서 약 10 배 개선). 이는 표준 백본이 누출된 정보에 크게 의존함을 확인시켜 줍니다.
• 의료 영상 (CheXpert): CheXpert 데이터셋에서 표준 후기 마스킹은 약 0.53 의 가장 예측력 있는 부분 중첩 (MPPO) 을 초래하여, 예측이 종종 병리 영역 외부에서 비롯됨을 나타냅니다. 초기 마스킹을 강제하면 MPPO 가 약 0.62 로 향상됩니다.
• 부분 발견 개선: 제안된 2 단계 STE 변형은 클러스터링 지표 (ARI 및 NMI) 에서 단일 단계 베이스라인 및 기존 최첨단 방법 (PDiscoFormer, MPAE) 을 크게 능가합니다.
  • CUB 에서 STE 는 단일 단계 베이스라인의 50.27 대비 73.93의 ARI 를 달성합니다.
  • CelebA 에서 STE 는 베이스라인의 49.46 대비 97.51의 ARI 를 달성합니다.
• 예측 성능: 엄격한 국소성 강제 (2 단계만 사용) 는 모델이 상관관계 단축 경로를 더 이상 활용할 수 없게 되어 원시 속성 예측 정확도를 약간 낮출 수 있지만, 글로벌 컨텍스트 (1 단계) 와 엄격한 국소적 증거 (2 단계) 를 앙상블하면 모든 데이터셋에서 가장 높은 전체 성능을 보여주며 단일 단계 베이스라인을 능가합니다.

4.2 정성적 관찰

• 마스크 확장: 단일 단계 모델과 소프트 마스킹 변형은 종종 누출에 의존하여 나머지 컨텍스트를 채우는 "게으른" 마스크를 생성하며, 이는 오직 작은 고식별성 패치만 덮습니다. 반면 STE 변형은 전체 시맨틱 영역을 덮는 더 공간적으로 확장된 마스크를 생성합니다 (예: 폐 X 선에서 한쪽 폐만 덮는 것이 아니라 양쪽 폐를 모두 덮음).
• 정확성 (Faithfulness): 2 단계 접근법은 속성 예측이 올바른 해부학적 영역에 기반하도록 보장하는 반면, 단일 단계 모델은 종종 공간적 경계를 존중하지 못합니다.

5. 중요성 및 주장

이 논문은 기본 잠재 표현이 이미 공간 영역 간 정보를 얽히게 (entangle) 한다면 주의 기반 해석 가능성은 근본적으로 훼손된다고 주장합니다. 특징 자체가 환유성에 의해 오염되었다면 주의 맵을 단순히 시각화하는 것만으로는 부족합니다.

저자들은 다음과 같이 주장합니다.

• 국소성은 전제 조건입니다: 정확한 구성적 부분 기반 추론은 사후 주의 메커니즘이 아닌, 국소성을 강제하는 표현 수준의 해결책을 필요로 합니다.
• 2 단계 접근법은 유망합니다: 깊은 특징이 아닌 입력 이미지에 직접 주의 마스크를 적용 (초기 마스킹) 함으로써 누출을 완화하고 해석 가능성과 부분 발견의 품질을 모두 향상시킬 수 있습니다.
• 절충점은 관리 가능합니다: 2 단계 접근법은 계산 오버헤드 (약 2.1 배 느린 추론) 를 수반하지만, 글로벌 및 로컬 신호를 앙상블할 수 있는 능력은 매우 정확하면서도 국소적 증거에 엄격히 충실한 모델을 가능하게 합니다.

이 연구는 부분 기반 표현의 해석 가능성에서 간과된 문제를 부각시켜, 미래 연구가 진정한 신뢰할 수 있는 비전 모델을 구축하기 위해 표현 수준의 얽힘 문제를 해결해야 함을 시사합니다.