Naming the Concepts Classifiers Rely On: Language-Anchored Decomposition for Faithful Explanation

기술 요약: 언어 고정 분해 (Language-Anchored Decomposition, LAD)

1. 문제 정의

고도의 신뢰성이 요구되는 시각적 애플리케이션에 배치된 심층 신경망은 해석 가능성을 필요로 하지만, 기존의 설명 방법론들은 충실도(faithfulness, 모델의 실제 결정 과정과의 일치성)와 명명(naming, 인간이 읽을 수 있는 의미론적 레이블) 사이의 근본적인 트레이드오프 문제에 직면해 있습니다.

• 사후 개념 발견 방법론(예: TCAV, ACE, CRAFT, FACE)은 모델의 동작에는 충실하지만, **이름이 없는 요인(unnamed factors)**들을 생성합니다. 동일한 요인 인덱스가 이미지마다 서로 다른 시각적 요소에 대응할 수 있어, 일관성이 결여된 사후 레이블링 작업이 필요합니다.
• 명명 및 설계 기반 방법론(예: Concept Bottleneck Models, LaViSE와 같은 뉴런 명명 접근법)은 인간이 읽을 수 있는 이름을 제공하지만, 종종 모델을 재학습하거나 아키텍처를 변경해야 합니다. 결과적으로, 설명된 모델은 원래 배치된 모델과 더 이상 동일하지 않게 되거나, 명명된 단위가 예측에 인과적으로 책임이 있는지 검증되지 않습니다.

기존의 어떤 방법론도 이름이 부여되면서 동시에 고정된 분류기(frozen classifier)에 충실하고, 모델을 수정하지 않고도 얻을 수 있는 개념을 성공적으로 제공하지 못했습니다.

2. 방법론: 언어 고정 분해 (LAD)

LAD는 표준적인 비음수 행렬 분해(Non-Negative Matrix Factorization, NMF) 과정을 역전시킴으로써 이 간극을 해결합니다. LAD는 계수(coefficients)를 학습한 후 나중에 레이블을 붙이는 대신, 계수를 언어에 기반한 맵(language-grounded maps)으로 고정하고 개념 기저(concept basis)만을 학습합니다.

핵심 프레임워크:

1. 설정: 고정된 사전 학습 인코더 $f$와 분류기 헤드 $g$가 주어졌을 때, LAD는 인코더가 생성하는 공간 특징 맵 $Z$ 상에서 작동합니다. 특징을 전역적으로 풀링하는 방식과 달리, LAD는 활성화 값을 펼쳐서(unfold) 각 공간 위치를 독립적인 관측값으로 취급함으로써 공간적 국소성을 보존합니다.
2. 언어 고정 계수 ($S$):
   • 타겟 클래스에 대해, 대규모 언어 모델(LLM)은 시각적으로 근거가 있는 개념(예: "뾰족한 귀", "초록색 눈")의 클래스별 어휘를 생성합니다.
   • CLIP 이미지-텍스트 유사도를 사용하여 이러한 개념들을 이미지 영역 전체에 국지화하며, 이를 통해 공간 유사도 맵을 생성합니다.
   • 이 맵들을 펼치고 쌓아서(stack) 고정된 계수 행렬 $S \in \mathbb{R}^{(nhw) \times r}$을 형성합니다. 여기서 행은 공간 위치를, 열은 이름이 붙은 개념을 나타냅니다.
3. 역분해 (Inverted Factorization):
   • 표준 NMF는 $A \approx UW^\top$가 되도록 계수($U$)와 기저($W$)를 모두 학습합니다.
   • LAD는 계수를 언어에 근거한 행렬 $S$로 고정하고, 인코더의 활성화를 재구성하기 위한 개념 기저 $W$만을 학습합니다: $\hat{\bar{A}} \approx SW^\top$.
   • 최적화 과정은 투영 경사 하강법(Projected Gradient Descent, PGD)을 사용하여 비음수 제약 조건 하에서 재구성 오차 $\|\bar{A} - SW^\top\|_F^2$를 최소화합니다.
4. 추론: 새로운 이미지에 대해, 기저 $W$는 고정되며, 비음수 계수 $\hat{S}$는 비음수 최소 제곱법(non-negative least squares)을 통해 추정됩니다. 이 계수들은 공간 히트맵으로 재형성되어 국지화되고 이름이 붙은 설명을 제공합니다.

핵심 메커니즘: 언어 앵커(language anchor)는 구조적 제약 역할을 합니다. 고정된 인코더의 특징 기하학(feature geometry)은 어떤 명명된 개념이 유지될지(비제로 기저 가중치를 할당할지)를 결정하며, 인코더의 증거와 일치하지 않는 개념은 억제됩니다.

3. 주요 기여

• 새로운 사후 프레임워크: LAD는 이름이 있고, 충실하며, 모델을 재학습하지 않고도 얻을 수 있는 개념을 생성하는 최초의 프레임워크입니다. 이는 언어에 근거한 CLIP 유사도 맵을 계수 행렬로 고정함으로써 달성됩니다.
• 기능적 언어 앵커: 본 논문은 언어 앵커가 단순한 장식이 아님을 입증합니다. 앵커를 제거하면(표준 비지도 NMF로 회귀) 분류 정확도는 유지되지만, 속성 충실도(특히 개념 삭제 테스트에서)가 급격히 무너집니다. 이는 앵커가 발견 과정을 분류기에 의미 있는 구조로 유도한다는 것을 증명합니다.
• 이미지별 명명된 개념 롤아웃: 익명의 요인을 출력하는 베이스라인과 달리, LAD는 특정 예측에 사용된 구체적인 명명된 개념들을 국지화하고, 중요도 순으로 순위를 매기며, 재구성에 대한 기여도를 주석으로 달 수 있는 이미지별 롤아웃을 가능하게 합니다.
• 포괄적인 평가: 이 방법은 자연 이미지(ImageNet), 장면(Places365), 그리고 임상 도메인(망막 안저 이미지) 전반에 걸쳐 평가되어 다양한 시각적 작업에서의 견고함을 입증했습니다.

4. 결과

• 충실도: ImageNet 및 Places365에서 LAD는 베이스라인과 대등한 Top-1 정확도를 유지하면서도 가장 높은 개념 삽입(Concept Insertion, C-Ins) 점수를 기록했습니다. 이는 LAD의 명명된 개념들이 예측을 복구하기에 충분함을 나타냅니다.
• 삭제 성능: FACE(계수와 기저를 공동 최적화하는 방식)가 자연 이미지의 개념 삭제(C-Del)에서는 LAD보다 약간 더 우수한 성능을 보였으나, LAD는 임상 도메인(망막 안저)에서 모든 베이스라인을 크게 압도했습니다. 질병 징후가 공간적으로 집중되는 임상 환경에서, LAD의 명명된 개념들이 가장 인과적으로 결정적이었으며, FACE의 C-Del 점수가 0.863인 것에 비해 0.954를 기록했습니다.
• 절제 연구 (Ablation Studies):
  • 언어 앵커: 고정된 언어 계수를 학습된 계수로 대체하면 C-Del이 0.902에서 0.507로 떨어지며, 앵커가 충실한 방향을 발견하는 데 핵심적인 역할을 함을 확인했습니다.
  • 개념 예산 (Concept Budget): 개념의 수($r$)를 늘리면 정확도를 희생하지 않으면서 충실도가 단조롭게 향상됩니다.
• 효율성: LAD는 계산 효율성이 뛰어나, RTX A4500에서 한 클래스를 처리하는 데 0.03초가 소요되어 FACE(2.6초) 및 CRAFT(0.5초)보다 훨씬 빠릅니다.

5. 의의 및 주장

본 논문은 LAD가 배치된 모델의 무결성을 해치지 않으면서도 충실한 속성과 인간의 해석 가능성 사이의 간극을 성공적으로 메운다고 주장합니다.

• 구조적 vs 미적 명명: 저자들은 LAD에서의 명명이 사후적인 레이블이 아니라, 분해의 구조적 속성임을 강조합니다. 모델 자체의 특징 기하학이 어떤 개념이 관련 있는지 결정하며, 이를 통해 CLIP 스타일 모델의 알려진 편향을 완화하고 인코더의 증거와 일치하지 않는 개념을 억제합니다.
• 감사가 가능한 증거: 의료 영상과 같은 고위험 도메인에서 LAD는 독자가 모델이 어디를 보는지뿐만 아니라, 그 영역에 무엇을 속성으로 하는지(예: "드루젠 유사 구조")를 검사할 수 있는 "감사 가능한 기록"을 제공합니다. 이를 통해 모델의 시각적 증거와 의미론적 속성 사이의 불일치를 탐지할 수 있습니다.
• 일반화 가능성: 이 접근 방식은 자연 이미지, 장면 이해, 임상 진단 전반에서 효과적임이 입증되었으며, 이는 언어에 근거한 계수를 고정하는 것이 결정의 내용이 정확도만큼이나 중요한 투명한 비전 모델을 만드는 유효한 전략임을 시사합니다.