기술 요약: 시각적 기계적 해석을 위한 분포적 관점

1. 문제 제기

현재 시각적 기계적 해석 (Mechanistic Interpretability, MI) 패러다임들은 정확성(모델이 특정 특징을 어떻게 활성화하는지를 정확하게 반영) 과 해석 가능성(인간이 이해할 수 있는 시각화 생성) 사이의 균형을 맞추는 데 어려움을 겪고 있습니다. 기존 방법들은 일반적으로 근본적인 트레이드오프에 직면한 휴리스틱 접근법에 의존합니다:

• 데이터셋 검색: 유한한 데이터셋에서 높은 활성화 예시를 검색합니다. 지각적으로 그럴듯하지만, 이 접근법은 경계 편향과 임계값 불안정성에 시달리며, 종종 특징의 의미론적 전체 분포를 포착하지 못합니다.
• 정규화를 통한 최적화 (활성화 최대화): 특징 활성화를 최대화하기 위해 입력을 합성합니다. 활성화 점수에 매우 정확하지만, 이러한 방법들은 자연 이미지 분포에서 크게 벗어난 "초과 자극 (super-stimuli)"이나 고주파 아티팩트를 생성하여 지각적으로 해석 불가능하게 만듭니다.
• 프록시 유도 생성 (예: 프롬프트 기반 확산): 텍스트 프롬프트를 사용하여 확산 모델을 유도합니다. 이는 정보 병목과 의미론적 간극을 도입하는데, 텍스트 프롬프트는 미세한, 비언어적, 또는 다의적인 내부 특징 (예: SAE 특징) 을 완전히 포착할 수 없기 때문입니다.

핵심 문제는 이러한 방법들이 특징 해석을 단일 샘플 패턴 인식 작업이 아닌 분포적 추론 문제로 다루지 않아, 기계적으로 정확하지 않거나 지각적으로 해석 불가능한 설명을 초래한다는 점입니다.

2. 방법론

2.1. 분포적 관점

저자들은 시각적 MI 를 클루백-라이블러 (KL)-최소화 최적화 문제로 재정의할 것을 제안합니다. 단일 "최고" 이미지를 찾는 대신, 두 가지 경쟁 목표를 만족하는 유도된 분포 (induced distribution) $q$를 식별하는 것이 목표입니다:

1. 정확성: $q$는 내재적 점수 $s(x)$ (예: SAE 특징 활성화) 를 강력하게 활성화하는 입력에 집중해야 합니다.
2. 해석 가능성: $q$는 인간의 지각을 보장하기 위해 자연 이미지 사전 $p(x)$와 가까워야 합니다.

이 관점은 MI 패러다임을 세 가지 직교 차원으로 분해합니다:

• 연구 대상: 무엇을 해석할 것인가 (예: 뉴런 대 SAE 특징).
• 제약 조건 공식화: 정확성을 어떻게 강제할 것인가 (경성 대 연성 제약).
• 샘플링 방법론: 유도된 분포를 어떻게 구현할 것인가 (검색, 최적화, 또는 확산).

2.2. KL-최소화 연성 제약 (KLSC) 원칙

이전 방법들의 편향을 해결하기 위해, 본 논문은 KLSC 원칙을 도입합니다. 경성 제약 방법 (임계값 $m$에서 분포를 잘라냄, 즉 $s(x) > m$) 과 달리, KLSC 는 기대 활성화가 목표 수준에 도달하도록 요구하는 연성 제약을 사용합니다: $\mathbb{E}_{q}[s(X)] \geq m$.

이론적으로, 이 연성 제약 하에서 $KL(q \| p)$를 최소화하는 유일한 해는 **지수적으로 기울어진 분포 (exponentially tilted distribution)**입니다:
$$q_{\beta}(x) \propto p(x) \exp(\beta s(x))$$
여기서 $\beta$는 유도 강도를 조절하는 라그랑주 승수입니다.

경성 제약 대비 KLSC 의 이론적 장점:

• 감소된 경계 편향: 경성 제약은 확률 질량을 임계값 근처의 얇은 껍질 ("방금 활성화된" 영역) 에 집중시키는 반면, KLSC 는 질량을 더 매끄럽게 분배하여 작은 임계값 변화에 대한 민감도를 줄입니다.
• 임계값 안정성: 경성 제약은 임계값이 교란될 때 KL 발산과 총변동 (TV) 거리에서 불연속적인 점프를 유발합니다. KLSC 는 매끄러운 지수족을 형성하여 국소적 연속성을 보장합니다.
• 해석 가능성 간극: 기대 정확성이 일치하더라도, KLSC 해는 경성 잘라내기 해보다 자연 이미지 사전 $p$에서의 편차를 더 효과적으로 최소화합니다.

2.3. 작업 주입 및 프록시 병목 회피

본 논문은 해석 과정에 외부 작업 목표 (예: 분류 레이블 또는 텍스트 프롬프트) 를 주입하는 것에 반대합니다.

• 대상 드리프트 (Object Drift): 작업 점수 $f_c(x)$ (예: CLIP 정렬) 를 주입하면 내재적 유도 분포가 왜곡됩니다. 논문은 작업 요구를 달성하는 것이 엄격히 양의 KL 비용을 수반하여, 내재적 메커니즘이 아닌 작업을 반영하는 설명을 초래한다고 증명합니다.
• 프롬프트 병목: 프록시 유도 방법은 검색 공간을 프롬프트-매개변수화된 가족 $Q_{prompt}$로 제한합니다. 논문은 이 가족이 종종 미세하거나 다의적인 특징을 표현할 수 없어 부정확한 샘플을 초래한다고 입증합니다.

2.4. 에너지 유도 확산 후방 샘플링 (EnergyDPS)

KLSC 원칙을 실제로 구현하기 위해, 저자들은 EnergyDPS를 제안합니다.

• 메커니즘: 내재적 점수 $s(x)$ (예: SAE 특징 활성화) 를 에너지 함수로 취급합니다.
• 과정: **확산 후방 샘플링 (Diffusion Posterior Sampling, DPS)**을 활용합니다. 텍스트 프롬프트를 최적화하는 대신, EnergyDPS 는 내재적 점수의 기울기 $\nabla_x s(\hat{x}_0)$를 각 단계에서 역확산 과정에 직접 주입합니다.
• 장점: 이는 텍스트 프롬프트와 관련된 정보 손실이나 점별 최적화의 모드 추구 편향 없이 KLSC 유도 분포에서 직접 샘플링할 수 있게 합니다. 이는 학습이 필요 없으며 모든 미분 가능한 내재적 점수에 적용 가능합니다.

3. 주요 기여

1. 시각적 MI 를 위한 분포적 관점: 본 논문은 특징 해석을 KL-최소화 분포적 추론 문제로 모델링하는 이론적 프레임워크를 정립하여, 기존 패러다임의 체계적 통계적 편향 (경계 편향, 임계값 불안정성, 해석 가능성 간극) 을 식별합니다.
2. KL-최소화 연성 제약 (KLSC) 원칙: 기대 활성화 제약을 만족하면서 자연 사전에 가장 가까운 분포를 추구함으로써 정확성과 해석 가능성을 이론적으로 균형 잡는 새로운 제약 조건 공식화입니다.
3. EnergyDPS 알고리즘: 확산 모델을 사용하여 KLSC 원칙을 실현하는 실용적이고 학습이 필요 없는 샘플러입니다. 이는 프롬프트 기반 방법의 정보 병목과 최적화 기반 방법의 아티팩트를 회피합니다.
4. 통합 분류 체계: 연구 대상, 제약 조건 공식화, 샘플링 방법론에 기반한 시각적 MI 방법의 체계적 분류로, 이전 방법들이 정확성과 해석 가능성을 동시에 달성하지 못하는 이유를 명확히 합니다.

4. 실험 결과

저자들은 트랜스코더 (SAE 변형) 를 사용하여 DINOv3 ResNeXt Large 특징에 대해 EnergyDPS 를 평가했습니다.

• 정량적 지표:
  • 정확성: EnergyDPS 는 보정 시 기준 (MACO, DiffExplainer) 과 비교 가능한 활성화 수준을 달성했습니다.
  • 해석 가능성: EnergyDPS 는 QualiCLIP(지각적 해석 가능성) 과 NRQM(무참조 품질 지표) 에서 기준을 크게 능가했습니다. 예를 들어, 무작위 특징에서 EnergyDPS 는 QualiCLIP 점수가 0.5791 인 반면, MACO 는 0.4228, DiffExplainer 는 0.3259 였습니다.
• 블라인드 해석 가능성 연구:
  • 인간 및 AI 평가자 (GPT-5.4, Gemini-3-flash-lite) 가 공유된 의미론적 개념을 위해 생성된 이미지 세트를 평가했습니다.
  • EnergyDPS 는 가장 높은 해석 가능성 점수 (예: 인간 기준 2.92 대 MACO 1.92) 를 받았으며, 의미론적 설명에서 가장 낮은 가중 분산을 보여 더 일관되고 명확한 공유 개념을 나타냈습니다.
• 토이 모델 검증:
  • 2D 가우시안 혼합 모델 (GMM) 에 대한 실험은 이론적 예측을 확인했습니다: 경성 제약은 매끄러운 KLSC 경로에 비해 더 높은 경계 질량과 TV 불안정성을 보였습니다.
• 애블레이션 연구:
  • 레이어 강건성: EnergyDPS 는 서로 다른 네트워크 레이어에서도 효과적이었습니다.
  • 사전 의존성: 편향된 사전 (FFHQ 얼굴) 을 사용하면 결과가 저하되어, 모델의 학습 분포와 정렬된 자연 이미지 사전의 중요성을 확인했습니다.
  • 대상 드리프트: 실험은 내재적 활성화가 일치하더라도 작업 주입 (CLIP 프롬프트 또는 픽셀 수준 참조) 을 추가하면 의미론적 이동이 발생함을 보여, 내재적 전용 목표의 필요성을 입증했습니다.

5. 중요성 및 주장

본 논문은 휴리스틱 시각화에서 분포적 추론으로의 관점의 근본적 전환이 주요 기여라고 주장합니다.

• 이론적 건전성: 저자들은 시각적 MI 의 이전 실패가 제약 조건 공식화 (경성 대 연성) 와 샘플링 (검색/최적화 대 분포적 샘플링) 의 구조적 편향에서 비롯되었다고 주장합니다. KLSC 원칙은 정확성과 해석 가능성의 균형을 위한 엄밀한 수학적 기초를 제공합니다.
• 실용적 효과성: EnergyDPS 는 모델의 내부 메커니즘에 매우 정확하면서도 지각적으로 자연스러운 시각화를 생성할 수 있음을 보여주며, DINOv3 특징에서 최첨단 방법들을 능가합니다.
• 한계점: 저자들은 자연 이미지가 최소한의 손실 참조 공간을 제공하지만, 모든 인간이 이해할 수 있는 개념 (예: 비자연적이지만 모델과 관련된 증거) 을 완전히 포착하지는 못할 수 있음을 겸손하게 인정합니다. 또한, EnergyDPS 는 확산 샘플링 과정으로 인해 계산 비용이 발생하여 최적화 기반 기준보다 느립니다.

요약하자면, 본 논문은 시각적 특징을 이해하려면 자연 이미지 분포를 어떻게 재형성하는지 모델링해야 한다고 주장하며, KLSC 원칙과 EnergyDPS 의 결합이 이 도전에 대한 이론적으로 근거 있고 실용적으로 효과적인 해결책을 제공한다고 봅니다.