기술 요약: 인증된 회로 (Certified Circuits)

문제 정의

기계론적 해석 가능성(Mechanistic interpretability)은 특정 행동이나 개념을 담당하는 최소한의 하위 네트워크인 '회로(circuit)'를 식별하는 것을 목표로 한다. 그러나 기존의 회로 발견 방법론들은 심각한 견고성 결여 문제를 겪고 있다. 발견된 회로는 개념 데이터셋으로 선택된 특정 예시들에 매우 민감하게 반응한다. 즉, 의미론적으로 동일한 예시를 추가, 제거 또는 교체하는 것만으로도 회로 구조에 예측 불가능한 변화를 일으킬 수 있다. 또한, 이러한 회로들은 분포 외(OOD) 데이터에 대해 일반화에 실패하는 경우가 많다. 이러한 불안정성은 현재의 방법론들이 실제 개념의 기계론적 표현을 포착하고 있는 것인지, 아니면 단순히 데이터셋 특유의 가짜 단서(spspurious cues)와 아티팩트에 과적합(overfitting)되어 있는 것인지에 대한 근본적인 의문을 제기한다.

방법론: 인증된 회로 (Certified Circuits)

저자들은 회로 발견에 대해 알고리즘에 무관한(algorithm-agnostic) 안정성 보장을 제공하는 프레임워크인 Certified Circuits를 제안한다. 핵심 아이디어는 회로 발견을 개념 데이터셋에서 서브그래프(subgraph)로의 매핑으로 취급하고, 이 매핑이 데이터셋에 가해지는 유계된 편집(bounded edits) 하에서도 불변(invariant)임을 인증하는 것이다.

핵심 프레임워크

1. 무작위 서브샘플링 (Smoothing): 이 프레임워크는 블랙박스 형태의 회로 발견 알고리즘 $\mathcal{A}$를 래핑(wrap)한다. 이는 삭제 기반 섭동 메커니즘을 적용하여 개념 데이터셋 $D$의 여러 무작위 서브샘플을 생성한다. 구체적으로, 각 예시가 $1 - p_{del}$의 확률로 유지되고 $p_{del}$의 확률로 삭제되는 이진 마스크를 샘플링한다.
2. 집계 (Aggregation): 베이스 알고리즘 $\mathcal{A}$를 각 서브샘플링된 데이터셋에 실행하여 후보 회로들을 생성한다. 그 후, 프레임워크는 결과를 집계하여 각 회로 구성 요소(뉴런 또는 엣지)에 대한 평활화된 포함 확률(smoothed inclusion probability, $p_u$)을 계산한다. 이 확률은 무작위 삭제 과정에서 해당 구성 요소가 선택되는 빈도를 나타낸다.
3. 인증된 결정 규칙 (Certified Decision Rule): 각 구성 요소에 대해 결정을 내리기 위해 신뢰 임계값 $\tau$를 적용한다.
   • 인증됨 (Certified In): $p_u > \tau$인 경우, 해당 구성 요소는 견고하게 포함된다.
   • 제외됨 (Certified Out): $1 - p_u > \tau$인 경우, 해당 구성 요소는 견고하게 제외된다.
   • 기권 (Abstain): 두 조건 중 어느 것도 충족되지 않으면, 해당 구성 요소는 최종 회로에서 제외된다. 이러한 적응형 희소성(adaptive sparsity)은 데이터셋 섭동 하에서 포함 여부가 불안정한 구성 요소들을 제거한다.

이론적 보장

이 방법은 **데이터셋 삭제 평활화(Dataset Deletion Smoothing, RS-Del)**를 활용하여 공식적인 보장을 도출한다. 정리 3.1에 따르면, 높은 신뢰도($1-\alpha$)로, "포함" 또는 "제외"로 인증된 모든 구성 요소는 원래 데이터셋 $D$로부터 특정 편집 거리 $r$ 이내에 있는 임의의 개념 데이터셋 $D'$에 대해 불변성을 유지한다. 인증된 반경 $r$은 삭제 확률 $p_{del}$과 임계값 $\tau$의 함수이다. "기권"으로 할당된 구성 요소들은 제외되며, 이를 통해 최종 회로는 증명 가능한 안정성을 가진 요소들로만 구성되도록 보장한다.

주요 기여

1. 최초의 증명 가능한 안정성 프레임워크: 회로 구조가 유계된 데이터셋 편집에 대해 불변함을 보장하는, 최초의 증명 가능한 알고리즘 무관적 회로 발견 프레임워크를 도입하였다.
2. 이론적 경계: 인증된 반경에 대한 증명 가능한 경계를 도출하고, 확률 임계값 및 삭제 확률과의 상관관계를 규명하였다.
3. 실험적 검증: 이 프레임워크를 세 가지 아키텍처(ResNet, ViT, GPT-2), 두 가지 모달리티(시각 및 언어), 네 가지 발견 알고리즘을 통해 검증하였다.

실험 결과

저자들은 ImageNet 및 다양한 OOD 벤치마크(시각 분야의 ImageNet-A, ImageNet-O, ImageNet-C, OOD-CV 및 언어 분야의 IOI/IOI-Hard/Greater-Than 태스크)에서 Certified Circuits를 표준 베이스라인(예: Top-K relevance, EAP-IG)과 비교 평가하였다.

• 충분성 및 압축성 (Sufficiency and Compactness): Certified Circuits는 훨씬 적은 구성 요소를 사용하면서도 더 높은 정확도(충분성)를 달성했다.
  • 시각 (Vision): ImageNet에서 Certified Circuits는 52% 적은 뉴런을 사용하면서도 95%의 정확도(베이스라인 83% 대비)를 달eric했다. ImageNet-A와 같은 OOD 데이터셋에서는 크기를 15% 줄이면서도 정확도가 최대 56% 향상(94% 도달)되었다.
  • 언어 (Language): Certified Circuits는 훨씬 적은 수의 엣지(예: Greater-Than 태스크에서 75% 감소)를 사용하면서도 베이스라인의 정점 정확도와 일치하거나 이를 능가했다.
• 특징 분석 (Feature Analysis): 베이스라인에는 포함되었으나 인증 과정에서 제외된 "기권(abstained)" 뉴런들을 시각화한 결과, 이들은 종종 클래스 특이적이지는 않지만 함께 나타나는 단서(예: '시계' 클래스의 경우 손/손목)에 반응하는 것으로 나타났다. 반면, "인증된(certified-in)" 뉴런들은 일관되게 클래스를 정의하는 특징에 반응했다.
• OOD 일반화: 인-디스트리뷰션(in-distribution) 데이터에서 발견된 회로는 베이스라인에 비해 OOD 시프트(shift)에서 현저히 높은 정확도를 유지했다. 이는 이들이 데이터셋의 아티팩트가 아닌 전이 가능한 기계론적 구조를 포착하고 있음을 시사한다.
• 구조적 안정성: 시프트된 분포에서 회로를 재발견했을 때, Certified Circuits는 원래 구조와 더 높은 IoU(Intersection-over-Union)를 보였으며, 이는 불변하는 핵심 구조로 수렴함을 나타낸다.

의의 및 주장

본 논문은 Certified Circuits가 발견 분포에서는 충실해 보이지만 일반화에 실패하는 '해석 가능성의 환상(interpretability illusion)' 문제를 해결함으로써, 회로 발견을 정식적인 토대 위에 올려놓는다고 주장한다. 적응형 기권을 통해 불안정한 구성 요소를 체계적으로 제거함으로써, 이 방법은 더 압축적이고 정확할 뿐만 아니라 데이터셋의 변동 및 분포 시프트에도 견고한 회로를 생성한다.

저자들은 이 작업이 유계된 데이터셋 편집에 기반한 위협 모델을 제공함으로써, Certified Circuits가 단순한 설명을 넘어 신뢰할 수 있는 도구를 제공한다고 강조한다. 이는 신경망을 디버깅, 감사 및 이해하기 위한 신뢰할 수 있는 수단이 될 것이다. 이 프레임워크는 기본 모델 아키텍처와 특정 회로 발견 알고리즘에 무관하도록 설계되어 있어, 해당 분야에 일반화 가능한 솔루션을 제공한다.