기술적 요약: 기계적 해석을 위한 예시 분할

문제 제기

기계적 해석은 신경망을 인간이 이해할 수 있는 알고리즘으로 역공학하는 것을 목표로 합니다. 현재 접근 방식은 다음과 같은 고유한 한계에 직면해 있습니다:

• 회로 분석 (Circuit Analysis): 작업별 하위 그래프를 분리해 내지만, 모델 전체의 특징 목록을 생성하지는 못합니다.
• 지도식 프로빙 (Supervised Probing): 연구자들이 이미 찾아보려고 하는 개념들만 테스트하는 데 제한됩니다.
• 희소 오토인코더 (SAEs): 지배적인 비지도 접근 방식인 SAE 는 희소성, 재구성, 그리고 사전 크기를 묶어주는 재구성 목적 함수를 최적화함으로써 고정된 크기의 사전 (dictionary) 을 학습합니다. 이 학습 과정은 계산 비용이 매우 많이 듭니다 (수십억 개의 토큰 필요) 또한, 고정된 사전 크기나 선형 기저 학습과 같은 제약 조건을 도입하여 모델의 활성화 기하학적 내재적 특성을 흐리게 만들 수 있습니다.

핵심 질문은 다음과 같습니다: SAE 가 밝혀내는 특징 구조의 얼마나 많은 부분이 학습 목적 함수 자체에 기인한 것일까요, 그리고 얼마나 많은 부분이 이미 모델의 활성화 기하학에 존재하며 더 직접적이고 학습되지 않은 구성을 통해 접근 가능한 것일까요?

방법론: 예시 분할 (Exemplar Partitioning, EP)

예시 분할은 학습 없이 대규모 언어 모델 (LLM) 의 활성화로부터 해석 가능한 특징 사전 (dictionary) 을 구성하는 비지도 방법입니다. EP 는 사전 (dictionary) 을 활성화 공간의 **보로노이 분할 (Voronoi partition)**로 간주하며, 단일 스트리밍 패스를 통한 **리더 클러스터링 (leader clustering)**으로 구축됩니다.

핵심 구성

1. 스트리밍 리더 클러스터링: 중심을 형성하기 위해 활성화를 평균내는 것 (이는 비일관된 방향을 생성하고 클러스터링 불안정성을 초래할 수 있음) 대신, EP 는 **고정된 예시 (fixed exemplars)**를 사용합니다. 예시는 데이터 스트림에서 관찰된 실제 활성화입니다.
   • 새로운 활성화가 도착하면, 이를 중심을 맞추고 정규화합니다.
   • 기존 예시 중 가장 가까운 예시와의 거리가 임계값 미만이면 해당 영역에 합류합니다.
   • 임계값을 초과하면 새로운 예시가 되어 새로운 영역을 시작합니다.
2. 보정 및 임계값 설정: 거리 임계값 $\theta_p$는 절대값이 아니라, 작은 보정 배치에서 계산된 쌍별 거리의 $p$-백분위수입니다. 이는 사전의 해상도를 조정할 수 있게 합니다 (작은 $p$=세밀한 입자; 큰 $p$=거친 입자) 동시에 계층과 모델 간 비교 가능성을 유지합니다.
3. 포화 기준: 사전은 새로운 예시가 없는 "포화 창 (saturation window)"이 지날 때까지 성장합니다. 이는 사전 크기가 사전에 지정된 것이 아니라, 선택된 해상도에서의 활성화 기하학에 의해 결정됨을 의미합니다.
4. 추론: 새로운 활성화는 가장 가까운 예시에 할당됩니다. 사전은 본질적으로 1-희소 (one-hot) 이지만, 거리에 기반하여 $n$-희소 또는 밀집 할당으로 확장할 수 있습니다.

주요 특성

• 관측 가능성: 영역이 학습된 가중치가 아닌 관찰된 예시에 의해 고정되므로, 동일한 데이터 스트림에서 구축된 사전은 예시 매칭을 통해 계층, 모델, 학습 체크포인트 간에 직접 비교 가능합니다.
• 안정성 지표: 논문은 영역의 교차 시드 (cross-seed) 안정성을 예측하기 위해 통계량 $D_i = \log_{10}(N_i c_i^2)$ (여기서 $N_i$는 구성원 수, $c_i$는 구성원 일관성) 를 도입합니다. 높은 $D_i$를 가진 영역은 서로 다른 스트리밍 순서에서도 더 많이 재현될 가능성이 높습니다.

주요 기여 및 결과

1. 효율성 및 확장성

EP 는 비교 가능한 SAE 보다 약 $10^3$배 적은 토큰으로 사전 (dictionary) 을 구축합니다.

• 구축 비용: Gemma-2-2B 에 대한 p1 사전은 약 $3.6 \times 10^6$개의 토큰을 사용하여 단일 GPU 에서 몇 분 만에 구축되는 반면, 비교 가능한 SAE 는 수십억 개의 토큰으로 학습해야 합니다.
• 역전파 부재: 이 방법은 역방향 패스 (backward passes) 를 전혀 필요로 하지 않습니다.

2. 해석 가능성 및 인과적 개입

• 인과적 제거 (Causal Ablation): Gemma-2-2B-it 에서 거부 (refusal) 행동은 특정 EP 영역에 집중됩니다. 이 영역의 **예시 방향 (첫 번째 도착 활성화)**을 제거하면, 홀드아웃 된 거부 행동을 최대 $\Delta = -0.96$까지 감소시킵니다. 이는 "거부 방향"이 단일 예시에 의해 포착된 정밀한 축임을 보여주며, 이는 영역의 평균 방향보다 개입에 더 효과적입니다.
• 교차 체크포인트 매칭: 기본 모델과 지시 튜닝된 모델의 사전 매칭은 지시 튜닝이 모델의 방향 구조를 대부분 재고정하여 작은 보편적 부분집합만 보존함을 보여줍니다. 또한 튜닝된 모델의 거부 방향이 기본 모델에 존재하는 프롬프트 내 유해 콘텐츠 방향에서 승격된 것임을 보여줍니다.

3. 벤치마크 성능

• AxBench (개념 탐지): Gemma-2-2B-it L20 에서 해상도 $p=1$의 EP 사전은 500 개의 잠재 개념에 걸쳐 평균 AUROC 0.881을 달성합니다.
  • 이는 표준 GemmaScope SAE 항목 (0.755) 보다 +0.126 높습니다.
  • 더 작은 후보 풀과 훨씬 적은 연산량을 사용했음에도 불구하고, 가장 강력한 베이스라인인 SAE-A (0.911) 와 0.030 이내의 차이를 보입니다.
• SAEBench (정보 보존): p10 EP 사전 ($\ell_0=1$) 은 원시 활성화 프로빙 정확도의 **약 97%**를 유지합니다 (IdentitySAE 의 0.959 대비 0.930). 이는 거의 모든 원시 좌표를 폐기하더라도 개념의 선형적으로 디코딩 가능한 정체성이 밀도 구조만으로 대부분 보존됨을 시사합니다.

4. 기하학적 통찰

• 밀도 vs 선형 분리 가능성: EP 와 SAE 는 서로 다른 기하학적 제약을 가집니다. EP 는 밀도에 제약합니다 (영역은 활성화 공간의 실제 원뿔임), 반면 SAE 는 선형 분리 가능성에 제약합니다 (희소 재구성).
• 공유 핵심: EP 영역의 약 **20%**가 $p=10$에서 $F1 > 0.5$인 SAE 특징과 일치합니다. 방향이 밀도 집중적이고 선형적으로 분리 가능한 곳에서 두 방법은 일치합니다.
• 분포 외 (OOD) 신호: 가장 가까운 예시까지의 거리는 무료 OOD 신호를 제공합니다. 무작위 토큰은 분포 내 토큰보다 일관되게 가장 가까운 예시에서 더 멀리 떨어져 있으며, 이 격차는 더 세밀한 해상도에서 벌어집니다.

중요성 및 주장

이 논문은 예시 분할이 다음과 같은 새로운 종류의 해석 객체를 제공한다고 주장합니다:

1. 효율적: 최첨단 연구실의 컴퓨팅 예산이 없는 연구자들도 접근 가능합니다.
2. 직접적: SAE 의 재구성 목적 함수에 의해 흐려질 수 있는 활성화 기하학의 특성 (밀도, 안정성, 인과적 방향) 을 드러냅니다.
3. 상호 비교 가능: 관찰된 예시를 사용함으로써 복잡한 정렬 절차 없이 학습 체크포인트 및 모델 변형 간 특징 진화를 직접 추적할 수 있습니다.

저자들은 EP 가 SAE 와 "공유된 핵심"을 포착하지만, SAE 가 분열시키는 광범위한 콘텐츠 기반 영역도 노출하며, 반대로 SAE 는 주어진 해상도에서 EP 가 해결하지 못하는 희소 선형 방향을 포착한다고 강조합니다. 논문은 밀도 구조만으로도 프로빙으로 측정되는 신호의 상당 부분을 전달하며, 방법의 효율성과 개방형 사전 인터페이스가 해석 도구함에 실용적인 추가가 된다고 결론 내립니다.

인정된 한계:

• EP 는 시드 의존적입니다; 영역 정체성은 스트리밍 순서에 따라 변하지만, $D_i$를 통해 안정성을 예측할 수 있습니다.
• 현재 구현은 중심 코사인 기하학을 가정하므로, 활성화 크기에 의존하는 특징을 포착하지 못할 수 있습니다.
• 실험은 탐색적입니다; 논문은 EP 가 SAE 를 완전히 대체한다고 주장하지 않으며, 특정 해석 작업에 대한 보완적이고 매우 효율적인 대안이라고 주장합니다.