기술 요약: 의미론과 메커니즘의 정렬을 통한 비지도 특징 발견

문제 정의

대규모 언어 모델(LLM)이 고위험 영역에 배치됨에 따라, 모델의 출력뿐만 아니라 이를 생성하는 내부 연산을 감사해야 할 필요성이 커지고 있습니다. **기계론적 해석 가능성(mechanistic interpretability)**은 특정 동작을 설명하는 도구들을 제공하지만, 지배적인 접근 방식인 **회로 분석(circuit analysis)**은 일반적으로 **타겟 조건부(target-conditioned)**입니다. 즉, 분석가는 특정 프롬프트와 선택된 타겟 완성을 지정하여 인과적 회로를 식별해야 합니다.

이러한 타겟 조건부 설정은 두 가지 결정적인 한계를 가집로:

1. 일반화 가능성: 특정 완성을 위해 식별된 메커니즘이 의미론적으로 유사한 패러프레이즈(paraphrase)에도 일반화되는지, 아니면 특정 표면 형태(surface form)에 대한 취약한 의존성을 반영하는지 불분명합니다.
2. 숨겨진 이질성: 고정된 타겟에 대해서도, 단일 타겟 분석은 내부 연산의 이질성을 은폐할 수 있습니다. 의미론적으로 유사한 출력이라도 서로 다른 내부 활성화 패턴에 의존할 수 있는데, 단일 타겟 분석은 이를 포착하지 못합니다.

현재의 행동 평가 방식은 입출력 상관관계에 국한되어 있으며, 기존의 기계론적 방법들은 타겟을 수동으로 지정해야 하므로, 단일 프롬프트에 대해 모델이 생성할 수 있는 다양한 "연속 모드(continuation modes)"를 놓칠 가능성이 있습니다.

방법론

저자들은 **분포 수준의 비지도 특징 발견(distribution-level unsupervised feature discovery)**을 위한 프로토콜을 제안합니다. 단일 타겟을 분석하는 대신, 이 방법은 **의미적 내용(semantic content)**과 **시퀀스 수준의 메커니즘적 기여도(sequence-level mechanistic attributions)**를 결합하여 모델의 샘플링된 연속 분포를 클러스터링합니다.

이 프레임워크는 세 단계로 작동합니다:

1. 연속 샘플링 (Continuation Sampling)

입력 접두사 $x$가 주어지면, 모델은 nucleus sampling을 사용하여 $N$개의 서로 다른 연속물 $y^{(n)}$을 샘플링합니다. 각 연속물에는 모델의 분포 하에서의 가능성을 나타내는 길이 정규화된 확률 $P_n$이 할당됩니다. 이 확률들은 클러스터링 과정에서 각 연속물의 기여도를 가중하는 데 사용됩니다.

2. 이중 표현 (Dual Representation)

각 샘플링된 연속물은 두 가지 상보적인 뷰(view)로 표현됩니다:

• 의미 임베딩 ($e_n$): 문맥 내에서의 언어적 의미를 포착하며, 일반적으로 사전 학습된 임베딩 모델(예: EmbeddingGemma)로부터 도출됩니다.
• 메커니즘 임베딩 ($a_n$): 접두사 특징이 연속물의 로짓(logits)에 어떻게 영향을 미치는지 포착합니다. 이는 트랜스코더(transcoders)(MLP 레이어를 근사하도록 학습된 희소 오토인코더)를 사용하여 MLP 연산을 해석 가능한 희소 특징으로 분해함으로써 계산됩니다. 기여도 벡터 $a_n$은 전체 연속 구간 동안 디민드(demeaned)된 로짓에 대한 접두사 특징의 직접적인 선형 기여도를 집계합니다.

3. Rate-Distortion을 통한 공동 클러스터링

핵심 혁신은 잠재 특징 발견을 율-왜곡 최적화(rate–distortion optimization) 문제로 정식화한 것입니다. 목표는 의미론적 뷰와 메커니즘적 뷰 모두에서 왜곡(재구성 오차)을 최소화하면서 율(클러스터 할당의 엔트로피)을 최소화하는 클러스터링을 찾는 것입니다.

목적 함수는 다음과 같습니다:
$$L_{RD} = H(C) + \beta_e D(e) + \beta_a D(a)$$
여기서:

• $H(C)$는 클러스터 사전 확률의 엔트로피(Rate)입니다.
• $D(e)$와 $D(a)$는 각각 의미적(L2) 및 기여도(L1) 공간에서의 확률 가중 왜곡(Distortion)입니다.
• $\beta$는 압축(더 적은 클러스터)과 충실도(낮은 왜곡) 사이의 트레이드오프를 조절합니다.
• $\gamma$는 의미적 뷰와 메커니즘적 뷰 사이의 가중치 균형을 조절합니다 ($\beta_e = \gamma\beta, \beta_a = (1-\gamma)\beta$).

적응형 연산: $K$를 사전에 고정하는 K-means와 달리, 이 프레임워크는 클러스터 수를 적응적으로 조정하기 위해 Split(분할) 및 Junk(제거) 연산을 사용합니다:

• Split: 왜곡의 감소가 증가된 엔트로피(율)의 비용보다 크다면 이질적인 클러스터를 분할합니다.
• Junk: 멤버를 재할당하는 것이 전체 목적 함수를 감소시킨다면, 일관된 모드보다는 노이즈를 포착하는 가짜 클러스터를 제거합니다.

주요 기여

1. 분포 수준 분석: 본 논문은 단일 타겟 분석을 넘어, 모델의 연속 분포를 의미적 구조와 시퀀스 수준의 메커니즘적 기여도를 모두 사용하여 클러스터링하는 최초의 프레임워크를 도입했습니다.
2. 공동 최적화: 의미론적 일관성과 메커니즘적 일관성을 공동으로 최적화함으로써, 단일 뷰 베이스라인(의미론 전용 또는 기여도 전용 K-means)이 놓치는 연속 모드를 드러낸다는 것을 입증했습니다.
3. 스티어링을 통한 인과적 검증: 저자들은 클러스터 유도 방향(medoids 사용)을 따라 스티어링함으로써, 발견된 클러스터 시그니처가 실행 가능한 메커니즘적 요인에 대응한다는 인과적 증거를 제공합니다. 이를 통해 해당 클러스터 내의 연속물에 대한 모델의 선호도를 일관되고 방향성 있게 변화시킬 수 있음을 보여줍니다.
4. 그래뉴러리티(Granularity) 제어: 이 프레임워크는 $\beta$ 파라미터를 어닐링(annealing)함으로써 발견된 모드의 정밀도를 제어할 수 있게 하며, 미세한 클러스터가 더 거친 클러스터로부터 메커니즘적 시그니처를 상속받는 계층적 구조를 드러냅니다.

실험 결과

방법론은 AmbigQA(Qwen3-8B 사용) 및 MMLU에서 평가되었으며, Gemma3 및 추론 작업(GSM8K, MATH500)에 대한 추가 실험이 수행되었습니다.

• 클러스터링 성능: 율-매칭 비교에서, 제안된 RD 클러스터링은 K-means 베이스라인(의미 전용 KM-S, 기여도 전용 KM-A) 대비 **94%**의 설정에서 가장 낮은 혼합 왜곡($D_\gamma$)을 달고했습니다. KM-S는 의미론적 일관성은 보존했으나 메커니즘적 일관성에는 실패했고, KM-A는 그 반대의 실패 양상을 보였습니다.
• 그래뉴러리티 분석: $\beta$를 변화시킴으로써 계층적 구조를 확인했습니다. 예를 들어, "포맷 스타일"(예: 솔로 아티스트 vs 밴드)로 정의된 거친 클러스터는 $\beta$가 증가함에 따라 구체적인 콘텐츠 세부 사항(예: 밴드 멤버 나열 vs 장르 설명)에 기반한 미세한 클러스터로 분할되었습니다.
• 스티어링 검증: 스티어링 실험은 인과 관계를 확인했습니다. RD 유도 메도이드(medoid) 방향은 스티어링 강도($\epsilon$)와 타겟 클러스터 로짓의 변화 사이의 강력한 단조 상관관계를 생성했습니다. 반면, 의미론 전용 베이스라인(KM-Sem)은 거의 제로에 가까운 상관관계를 보였으며, 단일 연속물 베이스라인은 더 약하고 일관성이 떨어졌습니다.
• 추론 작업: 추론 벤치마크에서, 이 방법은 특정 이전 추론 단계가 특정 타겟 단계 클러스터에 인과적으로 영향을 미친다는 것을 성공적으로 식별했으며, 초기 소스 단계와 후기 타겟 사이에서 가장 강력한 효과가 관찰되었습니다.

의의 및 주장

본 논문은 이 접근 방식이 모델의 연속 분포에 대한 메커니즘을 스케일러블하게 감사함으로써 기존의 회로 분석 및 행동 평가를 보완한다고 주장합니다.

• 보완성: 수동으로 선택된 타겟에 대한 의존도를 줄이고, 클러스터 수준의 스티어링에 의해 뒷받침되는 메커니즘적 가설을 표면화합니다. 사용자는 먼저 클러스터를 발견한 다음, 선택된 클러스터와 관련된 특정 회로를 추적할 수 있습니다.
• 실행 가능한 메커니즘: 발견된 모드는 단순히 기술적인 것에 그치지 않고, 모델의 행동을 예측 가능한 방식으로 변화시키기 위해 조작할 수 있는 실행 가능한 메커니즘적 요인에 대응합니다.
• 한계: 저자들은 (기여도 계산을 위한 역전파 필요성으로 인한) 계산 오버헤드와 클러스터에 인간이 해석 가능한 라벨을 할당하는 원칙적인 프레임워크의 부재를 한계로 인정합니다. 또한, 개입을 통한 검증이 식별된 특징의 유일성을 보장하는 것은 아니며, 추가적인 반사실적 검사가 필요하다고 언급했습니다.

요약하자면, 이 연구는 고립된 입출력 쌍을 분석하는 것에서 벗어나 연속의 분포를 분석하는 것으로의 패러다임 전환을 제안하며, 대규모 언어 모델의 이질적인 내부 연산을 이해하기 위한 더 강력한 렌즈를 제공합니다.