기술적 요약: 희소 자동 인코더 자동 해석 가능성에서의 기술적 충돌

1. 문제 정의

본 논문은 현재 희소 자동 인코더 (SAE) 자동 해석 가능성 파이프라인에서 발생하는 구조적 실패를 '기술적 충돌 (descriptive collision)'로 명명하여 식별합니다. 기존 비판들은 *다의성 (polysemanticity, 하나의 특징이 여러 의미를 가짐)*이나 설명의 예측 정확도에 초점을 맞추는 반면, 본 연구는 역문제인 서로 다른 많은 SAE 특징들이 동일한 자연어 설명을 허용한다는 점을 강조합니다.

핵심 문제는 가능한 짧은 자연어 설명의 공간 (기술적 공간) 이 SAE 특징의 공간 (특징 공간) 보다 구조적으로 작기 때문에 발생합니다. 결과적으로 단일 주석 문자열은 종종 서로 다른 특징들의 큰 군집에 매핑됩니다. 저자들은 현재 평가 패러다임이 특징을 고정된 것으로 간주하고 설명이 그 특징을 기술하는지 여부를 묻는 방식에 그쳐, 설명이 동료들 사이에서 해당 특징을 고유하게 식별하는지 여부를 묻지 않기 때문에 이러한 현상을 탐지하지 못한다고 주장합니다.

2. 방법론 및 정의

형식적 프레임워크

저자들은 정보 이론을 사용하여 문제를 형식화합니다:

• 충돌 군집 ($C_E(f)$): 특징 $f$와 설명 함수 $E$에 대해, $E(g) = E(f)$인 모든 특징 $g$의 집합.
• 기술적 해상도 (Descriptive Resolution): 특징을 균일하게 선택하는 확률 변수 $F$와 주석 $A = E(F)$ 사이의 상호 정보 $I(F; A)$로 정의됩니다.
  • 최대 해상도 ($\log_2 N$ 비트) 는 설명이 단사 함수 (각 특징마다 고유함) 일 때 발생합니다.
  • 해상도는 충돌 군집의 엔트로피에 의해 감소합니다.

실증 분석

저자들은 Gemma 2 2B 및 Pythia 70M 모델에 걸친 722 개 특징으로 구성된 인간이 주석한 SAE 특징의 가장 큰 공개 데이터셋 (Marks et al. [21]) 을 재분석했습니다.

• 데이터 소스: 짧은 자연어 문자열이 포함된 인간이 주석한 특징으로, 자동화된 설명의 고품질 대리 변수로 간주됩니다.
• 지표: 군집 크기, 상호 정보, 그리고 주석 재사용 분포의 계산.

이론적 증명

본 논문은 명제 1을 증명합니다: 탐지 스타일의 자동 해석 가능성 점수는 충돌 군집 내의 어떤 특징으로 대체하더라도 불변입니다. 두 특징이 설명을 공유하고 유사한 활성화 분포를 가진다면, 설명이 특징의 발화를 예측하는지 측정하는 표준 탐지 점수는 둘 모두에 대해 동일합니다. 따라서 높은 점수는 설명이 군집 전체에 공유된 속성을 기술하는 것이 아니라 특정 특징을 식별한다는 것을 보증할 수 없습니다.

3. 주요 결과

실증적 발견

• 보편성: 722 개 특징 중 **82.1%**가 적어도 하나의 다른 특징과 주석을 공유합니다.
• 군집 크기: 평균 주석 문자열은 3.07 개의 특징에서 재사용됩니다. 가장 큰 군집인 '복수 명사 (plural nouns)'는 18 개 계층과 4 개 모델 구성 요소를 아우르는 101 개의 서로 다른 특징을 포함합니다.
• 정보 손실: 평균 주석은 특징 정체성의 **70%**만 해결합니다. 잔여 엔트로피 ($H(F|A)$) 는 2.85 비트로, 주석을 읽은 후에도 예상되는 특징 정체성은 약 7.2 개의 특징으로 구성된 유효 알파벳에 걸쳐 여전히 불확실합니다.
• 계층 간 충돌: 재사용된 주석 문자열의 56.6% 가 적어도 두 개의 서로 다른 계층에 걸쳐 있어, 이러한 충돌이 동일한 개념의 중복된 표현이 아니라 서로 다른 기계적 실체임을 확인시켜 줍니다.
• 인간의 유보 표현: 저자 노트가 있는 특징 중 55.7% 가 "대부분", "가끔"과 같은 유보적 언어를 사용했는데, 이는 숙련된 인간 주석자조차 짧은 라벨이 특징을 과소 지정한다고 인식했음을 나타냅니다.

점수 불변성

본 연구는 표준 탐지 점수 (정확도, F1, AUC) 가 충돌에 대해 맹목적임을 입증합니다. "복수 명사"와 같은 설명이 특정 특징에 대해 높은 점수 (예: 0.95) 를 얻을 수 있지만, 이 점수는 해당 특징을 라벨을 공유하는 나머지 100 개의 특징과 구별하지 못합니다. 점수 산출 메커니즘은 특정 식별이 아니라 군집 내의 일반적인 진실성을 최적화합니다.

4. 제안된 해결책

본 논문은 특징을 이웃과 구별하지 못하는 설명을 명시적으로 벌점하는 두 가지 보완적 교정 지표를 제안합니다:

1. 구별 점수 ($S_{disc}$):

   • 메커니즘: 특징 $f$에 대해 활성화 유사성 (예: 자카드 유사도) 을 기반으로 $k$개의 "구별 특징" 집합 ($D(f)$) 을 선택합니다. 이 점수는 설명이 판사가 $f$가 발화하는 텍스트와 이웃 $g \in D(f)$가 발화하는 텍스트를 구별하는 데 도움을 주는 능력을 측정합니다.
   • 동작: $f$와 $g$ 모두에 참인 설명 (예: "복수 명사") 은 유사한 이웃과 짝을 이룰 때 점수가 0.5(무작위 추측) 에 가깝게 나오지만, 고유한 설명은 높은 점수를 냅니다.
   • 비용: 특징당 $O(km)$개의 판사 호출이 필요하여 표준 탐지보다 훨씬 높습니다.

2. 충돌 조정 탐지 ($S_{adj}$):

   • 메커니즘: 계산적으로 더 저렴한 휴리스틱으로, 충돌 군집의 크기에 따라 표준 탐지 점수에 페널티를 부과합니다: $S_{adj} = S_{det} \cdot \frac{1}{|C_E(f)|}$.
   • 효과: 이 방법은 새로운 판사 호출 없이 관측된 데이터셋에서 "복수 명사"와 같은 광범위한 설명의 겉보기 품질을 101 배로 감소시킵니다.

5. 중요성 및 주장

본 논문은 설명 공간이 특징 공간보다 훨씬 작은 모든 설명 점수 산출 방식의 일반적인 실패 모드로서 기술적 충돌을 위치시키며, **구르트하트의 법칙 (Goodhart's Law)**을 인용합니다.

• 구별성: 저자들은 충돌이 다의성, 회상 편향, 무작위 기준선 문제와 구조적으로 구별된다고 강조합니다. 이는 특징 사전이 아닌 라벨 공간의 속성입니다.
• 해석 가능성에 미치는 영향: 충돌을 무시하면 특징을 식별하는 데 필요한 비트의 약 3 분의 1만큼 보고된 특징 해석 가능성이 과장됩니다.
• 하류 영향: 과학적 응용 (예: 특징 회로, 조향 벡터) 의 경우, 라벨에서 도출된 결론은 단일 특징이 아닌 전체 충돌 군집 ($|C_E|$개의 특징) 에 적용되는 것으로 해석되어야 합니다. "복수 명사" 라벨의 경우, 이는 주장의 범위를 두 자리 수 (orders of magnitude) 만큼 확장합니다.
• 보수적 추정: 저자들은 인간이 주석한 데이터에서 관찰된 충돌이 하한선이라고 주장합니다. 더 엄격한 예산과 좁은 기술적 레지스터로 작동하는 자동화 파이프라인은 훨씬 더 심각한 충돌을 겪을 것으로 예상됩니다.

본 논문은 해당 분야가 탐지 점수와 함께 충돌 통계를 정기적으로 보고하고, 특징을 단순히 기술하는 것이 아니라 구별하는 능력을 평가받는 라벨링 체계를 개발할 것을 촉구하며 결론을 맺습니다.