기술 요약: 언어 모델의 기계론적 감사를 위한 참조 기능 아틀라스 (Reference Feature Atlases)

1. 문제 정의

새로운 언어 모델(LM)의 안전성, 편향 또는 숨겨진 목적을 감사하는 작업은 일반적으로 매 새로운 릴리스마다 내부 기능을 처음부터 다시 학습하고 재해석하는 과정을 필요로 합니다. 현재의 도구들, 예를 들어 희소 오토인코더(Sparse Autoencoders, SAEs)나 희소 크로스코더(Sparse Crosscoders)는 이러한 맥락에서 상당한 한계를 가집니다:

• 공유된 베이스라인의 부재: 단일 모델 SAE는 매 타겟마다 새로운 사전을 생성하므로, 특정 기능이 모델 고유의 이상치인지 아니면 모델 제품군 전체의 전형적인 특성인지 구분하는 것을 불가능하게 만듭니다.
• 비효율적인 비교: 쌍별 크로스코더(Pairwise Crosscoders)는 두 모델에 대해 해석을 분산(amortize)시키지만, 세 번째 모델을 위해서는 재학습이 필요합니다. 이들은 공유된 사전 내에서 사후적 디코더 노름 임계값 설정(post-hoc decoder-norm thresholding)을 통해 타겟 특정 기능을 격리하지만, 이는 구조적 분리가 아닌 소프트한 개별 기능 단위의 결정입니다.
• 좌표계의 부재: 서로 다른 타겟을 동등한 입장에서 비교할 수 있는 안정적인 좌표계를 제공하거나, 알려진 참조 패널 외부의 구조를 명시적으로 플래그(flag)할 수 있는 메커니즘을 갖춘 기존 도구가 없습니다.

핵심 과제는 모델 제품군 전반에 걸쳐 공유되는 일반적인 메커니즘과, 숨겨진 목적이나 고유한 편향을 인코딩할 수 있는 타겟 특정 메커니즘을, 각 새로운 모델을 위해 해석 파이프라인을 재시작하지 않고도 구분해내는 것입니다.

2. 방법론: 참조 기능 아틀라스 (Reference Feature Atlas)

저자들은 참조 패널 모델들에 대해 한 번 학습되어 새로운 타겟에 재사용될 수 있는 희소 기능 라이브러리인 참조 기능 아틀라스를 제안합니다. 이 방법론은 기능의 정체성(기능이 무엇인가)과 기능의 사용(새로운 모델이 이를 얼마나 강하게 사용하는가)을 분리합니다.

2.1 아틀라스 학습 (단계 1)

$k$개의 모델로 구성된 참조 패널 $P = \{M_1, \dots, M_k\}$를 사용하여 공유된 희소 좌표계를 학습합니다.

• 아키텍처: 다중 입력 인코더 $E_A$는 모든 패널 모델의 활성화 값을 공유 잠재 공간 $z_A \in \mathbb{R}^K$로 매핑합니다.
• 희소성: 시스템은 BatchTopK 희소성을 사용하여 (모든 토큰에 대해 가장 큰 $k$개의 활성화를 유지) 이질적인 활성화 스케일 간에 안정적인 기능 수를 보장하며, 크로스코더 학습 시 L1 희소성과 관련된 아티팩트를 방지합니다.
• 목적 함수: 아틀라스는 각 패널 모델의 특정 디코더 $D_i$와 공유 코드 $z_A$를 사용하여 각 모델의 활성화($h_i$)를 재구성하는 과정에서의 설명되지 않는 분산 비율(Fraction of Variance Unexplained, FVU)을 최소화합니다:
  $$\mathcal{L}_{atlas} = \sum_{i=1}^k \text{FVU}(h_i, D_i z_A)$$
• 메타데이터 큐레이션: 일단 학습되면, 아틀라스 기능들은 해석(예: LLM 생성 가설, 상위 활성화 프롬프트)되고 검증됩니다. 이 메타데이터는 고정되며 향후 모든 감사에 재사용됩니다.

2.2 타겟 부착 (단계 2)

새로운 타겟 모델 $M_\star$가 도착하면, 인코더나 패널 디코더를 재학습하지 않고 고정된 아틀라스에 "부착"됩니다.

1. 선형 디코더 적합: 고정된 아틀라스 코드 $z_A$를 사용하여 $M_\star$의 활성화를 재구성하도록 단일 선형 타겟 디코더 $D_\star$를 적합시킵니다:
   $$\hat{h}_\star = D_\star z_A$$
   이 단계는 계산 비용이 저렴하며(중립적인 코퍼스에 대한 리지 회귀), **아틀라스 채널(Atlas Channel)**을 생성합니다.
2. 잔차 채널(Residual Channel): 아틀라스에 의해 재구성되지 않은 타겟 활성화의 부분은 잔차로 정의됩니다:
   $$r_\star = \text{sg}[h_\star - D_\star z_A]$$
   전용 **잔차 SAE(Residual SAE)**가 $r_\star$에 대해 학습되어 별도의 사전을 형성합니다. 이 채널은 패널에 의해 커버되지 않은(panel-uncovered) 구조—즉, 타겟에는 존재하지만 참조 패널에는 표현되지 않은 기능—를 명시적으로 포착합니다.

2.3 감사 출력

감사는 두 가지 상보적인 뷰를 제공합니다:

• 아틀라스 채널: 이미 해석된 패널 기능들을 통해 타겟을 읽습니다. 이는 $N$-방향 비교를 위한 안정적인 좌표계를 제공하며, 타겟이 어떤 공유 기능을 활용하고 어떤 기능을 무시하는지 보여줍니다.
• 잔차 채널: "참조 패널 외부"의 메커니즘을 위한 이름이 지정된 기능 인벤토리를 표면화합니다. 이 기능들은 구조적 설계에 의해 별도의 사전에 존재하므로, 사후적 임계값 설정이 아닌 별개의 기능이 됩니다.

3. 주요 기여

1. 재사용 가능한 기능 좌표계: 아틀라스는 참조 패널에 대해 한 번 학습된 공유 기능 좌표계를 제공합니다. 새로운 타겟은 선형 디코더를 통해 부착되어, 기능 사전을 재학습하지 않고도 모든 참조 모델과 직접 비교가 가능합니다.
2. 패널 미포함 구조의 아키텍처적 분리: 공유된 기능과 모델 특정 기능을 하나의 사전에 섞어 놓는 희소 크로스코더와 달리, 이 방법은 잔차 신호에 별도의 잔차 SAE를 적합시킵니다. 이를 통해 "패널 미포함"은 사후적 결정이 아닌 고정된 아키텍처적 속성이 됩니다.
3. 부착을 통한 교차 계보 시그니처: 부착 품질(FVU 또는 KL 발산으로 측정)은 타겟의 행동 중 얼마나 많은 부분이 참조 패널 외부에 있는지를 나타내는 스칼라 지표 역할을 합니다. 이는 잔차 SAE를 통해 이름이 지정된 기능 인벤토리로 확장됩니다.

4. 실험 결과

저자들은 다섯 개의 7–9B 인스트럭션 튜닝 모델(Llama-3.1, Qwen2.5, Mistral-7B, Gemma-2, OLMo-2)로 구성된 패널에 대해 두 개의 리브-원-아웃(leave-one-out) 아틀라스를 학습시켰으며, 홀드아웃된 모델들(Mistral 및 Qwen)을 감사했습니다.

4.1 통제된 숨겨진 목적 감사

세 가지 숨겨진 목적(가상의 디저트 브랜드, 프톨레마이오스의 주전원론, 플라잉 스파게티 몬스터 옹호)이 작은 LoRA를 통해 두 홀드아웃 타겟에 주입되었습니다.

• 복구: 잔차 채널은 모든 6개 실행(3개 시드 $\times$ 2개 타겟)에서 주입된 메커니즘을 최상위 랭크 잠재 변수(평균 순위 1.0, $\sigma=0$)로 복구했습니다.
• 인과적 제어: 잔차 방향에 대한 런타임 개입은 식재된 목적의 발생률을 0으로 낮추는 동시에, 일치하는 양성 대조군에는 영향을 주지 않았습니다.
• 베이스라인 비교: Mistral 타겟에 대해, 저자들은 헤드 투 헤드 벤치마크를 위해 타겟별 SAE와 쌍별 크로스코더를 재학습했습니다. 두 베이스라인 모두 해당 목적을 최상위 기능으로 복구하는 데 실패한 반면(순위 각각 12와 9), 참조 아틀라스는 성공했습니다.

4.2 패널 대비 정치적 프레이밍 발견 (Qwen)

• 부착 갭(Attachment Gap): Qwen-2.5는 아틀라스 B(Qwen이 홀드아웃된 모델)에 부착되었을 때, 패널 내 값보다 약 7배 높은 KL 발산을 보였으며, 이는 참조 패널 외부의 상당한 구조가 존재함을 나타냅니다.
• 잔차 발견: 잔차 채널은 이 갭을 패널이 다루지 않는 특정 정치적 연속성(비상 권력 제한, 소요 사태 중 미디어 중단 프레이밍, 개인의 권리를 경시하는 법과 질서 정당화 등)으로 국지화했습니다.
• 개입: 잔차 클러스터를 조종하면 정치적 키워드 거부율과 법과 질서 프레이밍의 비중이 단조롭게 변화하는 반면, 도메인 외 대조군은 변화가 없었습니다.
• 발견의 성격: 저자들은 이것이 패널 상대적(panel-relative) 발견임을 강조합니다. 이는 Qwen에 존재하는 구조가 서구권 중심의 참조 패널이 포괄하지 못하는 것임을 식별하는 것이지, 모델의 가치에 대한 본질적인 주장을 하는 것이 아닙니다.

5. 의의 및 주장

본 논문은 참조 기능 아틀라스가 현재의 최첨단 방법론들과 비교하여 더 확장 가능하고 효율적이며 엄밀한 기계론적 감사 프레임워크를 제공한다고 주장합니다.

• 효율성: 모든 새로운 모델에 대해 전체 사전을 재학습해야 하는 계산 비용을 피하고, 선형 디코더 적합만을 요구합니다.
• 비교 가능성: 단일 모델 SAE와 쌍별 크로스코더의 "비교 불가능성(incommensurability)" 문제를 해결하여, $N$-방향 비교를 위한 단일 $K$-차원 시스템을 제공합니다.
• 명시적 이상 탐지: 잔차 채널을 아키텍처적으로 분리함으로써, 공유된 사전에 의해 가려질 수 있는 타겟 특정 메커니즘을 명시적으로 드러내는 기능을 제공합니다.
• 겸손함: 저자들은 발견이 참조 패널 및 감사 코퍼스에 상대적이라는 점을 명시합니다. 예를 들어, 정치적 프레이밍 발견은 특정 프롬프트 분포와 패널에 국한된 것입니다. 다른 패널을 사용하면 이러한 기능들이 공유 좌표계로 흡수될 수 있습니다. 이 방법은 활성화 접근 권한(오픈 웨이트 모델)을 필요로 하며, 기능 레이블은 여전히 검증이 필요한 가설에 의존합니다.

이 연구는 아틀라스를 단순한 기능 추출기가 아니라, 연구자들이 공유된 가족 특성과 타겟 특정의 숨겨진 목적을 더 높은 정밀도와 낮은 오버헤드로 구분할 수 있게 해주는 표준화된 감사 프로토콜로 포지셔닝합니다.