SAEVerbalizer: Generating Explanations for Sparse Autoencoder Features via Representation Verbalization

기술 요약: SAEVerbalizer

문제 정의
희소 오토인코더(Sparse Autoencoders, SAEs)는 거대 언어 모델(LLMs)의 밀집된 내부 표현을 고차원의 희소 공간으로 매핑함으로써 해석 가능한 특징(feature)을 추출하는 데 널리 사용됩니다. 그러나 핵심적인 병목 현상이 남아 있습니다. 바로 추출된 특징이 무엇을 의미하는지 자연어로 설명하는 과정입니다. 현재의 최첨단 방법론들은 **상향식 해석(bottom-up interpretation)**에 의존하고 있는데, 이는 특정 특징에 대해 가장 활성화가 높은 사례들을 식별하기 위해 LLM을 대규모 코퍼스 상에서 실행한 다음, 외부 LLM에게 그 공통된 패턴을 요약하도록 프롬프트를 주는 방식을 포함합니다.

저자들은 기존 패러다임의 두 가지 주요 한계를 지적합니다:

1. 피상적인 설명: 단순히 활성화 사례로부터 의미를 추론함으로써, 이러한 방법들은 특징의 표현 자체에 내재된 의미론적 내용을 직접 접근하기보다는 사례들이 무엇을 공통적으로 가지고 있는지를 기술하는 데 그칩니다.
2. 계산 비효학성: 수백만 개의 특징에 대한 설명을 생성하려면 반복적인 코퍼스 규모의 추론, 활성화 계산, 그리고 사례 검색이 필요하며, 이는 확장성이 떨어집니다.

방법론: SAEVerbalizer
본 논문은 설명 과정을 외부 행동을 관찰하는 것에서 내부 표현을 직접 처리하는 것으로 전환하는 프레임와크인 SAEVerbalizer를 소개합니다. SAEVerbalizer는 활성화 사례를 검색하는 대신, SAE 디코더 방향(decoder direction)을 설명 생성을 위한 유일한 입력값으로 취급합니다.

• 핵심 메커니즘: 이 프레임워크는 SAE 디코더 방향(특정 특징을 나타내는 벡터)을 지정된 주입 레이어($L_{inj}$)의 LLM 토큰 표현에 직접 주입합니다. 그 후, 주입된 표현을 바탕으로 자연어 설명을 생성하도록 LLM의 다운스트림 레이어를 미세 조정(fine-tuning)합니다.
• 주입 전략: 디코더 방향은 정규화된 크기 매칭 가산 주입(norm-matched additive injection)을 통해 고정된 주입 스팬(injection span) 내의 토큰 표현에 더해집니다:
  $$h'_{b,s} = h_{b,s} + \alpha \bar{n}_b \hat{v}_{f_b}$$
  여기서 $\hat{v}$는 정규화된 방향이고, $\bar{n}_b$는 주입 전 표현의 평균 노름(mean norm)이며, $\alpha$는 주입 강도를 조절합니다.
• 학습:
  • Verbalizer 미세 조정: LLM은 고품질의 특징-설명 쌍(Neuronpedia에서 가져와 일관성과 구체성을 기준으로 필터링함)을 사용하여 미세 조정됩니다. SAE 방향이 정의된 표현 공간을 보존하기 위해 주입 레이어의 다운스트림 레이어들만 업데이트됩니다.
  • 교차 LLM 전이를 위한 어댑터: 한 LLM에서 학습된 verbalizer를 다른 LLM의 SAE 특징에 적용하기 위해 경량 어댑터(affine adapter)를 학습시킵니다. 이 어댑터는 소스 LLM의 디코더 방향을 타겟 verbalizer의 주입 레이어 공간으로 매핑하며, 라벨이 없는 텍스트로부터 정렬된 은닉 표현을 통해 학습됩니다.
• 추론: 일단 학습되면, verbalizer는 대응하는 디코더 방향을 주입하여 텍스트를 자기회귀적(autoregressively)으로 생성함으로써, 활성화 사례를 검색하거나 처리할 필요 없이 미지의 특징을 설명할 수 있습니다.

주요 기여

1. 해석을 위한 새로운 패러다임: 저자들은 코퍼스 규모의 추론과 사례 검색을 우회하여 SAE 특징을 디코더 방향으로부터 직접 설명하는 경량화된 접근 방식을 제안합니다.
2. 학습 가능한 능력: 이들은 내부 표현을 언어화(verbalize)하는 능력이 학습 가능한 능력임을 입증하였으며, 이는 미지의 특징으로 일반화되고 동일한 표현 공간 내에서 별도로 학습된 SAE 딕셔너리 간에도 전이될 수 있음을 보여줍니다.
3. 교차 LLM 확장성: 경량 어댑터를 통해, 본 프레임워크는 소스 특정의 감독(supervision)이나 verbalizer 백본의 재학습 없이도 다른 LLM의 SAE 특징에 대한 verbalization 능력을 확장할 수 있습니다.
4. 개입 분석(Intervention Analysis): 논문은 verbalizer가 구성적 의미론(여러 방향이 함께 주입될 때)과 부호 관계(방향이 반전될 때)를 포착한다는 경험적 증거를 제공하며, 이는 모델이 단순히 연관성을 암기하는 것이 아니라 특징 공간의 기하학적 구조를 학습하고 있음을 시사합니다.

실험 결과
저자들은 Gemma LLM(1B, 4B, 27B)과 Gemma Scope 2 SAE를 사용하여 SAEVerbalizer를 평가했습니다.

• 성능: Verbalizer는 상당한 참조 일치도(Reference Agreement, RA) 점수(예: 48k 학습 쌍을 가진 27B 모델의 경우 Global Train-Standard 세트에서 52.3%)를 달성하여, 고품질의 인간 큐레이션 참조값과 일치하는 설명을 생성할 수 있음을 입증했습니다.
• 일반화: 모델은 미지의 특징으로 일반화되며, 추가 미세 조정 없이 동일한 LLM에서 학습된 다른 SAE 딕셔너리(width-65k)로 직접 전이됩니다.
• 전이 가능성: 1B 및 4B 모델에서 27B verbalizer로 전달하기 위해 어댑터를 사용할 때, 시스템은 더 큰 모델의 강력한 언어화 능력을 성공적으로 활용하여, 작은 모델에서 학습된 네이티브 verbalizer보다 향상된 성능을 보여주었습니다.
• 강건성: 주입이 충분히 강하다는 전제하에, 시스템은 프롬프트 설계와 주입 강도의 변화에 대해 강건합니다.
• 질적 발견:
  • 구성성(Compositionality): 두 방향을 결합하여 주입하면 두 특징의 의미가 결합된 설명이 생성됩니다.
  • 방향 반전(Direction Reversal): 디코더 방향의 부호를 반전시키면 의미론적으로는 관련이 있지만 변화된 설명(예: "lessons learned" vs "lesson plan")이 생성되어, verbalizer가 특징 공간의 방향성을 포착하고 있음을 보여줍니다.

의의 및 주장
논문은 SAEVerbalizer가 학습된 표현으로부터 특징 설명으로 가는 더 직접적이고 계산 효율적인 경로를 제공한다고 주장합니다. 설명을 활성화 텍스트로부터 추론하는 대신 LLM의 내부 표현 공간에 근거하게 함으로써, 이 방법은 기존 방식의 피상성과 비효율성 문제를 해결합니다.

저자들은 SAEVerbalizer를 모든 해석 방법론을 대체하는 도구가 아니라, 학습 가능하고 부분적으로 재사용 가능한 보완재로 규정합니다. 이는 미지의 특징에 대한 설명을 생성하고 최소한의 오버헤드로 서로 다른 모델 아키텍처 간에 설명할 수 있게 하여, SAE 해석을 수백만 개의 특징으로 확장하는 것을 용이하게 합니다. 이 연구는 내부 표현의 언어화가 전이 및 적응이 가능한 학습 가능한 능력임을 시사하며, LLM의 의미론적 구조를 분석하는 새로운 길을 열어줍니다.

한와계점
저자들은 다음과 같은 몇 가지 한계를 인정합니다:

• 범위: 실험은 현재 Gemma LLM 및 Gemma Scope 2 SAE로 제한되어 있으며, 다른 모델군으로의 일반화 여부는 검증되지 않았습니다.
• 검증: 평가는 품질의 대리 지표 역할을 하는 필터링된 Neuronpedia 설명을 통한 참조 일치도(Reference Agreement)에 의존하며, 이는 절대적인 정답(ground truth)은 아닙니다.
• 감독(Supervision): 현재 파이프라인은 학습 쌍을 만들기 위해 Neuronpedia 데이터를 계산 비용이 많이 드는 방식으로 필터링하는 과정에 의존하지만, 저자들은 다른 감독 소스를 사용할 수 있다고 언급했습니다.
• 실행 변동성: 결과는 무작위 시드에 따른 변동성을 측정하지 않은 단일 실행 결과로 보고되었습니다.