💬 NLP

Persistent Sparse Autoencoders: Learning Feature Timescales in Language Models

이 논문은 표준 SAE의 확장판인 Persistent Sparse Autoencoders를 소개하며, 이는 빠른 국소적 탐지기와 느린 주제 수준의 의미 정보를 모두 포착하기 위해 특징별 지속 계수를 학습함으로써 긴 문맥에 대한 언어 모델의 더욱 효과적인 해석과 모니터링을 가능하게 한다.

원저자: Haoyan Luo, Mateo Espinosa Zarlenga, Mateja Jamnik

게시일 2026-07-21

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Haoyan Luo, Mateo Espinosa Zarlenga, Mateja Jamnik

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 이야기를 쓰고, 질문에 답하고, 문제를 해결하는 거대하고 매우 똑똑한 로봇인 '대규모 언어 모델(LLM)'을 이해하려고 노력하고 있다고 상상해 보세요. 이 로봇은 단순히 한 번에 단어 하나씩만 생각하는 것이 아니라, 문장을 읽을 때 엄청난 양의 정보를 자신의 '두뇌' 속에 담아둡니다. 과학자들은 이 로봇이 무엇을 생각하고 있는지 알아내기 위해 그 두뇌 내부를 들여다보려고 노력해 왔습니다. 그들은 '희소 오토인코더(Sparse Autoencoder, SAE)'라는 도구를 사용합니다. SAE를 로봇의 복잡하고 무질서한 생각을 단순하고 뚜렷한 '스위치' 목록으로 분해하는 첨단 번역기라고 생각해 보세요. 로봇이 '수학'에 대해 생각할 때 특정 수학 스위치가 켜지고, '고양이'에 대해 생각할 때 고양이 스위치가 켜지는 식입니다.

오랫동안 이 번역기들은 이상한 사각지대를 가지고 있었습니다. 이들은 로봇이 읽는 모든 단어를 마치 완전히 새로운 것처럼 취급하며, 그 이전에 나왔던 단어들을 완전히 무시했습니다. 이는 마치 영화를 보면서 방금 본 줄거리는 잊어버린 채, 오직 한 프레임씩만 보고 있는 것과 같았습니다. 이로 인해 이야기의 주제, 등장인물의 기분, 또는 로봇이 몇 단락 동안 논의하고 있는 특정 주제와 같이 일정 기간 지속되는 것들을 이해하기 어려웠습니다. 큰 질문은 이것이었습니다. "우리가 이 번역기들에게 대화의 '분위기'를 기억하도록 가르칠 수 있을까?"

여기서 새로운 연구팀이 '지속적 희소 오토인코더(Persistent Sparse Autoencoders, Persistent SAEs)'라고 부르는 영리한 업그레이드를 가지고 등장합니다. 그들은 기존의 번역기들이 과거를 무시하는 반면, 로봇의 두뇌는 실제로 과거를 기억하고 있다는 사실을 깨달았습니다. 새로운 도구는 단순히 현재의 단어만을 보는 것이 아니라, 각 스위치를 위한 '기억 상태'를 유지하는 법을 배웁니다. 어떤 스위치들은 바로 앞에 있는 단어에만 신경 쓰는 '빠르고' 잘 잊어버리는 성격으로 설계되었고, 다른 스로들은 전체적인 주제를 추적하기 위해 오랫동안 책상 위에 붙어 있는 포스트잇처럼 '느리고' 지속적인 성격을 가집니다.

연구진은 이 새로운 방식이 매우 훌륭하게 작동한다는 것을 발견했습니다. 이 방식은 개별 단어를 설명하는 능력은 기존 도구만큼 잘 유지하면서도, 큰 그림을 붙잡고 있는 특별한 '느린 스위치' 그룹을 만들어냅데 됩니다. 테스트 결과, 이 느린 스위치들은 주제를 추적하는 데 매우 뛰어나서, 주제가 무엇인지 알려주지 않아도 로봇의 내부 상태만을 보고 역사 수업과 수학 문제의 차이를 구별해 낼 수 있었습니다.

아마도 가장 흥激한 점은, 그들이 '프롬프트 인젝션(prompt injection)'이라는 안전 시나리오에서 이를 테스트했다는 것입니다. 누군가 긴 이메일 안에 비밀 지시 사항을 숨겨서 로봇을 나쁜 행동을 하도록 속이려 한다고 가정해 봅시다. 로봇은 이메일을 읽을 수도 있고, 잠시 동안 그 비밀 지시를 무시하다가, 수백 단어가 지난 후에야 그 지시에 따라 행동할 수도 있습니다. 기존의 도구들은 이메일을 지나치는 즉시 비밀 지시를 잊어버릴 것입니다. 하지만 새로운 '느린' 스위치들은 경고 신호를 계속 유지하여, 위험이 지나간 후에도 경보가 계속 울리도록 하는 지속적인 알람 역할을 했습니다. 이는 번역기에게 얼마나 오래 기억할지를 학습하는 능력을 부여함으로써, 우리가 AI의 장기적인 생각을 마침-내 이해하고 모니터링하여, 매우 긴 대화 속에서도 AI를 안전하고 예측 가능하게 유지할 수 있다는 것을 시사합니다.

기술 요약: 지속적 희소 오토인코더 (Persistent Sparse Autoencoders)

1. 문제 정의

표준 희소 오토인코더(Sparse Autoencoders, SAE)는 밀집된 은닉 상태(hidden states)를 희소하고 인간이 해석 가능한 특징(features)으로 분해함으로써 대규모 언어 모델(LLM)을 해석하는 주요 도구가 되었습니다. 그러나 표준 SAE는 비시간적(atemporal) 정식화 하에서 작동합니다. 즉, 각 토큰의 은박 상태를 독립적으로 인코딩합니다. 이는 LLM의 은닉 상태가 본질적으로 이전 문맥을 통합함에도 불구하고, 표준 SAE가 시퀀스 전반에 걸쳐 지속되는 정보를 명시적으로 표현하지 못한다는 한계를 가집니다.

이러한 한계는 모델의 "의미론적 상태(semantic state)"—즉, 토큰 전반에 걸쳐 유지되는 주제 수준의 문맥, 스타일 또는 작업 상태—를 파악하는 것을 방해합니다. 기존의 SAE 시간적 확장 방식들은 특정 특징 부분 집합을 시간적 정보를 전달하도록 미리 할당하거나 고정된 분할을 사용하는 방식으로 이를 해결하려 시도했습니다. 이러한 접근 방식은 그러한 시간적 역할이 데이터와 재구성 목적 함수로부터 직접적으로 발현될 수 있는지에 대한 증거가 부족합니다. 또한, 표준 SAE 특징들이 재구성하는 은닉 상태로부터 시간적 지속성을 암묵적으로 상속받는지, 만약 그렇다면 이를 어떻게 명시적으로 모델링할 수 있는지도 불분 clear합니다.

2. 방법론: 지속적 희소 오토인코더 (Persistent Sparse Autoencoders)

저자들은 각 특징 $j$ 에 대한 지속 계수(persistence coefficient) $\lambda_j$ 를 학습하는 방식으로 표준 SAE를 확장한 프레임워크인 **지속적 SAE(Persistent SAEs)**를 소개합니다.

핵심 메커니즘

이 모델은 희소 증거(sparse evidence)(토큰별 활성화)와 **지속적 상태(persistent state)**를 분리합니다:

증거 생성: 인코더는 각 토큰 $t$ 에 대한 새로운 증거를 나타내는 토큰별 비음수 희소 활성화 $a_t \in \mathbb{R}^m_{\ge 0}$ 를 생성합니다.
상태 통합: 각 특징은 감쇠하는 상태 변수 $h_t \in \mathbb{R}^m_{\ge 0}$ $h_{t} \in R_{\geq 0}^{m}$ 를 유지합니다. 상태는 다음과 같이 재귀적으로 업데이트됩니다:
$h^{(j)}_t = \lambda_j h^{(j)}_{t-1} + (1 - \lambda_j) a^{(j)}_t$
- $\lambda_j$ (지속 계수): 재구성 과정에서 학습됩니다.
  - 낮은 $\lambda_j$ (빠른 특징): 상태가 빠르게 감쇠하며, 표준 토큰별 탐지기처럼 동작합니다.
  - 높은 $\lambda_j$ (느린 특징): 상태가 여러 토큰에 걸쳐 증거를 유지하며, 의미론적 문맥을 추적하기 위해 희소 업데이트를 통합합니다.
- 계수 $(1-\lambda_j)$ 는 무한한 축적을 방지하여 상태 크기를 안정적으로 유지합니다.
재구성: 디코더는 오직 지속적 상태 $h_t$ 만을 사용하여 은닉 상태 $x_t$ 를 재구성합니다:
$\hat{x}_t = W_{dec} h_t + b_{dec}$
이 재귀 구조는 대각(diagonal) 형태를 띠어, 특징 수준의 귀속성(attribution)이 보존되도록 합니다.

학습 목적 함수

모델은 LLM의 은닉 상태와 SAE 출력 사이의 재구성 오차를 최소화하도록 학습됩니다. 이 목적 함수는 특징이 적절한 타임스케일(timescale)을 학습하도록 자연스럽게 유도합니다. 즉, 어떤 특징의 상태를 앞으로 전달하는 것이 미래 토큰의 재구성을 개선한다면 최적화 과정은 더 높은 $\lambda_j$ 를 선호하게 되며, 그렇지 않다면 더 낮은 $\lambda_j$ 를 선호하게 됩니다. 사전 정의된 특징 분할이나 외부의 시간적 목적 함수는 사용되지 않습니다.

3. 주요 기여

새로운 아키텍처: 사전 정의된 분할 없이 재구성을 통해 특징별 지속 계수를 학습함으로써, 로컬 증거와 지속적인 의미론적 상태를 분리하는 Persistent SAE를 도입했습니다.
지속성의 경험적 검증: 표준 SAE 특징들이 은닉 상태로부터 시간적 구조를 암묵적으로 상속받는다는 점(자연스러운 문서에서는 셔플된 제어 집단보다 신호가 더 오래 지속됨)을 입증하여, 타임스케일의 명시적 모델링을 정당화했습니다.
타임스케일의 분리: Persistent SAE가 다음과 같은 스펙트럼 내에서 특징을 자연스럽게 조직함을 보여주었습니다:
- 빠른 특징: 토큰별 세부 사항에 반응하는 국소적으로 해석 가능한 탐지기.
- 느른 특징: 주제 수준의 의미론적 상태를 추적하기 위해 증거를 통합하는 압축된 부분 집합.
모니터링 적용: 느린 특징이 토큰별 특징이 실패하는 긴 문맥에서도 프롬프트 주입(prompt injection)의 탐지 신호를 보존하며, 모델의 판단을 조종하는 데 있어 인과적으로 효과적임을 보여주는 사례 연구를 제시했습니다.

4. 실험 결과

재구성 및 특징 특성

경쟁력 있는 품질: Persistent SAE는 Pythia-160M 및 Gemma-2-2B에 대해 강력한 토큰별 베이스라인(BatchTopK, Matryoshka)과 대등한 재구성 품질(FVE 및 코사인 유사도)을 달성했습니다.
타임스케일 분포: 학습된 $\lambda_j$ 값은 넓은 범위를 포괄합니다. 대부분의 특징은 빠르며(낮은 $\lambda$ ), 매우 지속적인(높은 $\lambda$ ) 특징은 소수 존재합니다.
해석 가능성:
- 빠른 특징은 국소적으로 해석 가능하며, 특정 부분 문자열과 같은 압축된 어휘적 또는 철자 패턴에 반응합니다.
- 느린 특징은 단독으로는 해석하기 어렵지만, 결합하여 볼 때 일관된 클러스터를 형성합니다.
의미론적 클러스터링: MMLU 주제 프로빙 작업에서, 느린 특징(상위 1% $\lambda$ 기준)은 t-SNE 시각화에서 주제별로 구별되는 클러스터를 형성하며, 이는 원본 은닉 상태나 베이스라인 SAE보다 우수한 성능을 보입니다.
비지도 선택: $\lambda_j$ 에 따라 내림차순으로 특징을 정렬하면, 감독된 오라클(oracle)에 근접하는 높은 수준의 주제 프로빙 AUC를 달성하면서도 매우 압축된 의미 상태를 선택할 수 있습니다.

사례 연구: 프롬프트 주입 모니터링

저자들은 간접 프롬프트 주입(양성 텍스트에 삽입된 악성 지시문)의 신호를 긴 문맥(최대 350 토큰 후까지) 동안 탐지하고 유지하는 능력을 평가했습니다.

국소 탐지: 빠른 특징과 표준 SAE는 주입이 발생하는 순간에는 효과적으로 주입을 탐지합니다(거리 $d=0$ 에서 높은 정확도).
장기 문맥 유지: 문맥이 주입 구간을 벗어나면 빠른 특징은 예측력을 잃습니다. 반면, 느린 특징은 주입 신호를 유지하여 거리 $d=350$ 에서도 높은 정확도를 유지합니다.
인과적 효과: 개입 실험 결과, 느린 특징 방향으로 모델을 스티어링(steering)하면 주입 텍스트가 지나간 후에도 모니터의 판단을 주입을 플래그(flag)하는 쪽으로 일관되게 변화시켰습니다. 빠른 특징은 이 거리에서 거의 제로에 가깝거나 음의 인과 효과를 보였습니다.

5. 의의 및 주장

본 논문은 Persistent SAE가 특징의 타임스케일을 명시적으로 모델링함으로써 LLM을 해석하고 모니터링하는 새로운 메커니즘을 제공한다고 주장합니다.

의미론적 상태 표현: 이 연구는 LLM이 토큰 전반에 걸쳐 "압축된 의미론적 상태"를 유지하며, 이를 감독 없이도 느린 SAE 특징을 통해 추출하고 추적할 수 있음을 시사합니다.
이중 역할 특징: 빠른 특징은 국소적 탐지기로, 느린 특징은 지속적인 의미론적 추적기로 기능하는 기능적 분리를 확립했습니다.
모니터링 유용성: 느린 특징이 긴 문맥에서도 인과적 신호를 보존하는 능력은, 프롬프트 주입의 지연된 효과를 탐지하거나 장기적 과업에서 모델의 행동을 제어하는 등 안전 모니터링 분야에서 유망한 도구임을 시사합니다.

인정된 한계점:
저자들은 현재의 대각 재귀 구조가 특징당 고정된 단일 지속 계수를 가정하며, 특징 간의 상호작용이나 명시적인 리셋(reset)을 모델링할 수 없다고 언급했습니다. 또한, 프롬프트 주입 연구는 외부 모니터를 사용했습니다. 개입이 모니터의 판단에는 영향을 미치지만, 본 논문은 이러한 개입이 원래의 에이전트 모델의 행동 자체에 영향을 미친다고 주장하지는 않습니다.