CircuitSteer: Geometrically Aligned Multi-Layer Steering via Sparse Autoencoder Circuits

기술 요약: CircuitSteer

문제 정의

추론 시점의 스티어링(steering)을 통해 대규모 언어 모델(LLM)의 행동을 제어하는 것은 AI 정렬(alignment) 분야의 핵심적인 과제입니다. 대비적 활성화 추가(Contrastive Activation Addition, CAA) 및 표현 공학(Representation Engineering, RepE)과 같은 기존 방식은 일반적으로 집합적 활성화 차이에서 유도된 고정된 단일 레이어 개입에 의존합니다. 이러한 접근 방식은 다음과 같은 두 가지 주요 한계에 직면해 있습니다:

1. 의미적 혼재(Semantic Conflation): 이들은 의미적으로 다양한 입력에 대해 단일 개입 벡터를 적용하며, 이로 인해 고차원 개념의 분산된 특성을 포착하는 데 실패하는 경우가 많습니다.
2. 기하학적 불일치(Geometric Misalignment): 고차원 의미 개념은 네트워크의 여러 레이어에 걸쳐 분포하며 단계적으로 진화합니다. 기하학적 고려 없이 수행되는 다중 레이어 개입은 실패하기 쉬운데, 이는 서로 다른 깊이에서 동일한 개념을 인코딩하는 특징(feature)들이 서로 기하학적으로 정렬되지 않은 디코더 방향(decoder directions)을 가질 수 있기 때문입니다. 이러한 특징들을 정렬 없이 결합하면 파괴적 간섭(destructive interference)이 발생하여, 유창성 붕괴(fluency collapse, 텍스트 품질 저하) 또는 불안정한 행동 변화를 초래합니다.

현재 희소 오토인코더(Sparse Autoencoder, SAE) 기반 방식들은 활성화를 단일 의미적 특징(monosemantic features)으로 분해함으로써 해석 가능성을 개선하지만, 여전히 단일 레이어 개입만으로 충분하다고 가정하며 레이어를 가로지르는 의미 신호의 전파를 간과하는 경우가 많습니다.

방법론: CircuitSteer

CircuitSteer는 SAE를 활용하여 여러 레이어에 걸쳐 분포된 일관된 의미 회로(semantic circuits)를 식별하고 조작하는 훈련이 필요 없는(training-free) 프레임워크입니다. 이 방식은 각 레이어에서 특징을 독립적으로 선택하는 대신, 다음 두 가지 결합 기준을 바탕으로 **특징 흐름 회로(feature flow circuit)**를 구축합니다:

1. 특징 공동 활성화(Feature Co-activation): 동일한 입력에 대해 동시에 활성화되는 특징 쌍 $(l, i)$와 $(l+1, j)$를 식별하여 인과적 영향력을 근사합니다.
2. 기하학적 정렬(Geometric Alignment): 이들 특징의 디코더 방향이 서로 호환(높은 코사인 유사도)되도록 보장합니다. 이는 여러 레이어에 걸쳐 개입이 적용될 때 발생하는 파괴적 간섭을 방지합니다.

본 방법론은 세 단계로 진행됩니다:

• 회로 발견(Circuit Discovery): 타겟 프롬프트($D^+$)와 양질의 프롬프트($D^-$) 사이의 대비 분석을 사용하여, 특징 흐름 그래프의 엣지(edge)에 대한 **대비적 특이도 점수(contrastive specificity score)**를 계산합니다. 타겟 행동을 담당하는 하위 회로를 격리하기 위해 특이도 점수가 높은 엣지들을 유지합니다.
• 벡터 합성(Vector Synthesis): 격리된 하위 회로에 포함된 각 레이어에 대해, 회로 엣지에 참여하는 모든 특징의 디코더 방향을 평균하여 밀집된 스티어링 벡터를 합성합니다. 이를 통해 개입 크기를 회로의 크기와 분리합니다.
• 다지점 개입(Multi-Point Intervention): 추론 과정에서 합성된 벡터들을 관련 있는 모든 레이어에 스칼라 계수 $\lambda$와 함께 동시에 적용합니다. 기하학적 정렬은 개입이 깊이에 따라 일관된 방향 전환을 강화하도록 보장하며, 후속 레이어가 이전 레이어의 섭동(perturbation)을 상쇄하는 것을 방지합니다.

이 프레임워크는 가중치 업데이트나 경사 기반 최 optimization을 요구하지 않으며, 사전 훈련된 SAE(예: Gemma-Scope, Llama-Scope)를 활용하고 순전파 활성화에 대한 대수적 연산을 수행합니다.

주요 기여

• CircuitSteer 프레임워크: 특징 공동 활성화와 디코더 방향의 기하학적 정렬을 통해 행동 특이적 SAE 회로를 식별하는 새로운 훈련 불필요 다중 레이어 스티어링 방식입니다.
• 기하학적 정렬의 필수성: 디코더 방향의 기하학적 정렬이 안정적인 다중 레이어 스티어링을 위한 전제 조건임을 실증적으로 입증했습니다. 정렬되지 않은 특징은 유창성 붕괴를 일으키는 반면, 정렬된 특징은 베이스라인에 근접한 퍼플렉시티(perplexity)를 유지하면서 일관된 행동 감소를 달 Achieve 합니다.
• 포괄적인 벤치마킹: 네 가지 행동 데이터셋(독성, 감정, 아첨/Sycophancy, 거절/Refusal)과 두 종류의 모델 패밀리(Gemma-2-2B 및 Llama-3.1-8B-Instruct)에 대해 8개의 베이스라인(CAA, RepE, ITI, LoReFT 및 SAE 기반 방식 포함)과 비교 평가하였습니다.

결과

모든 모델과 데이터셋에 걸쳐, CircuitSteer는 유일하게 유창성을 보존하는 개입을 일관되게 생성하는 방법입니다:

• 유창성 보존: 경쟁 방식들은 텍스트 품질(높은 퍼플렉시티)을 희생하거나 충분한 행동 감소를 달성하는 데 실패합니다. CircuitSteer는 유의미한 행동 감소를 달성하면서도 정규화된 퍼플렉시티를 1.0 근처로 유지합니다.
• 복잡한 행동: 아첨(sycophancy)이나 거절(refusal)과 같은 어려운 작업에서 단일 레이어 방식(예: CAA)은 완전히 실패하거나 미미한 변화만을 보이는 경우가 많습니다. CircuitSteer는 다른 방식들이 실패하는 Gemma-2-2B에서의 아첨 행동을 성공적으로 감소시켰으며, Llama-3.1-8B-Instruct에서 거절률을 89%에서 0%로 낮추었습니다.
• 강건성: 이 방법은 하이퍼파라미터 재조정 없이 더 큰 모델(Qwen3.5-27B)과 다양한 SAE 패밀리로 효과적으로 확장됩니다.
• 역량 보존: 강력한 스티어링이 핵심 역량을 크게 저하시키지 않습니다. MMLU 및 GSM8K에 대한 정확도는 대체로 온전하게 유지됩니다.

의의 및 주장

본 논문은 다중 레이어 회로 스티어링이 선택된 특징들 간의 기하학적 정렬을 강제함으로써, 정적인 단일 지점 개입보다 엄격하게 더 강력하고 효과적인 행동 제어를 제공한다는 것을 보여준다고 주장합니다.

저자들은 본 연구를 다음과 같은 측면에서 안전한 언어 모델 배포를 위한 원칙적인 단계로 규정합니다:

1. 불투명한 잔차 스트림(residual-stream) 개입에서 벗어나, 특정 행동을 위한 구체적인 하위 회로를 검사하고 조정할 수 있는 투명한 특징 수준의 제어로 이동합니다.
2. 기하학적 고려가 없는 다중 레이어 스티어링의 근본적인 실패 모드(파괴적 간섭 및 유창성 붕탈)를 해결합니다.
3. LLM의 분산된 계산 구조를 존중하는, 훈련이 필요 없는 확장 가능한 행동 제어 메커니즘을 제공합니다.

결론적으로, 개입을 모델 자체의 특징 기하학(feature geometry)에 정렬시키는 것이 AI 정렬의 견고성과 투명성을 모두 달성하는 데 필수적이라고 밝히고 있습니다.