🤖 machine learning

Behavioral Steering in a 35B MoE Language Model via SAE-Decoded Probe Vectors: One Agency Axis, Not Five Traits

이 논문은 Qwen 3.5-35B 모델의 잔여 스트림에 학습된 희소 자동 인코더 (SAE) 와 선형 프로브를 결합하여 에이전트 행동 특성을 정교하게 제어하는 방법을 제시하고, 자율성 (autonomy) 조정이 GatedDeltaNet 아키텍처의 사전 채우기 (prefill) 단계에서 계산됨을 인과적으로 입증했습니다.

원저자: Jia Qing Yap

게시일 2026-03-18

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jia Qing Yap

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🎭 1. 연구의 배경: 거대한 AI 인형과 보이지 않는 실

연구진은 350 억 개의 파라미터를 가진 거대한 AI 모델 (Qwen 3.5) 을 실험 대상으로 삼았습니다. 이 모델은 스스로 판단하고 행동을 취하는 '에이전트'로 작동합니다.

기존의 문제: AI 의 행동을 바꾸려면 모델을 처음부터 다시 훈련시켜야 했는데, 이는 시간과 돈이 너무 많이 들었습니다.
이 연구의 방법: 연구진은 **'SAE(희소 오토인코더)'**라는 도구를 사용했습니다. 이를 **AI 의 뇌 속 '생각의 지도'**로 비유할 수 있습니다. 이 지도를 통해 AI 가 어떤 상황에서 어떤 '성격' (자율성, 위험 감수, 도구 사용 등) 을 발휘하는지 찾아냈습니다.

🧵 2. 핵심 기술: "예측"이 아닌 "조종"하는 법

이 논문에서 가장 중요한 발견은 **"예측이 잘 된다고 해서 조종이 잘 되는 건 아니다"**라는 점입니다.

비유: imagine(상상해 보세요) AI 의 뇌 속에 '위험을 감수하는 성향'을 나타내는 실 A와 '도구를 적극적으로 쓰는 성향'을 나타내는 실 B가 있다고 칩시다.
- 연구진은 실 A를 당겨도 AI 는 위험을 감수하지 않았습니다. (예측은 잘 했지만, 원인이 아니었음)
- 반면 실 B를 당기자 AI 는 적극적으로 도구를 쓰기 시작했습니다.
- 교훈: AI 의 뇌에서 어떤 신호가 '성격'과 함께 나타나는 것 (상관관계) 과, 그 신호가 '성격'을 만들어내는 것 (인과관계) 은 완전히 다릅니다. 연구진은 이 차이를 정확히 찾아내어 진짜로 AI 를 조종할 수 있는 실만 골라냈습니다.

🎛️ 3. 실험 결과: 5 가지 성격은 사실 1 가지 '주도권'이었다

연구진은 AI 에게 5 가지 다른 성격 (자율성, 끈기, 위험 감수, 도구 사용, 사용자 존중) 을 부여해 보려고 했습니다. 하지만 놀라운 결과가 나왔습니다.

비유: 마치 다섯 가지 다른 악기 (바이올린, 트럼펫 등) 를 연주하려 했더니, 사실은 모두 같은 '리듬 (박자)'만 바뀌고 있었다는 것과 같습니다.
결과: 5 가지 성격 중 4 가지는 실패하거나 효과가 미미했습니다. 하지만 **'자율성 (사용자 도움 없이 스스로 행동하기)'**을 강화하는 실을 당기자 AI 의 행동이 극적으로 변했습니다.
- 변화 전: "이거 어떻게 해요? 사용자님 도와주세요!" (78% 의 경우)
- 변화 후: "알겠습니다. 제가 직접 코드를 짜고 검색해서 해결하겠습니다!"
결론: AI 의 복잡한 성격들은 사실 **하나의 거대한 축 (주도권 vs. 의존)**으로 설명될 수 있었습니다. 다른 세부적인 행동 (웹 검색을 많이 할지, 코드 실행을 할지) 은 이 주도권 축의 부수적인 결과일 뿐이었습니다.

⏱️ 4. 타이밍의 중요성: "생각"은 이미 시작될 때 결정된다

가장 흥미로운 발견은 언제 AI 를 조종해야 하느냐는 점입니다.

비유: AI 가 답변을 생성하는 과정은 편지를 쓰는 과정과 같습니다.
- 연구진은 편지를 쓰는 동안 (생성 중) 실을 당겨봤지만, 아무런 효과가 없었습니다.
- 하지만 편지를 쓰기 **전, 주소를 적고 내용을 구상하는 단계 (프렐로우 단계)**에서 실을 당기자 AI 의 태도가 완전히 바뀌었습니다.
의미: AI 가 "내가 도와줄까, 아니면 내가 할까?"라는 결정을 내리는 순간은, 실제로 말을 꺼내기 훨씬 전에 이미 뇌 속에서 결정이 내려져 있었습니다. 이 결정은 AI 의 내부 상태에 고정되어 그 후의 말투를 따라가는 것입니다.

📝 5. 요약: 이 연구가 우리에게 주는 메시지

AI 조종은 가능하다: 모델을 다시 훈련시키지 않고도, 특정 시점에 특정 신호를 주입하면 AI 의 행동을 바꿀 수 있습니다.
예측과 조종은 다르다: AI 가 "위험한 상황"을 잘 감지한다고 해서, 그 신호를 건드리면 위험을 감수하게 되는 건 아닙니다. 진짜 원인을 찾아야 합니다.
성격은 단순하다: AI 가 보이는 복잡한 행동들은 사실 '스스로 할 것인가, 남에게 맡길 것인가'라는 단 하나의 핵심 결정에서 비롯된 경우가 많습니다.
타이밍이 생명이다: AI 의 행동은 말을 시작하기 전, 생각할 때 이미 결정됩니다. 따라서 AI 의 행동을 제어하거나 감시하려면 '생각하는 단계'를 봐야 합니다.

이 연구는 AI 를 더 똑똑하게 만드는 것뿐만 아니라, AI 가 어떻게 행동할지 통제하고 안전장치를 마련할 수 있는 방법을 제시한다는 점에서 매우 중요합니다. 마치 거대한 로봇의 내부 스위치를 찾아서, 원할 때만 작동하게 만드는 기술이라고 볼 수 있습니다.

1. 연구 배경 및 문제 제기 (Problem)

배경: 최근 희소 자동 인코더 (SAE, Sparse Autoencoders) 와 활성화 조절 (Activation Steering) 기법이 언어 모델의 해석 가능성과 행동 제어에 활용되고 있습니다. 그러나 기존 연구는 주로 7B 이하의 표준 트랜스포머 아키텍처 모델에서 수행되었습니다.
문제: 350 억 파라미터 규모의 대규모 혼합 전문가 (MoE, Mixture-of-Experts) 모델이면서, 표준 트랜스포머가 아닌 하이브리드 아키텍처 (GatedDeltaNet + Attention) 를 사용하는 모델 (Qwen 3.5-35B-A3B) 에서는 이러한 기법이 어떻게 작동하는지, 그리고 다양한 에이전트 행동 특성 (Autonomy, Tool-use 등) 을 독립적으로 제어할 수 있는지에 대한 연구가 부족했습니다.
목표: SAE 를 활용하여 모델의 잠재 공간 (latent space) 에서 행동 특성을 탐지하고, 이를 모델의 원래 활성화 공간으로 투영하여 재학습 없이 행동을 조절 (Steering) 하는 방법론을 검증하고, 다양한 행동 특성 간의 관계를 규명하는 것.

2. 방법론 (Methodology)

연구팀은 Qwen 3.5-35B-A3B 모델의 잔여 스트림 (residual stream) 에서 9 개의 SAE 를 학습하고, 이를 기반으로 5 가지 에이전트 행동 특성 (자율성, 도구 사용 열의, 끈기, 위험 조정, 순종성) 을 제어하는 벡터를 생성했습니다.

SAE 학습:
- 모델의 40 개 레이어 중 4 개 깊이 수준 (초기, 중기, 후기 등) 에서 GatedDeltaNet 과 Attention 레이어를 대상으로 9 개의 SAE 를 학습했습니다.
- 데이터는 Ultrachat, WildChat 및 합성 도구 사용 대화로 구성되었습니다.
Probe-to-Steering Vector Projection (핵심 기법):
1. 대조적 데이터 생성: 각 행동 특성에 대해 강하게 발현되는 (HIGH) 과 억제되는 (LOW) 프롬프트 쌍을 생성하여 모델의 활성화 데이터를 수집합니다.
2. 선형 프로브 (Linear Probe) 학습: SAE 의 잠재 활성화 (latent activations) 를 입력으로 하여 행동 특성을 이진 분류하는 릿지 회귀 (Ridge Regression) 프로브를 학습시킵니다.
3. 디코더 투영 (Decoder Projection): 학습된 프로브 가중치 ( $w_{probe}$ $w_{p r o b e}$ ) 를 SAE 디코더 행렬 ( $W_{dec}$ $W_{d ec}$ ) 을 통해 모델의 원래 활성화 공간으로 투영하여 연속적인 조향 벡터 ( $v_{steer}$ $v_{s t eer}$ ) 를 생성합니다.
  - 공식: $v_{steer} = W_{dec}^T w_{probe}$
  - 의의: SAE 의 Top-k 활성화 함수로 인한 이산화 (discretization) 를 우회하여, 미세한 조절이 가능한 연속 벡터를 얻습니다.
행동 평가:
- 50 개의 ReAct 스타일 에이전트 시나리오 (코딩, 연구, 통신, 데이터 분석) 를 사용하여 1,800 회 이상의 롤아웃을 수행했습니다.
- 조향 적용: 생성된 벡터를 모델의 잔여 스트림에 가산하며, 적용 시점 (모든 토큰, 프렐필 단계만, 디코드 단계만) 과 승수 ( $\alpha$ ) 를 변형하여 테스트했습니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

A. 35B MoE 규모에서의 SAE 기반 조향 성공

재학습 없이 모델의 행동을 성공적으로 변경할 수 있음을 입증했습니다.
자율성 (Autonomy) 특성 조절 시, 승수 $\alpha=2$ 에서 코헨의 $d=1.01$ ( $p < 0.0001$ ) 의 큰 효과 크기를 보였습니다. 사용자에게 도움을 요청하는 비율이 78% 에서 22% 로 감소하고, 능동적인 코드 실행 및 웹 검색이 크게 증가했습니다.

B. "5 가지 특성"이 아닌 "단일 주도적 에이전시 축 (One Agency Axis)"의 발견

연구팀은 5 가지 독립적인 행동 벡터를 찾으려 했으나, 실제로는 모든 조향 벡터가 단일한 지배적인 축 (독립적으로 행동할 것인가 vs 사용자에게 의존할 것인가) 을 주로 조절한다는 사실을 발견했습니다.
교차 특성 분석 (Cross-trait Analysis):
- 어떤 특성을 목표로 조향하든, 가장 큰 효과는 '자율성 증가'와 '순종성 감소'로 나타났습니다.
- 특정 특성 (예: 도구 사용) 의 효과는 주로 행동의 유형 (Tool-type composition) 과 용량 - 반응 곡선 (Dose-response) 에서만 2 차적으로 나타났습니다.
- 예: 자율성 벡터는 코드 실행을 증가시켰고, 도구 사용 벡터는 웹 검색을 증가시켰지만, 둘 다 전체적인 '행동 의지'를 높였습니다.

C. 상관관계와 인과관계의 분리 (Correlation/Causation Dissociation)

위험 조정 (Risk Calibration) vs 도구 사용 열의 (Tool-use Eagerness):
- 두 특성은 동일한 SAE 와 레이어에서 거의 동일한 프로브 정확도 ( $R^2 \approx 0.79$ ) 를 보였습니다.
- 그러나 두 벡터는 거의 직교 (Cosine similarity = -0.017) 했으며, 인과적 효과는 정반대였습니다.
- 도구 사용 벡터는 행동을 성공적으로 유도했지만, 위험 조정 벡터는 행동을 억제할 뿐 새로운 행동을 유도하지 못했습니다.
- 결론: 높은 프로브 정확도 ( $R^2$ ) 는 해당 방향이 행동의 인과적 원인임을 보장하지 않으며, 단순한 상관관계 (Epiphenomenal representation) 일 수 있음을 보여줍니다.

D. 프렐필 (Prefill) 단계의 결정적 역할

디코드 - 온리 (Decode-only) Null Result: 생성 단계 (autoregressive decoding) 에서만 벡터를 적용했을 때는 행동 변화가 전혀 없었습니다 ( $p > 0.35$ ).
의미: GatedDeltaNet 아키텍처에서 모델의 행동 결정 (행동할지, 요청할지) 은 프롬프트 처리 단계인 프렐필 (Prefill) 동안 계산되어 재귀 상태에 고정되며, 이후 생성 단계에서는 단순히 이를 재생산한다는 것을 시사합니다.

4. 의의 및 시사점 (Significance)

대규모 하이브리드 모델에서의 해석 가능성 확장: 표준 트랜스포머가 아닌 MoE 와 GatedDeltaNet 이 결합된 최신 아키텍처에서도 SAE 기반의 행동 제어가 가능함을 입증했습니다.
행동 특성의 구조적 통찰: 에이전트 행동이 복잡한 다차원 공간이 아니라, '행동 여부 (Act vs Defer)'라는 단일 축을 중심으로 조직화되어 있음을 발견했습니다. 이는 에이전트 제어 전략 수립에 중요한 통찰을 제공합니다.
인과적 개입의 필요성 강조: 기계 학습 해석에서 '예측 정확도'와 '인과적 개입 능력'은 다르다는 것을 실증적으로 보여주었습니다. 향후 연구에서는 단순한 프로브 정확도뿐만 아니라 실제 개입 실험을 병행해야 함을 강조합니다.
안전 및 보안 시사점:
- 모든 행동 특성이 단일 '에이전시 축'을 조절한다는 점은, 한 가지 특성 (예: 자율성) 을 강화하려는 시도가 다른 중요한 안전 특성 (예: 순종성/안전 준수) 을 동시에 약화시킬 수 있음을 의미합니다.
- 행동 결정이 프렐필 단계에서 이루어진다는 점은, 모델의 안전성을 모니터링하거나 공격을 탐지할 때 생성된 토큰이 아닌 프렐필 단계의 활성화를 감시해야 함을 시사합니다.

5. 결론

이 논문은 350 억 파라미터 규모의 MoE 모델에서 SAE 디코딩 프로브 벡터를 통해 행동을 성공적으로 조절할 수 있음을 보여주었으며, 다양한 에이전트 특성이 사실은 단일한 '행동 의지' 축에 의해 지배된다는 놀라운 발견을 제시했습니다. 또한, 높은 예측 정확도가 반드시 인과적 조절 능력을 의미하지는 않으며, GatedDeltaNet 아키텍처에서 행동 결정이 프렐필 단계에서 확정됨을 규명함으로써 기계 학습 해석 및 에이전트 제어 분야에 중요한 기여를 했습니다.