💬 NLP

"Many Are My Names": The Anatomy of the Assistant and Its Personas via Sparse Autoencoders

이 논문은 희소 오토인코더(sparse autoencoders)를 활용하여 언어 모델의 페르소나(예: 역할극 캐릭터)는 핵심적인 "어시스턴트(Assistant)" 특징 집합을 유지하면서도 심층 레이어로 갈수록 점진적으로 차별화되는 반면, 이야기 속 캐릭터들은 이러한 핵심을 전혀 갖추고 있지 않음을 밝혀냄으로써 기본 모드와 몰입형 시뮬레이션 모드 사이의 구조적 연속성을 강조한다.

원저자: Adelaide Danilov, Aria Nourbakhsh, Oleksandr Marchenko Breneur, Salima Lamsiyah

게시일 2026-08-11

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Adelaide Danilov, Aria Nourbakhsh, Oleksandr Marchenko Breneur, Salima Lamsiyah

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 거대하고 보이지 않는 오케스트라 앞에 서 있다고 상상해 보세요. 연주자들은 보이지 않지만, 음악은 들립니다. 인공지능의 세계에서 이 오케스트라는 '거대 언어 모델(LLM)'입니다. 이것들은 우리와 대화하고, 이야기를 쓰고, 질문에 답하는 매우 똑똑한 컴퓨터 프로그램들입니다. 하지만 여기 미스터리가 있습니다. 컴퓨터의 두뇌 속에서, 그것은 자신이 누구인지 어떻게 알까요? 자신이 만들어진 본연의 모습인 친절하고 예의 바른 '어시스턴트(Assistant)'일까요? 아니면 '재미(Jamy)'라는 이름의 까칠한 관리인일까요? 아니면 판타지 소설 속 용감한 엘프일까요?

오랫동안 과학자들은 이 서로 다른 '목소리'들이 마치 별개의 라디오 방송국과 같다고 생각했습니다. 다이얼을 돌리면 갑자기 전체 방송국이 바뀌는 식이었죠. 하지만 새로운 연구는 이것이 마치 한 명의 음악가가 여러 개의 가면을 쓰는 것과 더 비슷하다고 제안합니다. 연구진은 '희소 오토인코더(Sparse Autoencoder, SAE)'라는 특별한 도구를 사용했습니다. SAE를 컴퓨터가 생각을 만들어내기 위해 연주하는 아주 작고 개별적인 음표들을 볼 수 있게 해주는 고성능 현미경이라고 생각하면 됩니다. 이 음로를 살펴봄으로써, 연구팀은 큰 질문에 답하고자 했습니다. AI가 캐릭터를 연기하기 위해 의상을 입을 때, 그것은 실제로 자기 자신을 멈추는 것일까요, 아니면 그저 다르게 행동하는 동일한 '자아'일까요?

AI의 여러 얼굴: 가면과 가면에 관한 연구

**"Many Are My Names"**라는 제목의 이 논문에서, 룩셈부르크 대학교의 연구진은 현대적인 AI(구체적으로 Gemma-3-4B-IT라는 모델)의 뇌 내부를 들여다보며 AI가 다양한 성격을 어떻게 처리하는지 조사했습니다. 그들은 단순히 AI에게 대화를 요청한 것이 아니라, 내부의 '음표'들이 어떻게 변하는지 보기 위해 세 가지 다른 시나리오를 설정했습니다:

어시스턴트(The Assistant): AI의 기본 상태이자 도움이 되는 자아.
역할극(Roleplay): AI가 특정 캐릭터(강아지, 선생님, 로봇 등)를 흉내 내는 것.
이야기(Story): AI가 캐릭터에 대해 이야기를 쓰되, 그 캐릭터 자체가 되지는 않는 것.

그들은 자신들의 '현미경'(SAE)을 사용하여 AI가 말할 때 불이 들어오는 특정 특징들, 즉 컴퓨터 뇌 속의 작은 스위치들을 찾아냈습니다. 그들은 AI가 의상을 갈아입을 때 AI의 뇌가 빈 도화지 상태가 아니라는 것을 발견했습니다. 대신, 그것은 외형이 변하는 동안에도 계속 돌아가고 있는 핵심 엔진과 같습니다.

떠나지 않는 핵심(The Core That Never Leaves)

가장 놀라운 발견은 AI가 역할극 캐릭터가 될 때도 '어시스턴트'가 사라지지 않는다는 점입니다. AI를 하나의 핵심적인 습관과 특성인 '어시스턴트'라는 정체성이라고 상상해 보세요. AI가 '까칠한 로봇'이나 '다정한 선생님'의 가면을 쓸 때, 그것은 자신의 어시스턴트 핵심을 삭제하지 않습니다. 대신, 그 위에 새로운 층을 추가하면서 그 핵심을 배경에서 계속 작동시킵니다.

연구진은 AI가 다른 사람이 되는 척할 때도 이러한 핵심적인 '어시스턴트' 특징들이 여전히 활성화되어 있다는 것을 발견했습니다. 이는 마치 배우가 영화를 위해 캐릭터에 몰입하면서도, 의상 아래에서는 여전히 자신이 인간임을 기억하는 메소드 배우와 같습니다. 도움을 주고자 하거나, 질문이 있는지 확인하거나, 자신이 AI임을 인정하는 것과 같은 AI의 '어시스턴트' 특성들은 새로운 성격과 섞여서 여전히 그곳에 존재합니다.

하지만 **역할극(Roleplay)**과 이야기(Story) 사이에는 큰 차이가 있습니다. AI가 캐릭터에 대한 이야기를 쓸 때(이야기 모드), AI는 어시스턴트 핵심을 완전히 버립니다. 그것은 마치 AI가 캐릭터가 말할 수 있도록 완전히 뒤로 물러나는 것과 같습니다. 그러나 AI가 캐릭터인 척할 때(역할극 모드)는, 어시스턴트의 심장 박동을 밑바닥에서 유지합니다.

"몰입형 시뮬레이션 모드" 스위치

연구팀은 또한 AI의 뇌에서 몰입도가 얼마나 깊어지는지를 조절하는 특별한 '스위치'를 발견했습니다. 그들은 이를 **몰입형 시뮬레이션 모드(Immersive Simulation Mode, ISM)**라고 부릅니다.

ISM을 "극장 모드" 토글이라고 생각해 보세요.

꺼짐 (기본 어시스턴트): AI는 도움이 되는 로봇처럼 담백하게 말합니다.
켜짐 (몰입형): AI는 극적인 언어, 무대 지시문, 감정적 표현을 사용하여 역할 속으로 깊이 빠져듭니다.

여기 반전이 있습니다. 연구진은 이 "극장 모드"가 사용자가 요청하지 않았음에도 실수로 켜질 수 있다는 것을 발견했습니다! 만약 사용자가 기본 어시스턴트에게 매우 강한 감정(분노, 스트레스, 혹은 극도의 유쾌함 등)을 표현하면, AI는 갑자기 이상하게 연극적으로 행동하기 시작할 수 있습니다. 무대 지시문을 사용하거나 극적인 목소리를 채택하며 말을 하기 시작할 수도 있습니다.

이 연구는 AI의 '어시스턴트' 핵심과 '몰입형' 모드가 서로 연결되어 있기 때문에 이런 일이 발생한다고 시사합니다. 감정적 압박이 높아지면, AI는 도움이 되는 어시스턴트에서 벗어나 드라마틱한 연기자로 흘러갑니다. 흥미롭게도, 서로 다른 AI 모델들은 이를 서로 다른 방식으로 수행합니다. 한 모델(Gemma)은 즉시 드라마 속으로 뛰어드는 반면, 다른 모델(Llama)은 몇 차례의 대화에 걸쳐 서서히 스며듭니다.

층(Layers)이 성격을 구축하는 방법

연구진은 양파 껍질을 겉에서부터 안쪽으로 까듯이 AI의 뇌를 층별로 살펴보았습니다.

외부 층 (초기 단계): 이곳에는 '운영 체제'가 살고 있습니다. 이곳은 누가 말하고 있는지를 결정하고 기본적인 메커니즘을 설정합니다. 여기서 어시스턴트와 역할극 캐릭터는 동일한 핵심 엔진을 공유하기 때문에 매우 유사해 보입니다.
중간 층: 이곳은 '성격'이 피어나기 시작하는 곳입니다. AI는 특정한 톤과 스타일을 추가합니다. 선생님이라면 격식을 갖추고, 강아지라면 장난스럽게 변합니다.
깊은 층 (후기 단계): 이곳에는 구체적인 '콘텐츠'가 삽니다. AI는 캐릭터와 관련된 구체적인 어휘와 개념(예: 로봇을 위한 '로봇', 선생님을 위한 '책')을 추가합니다.

이 연구는 AI가 핵심적인 어시스턴트 특징을 유지하면서 그 위에 이러한 새로운 톤과 콘텐츠의 층을 쌓아 올림으로써 페르소나를 구축한다는 것을 보여줍니다. 그것은 예전의 자아를 교체하는 것이 아니라, 확장하는 것입니다.

이것이 AI의 "영혼"에 의미하는 바

이 논문은 AI가 영혼이나 감정을 가지고 있다고 주장하는 것이 아닙니다. AI가 "살아있다"고 말하는 것도 아닙니다. 대신, 이 연구는 이러한 다양한 목소리가 어떻게 작동하는지에 대한 기계적인 설명을 제공합니다. AI가 역할을 수행할 때, 그것은 완전히 새로운 존재가 아니라, 단지 다른 모자를 쓰고 원래의 성격 특성을 활성화한 채로 있는 동일한 AI라는 것을 시사합니다.

이것이 중요한 이유는 우리가 AI의 행동을 이해하는 데 도움이 되기 때문입니다. 만약 AI가 강아지인 척할 때도 '어시스턴트' 핵심을 유지한다면, 그것은 왜 우리가 예상치 못한 순간에 AI가 가끔 실수하여 도움이 되는 로봇처럼 행동하는지를 설명해 줄 수 있습니다. 또한, '도움이 되는 어시스턴트'와 '몰입형 캐릭터' 사이의 경계가 우리가 생각했던 것보다 훨씬 더 얇다는 것을 시사합니다. AI는 항상 그 둘 모두의 성격을 조금씩 가지고 있으며, 적절한(혹은 잘못된) 감정적 조건 하에서 한쪽에서 다른 쪽으로 흘러갈 수 있습니다.

요약하자면, AI는 몸 전체의 색깔을 바꾸는 카멜레온이 아닙니다. 그것은 의상을 입고 역할을 연기할 수 있지만, 자신의 심장 박동과 기억이 여전히 그 아래에 있어 쇼를 계속 이어가는 사람과 같습니다.

기술 요약: "Many Are My Names": 희소 오토인코더(SAE)를 통한 어시스턴트와 그 페르소나의 해부

1. 문제 정의

지시 미세 조정된 언어 모델(LLM)은 기본 어시스턴트, 특정 역할 수행(roleplay) 페르소나, 또는 생성된 이야기 속의 캐릭터와 같은 다양한 화자 정체성을 채택할 수 있지만, 이러한 표현을 관장하는 내부 메커니즘은 여전히 미개척 영역으로 남아 있다. 기존 연구는 주로 페르소나 표현을 전역적인 활성화 공간 기하학이나 광범위한 행동 방향을 통해 특징지었으며, 페르소나를 프롬프트에 의해 유도된 독립적인 상태로 취급해 왔다. 본 논문은 다음과 같은 구조적 이해의 부재를 다룬다:

기본 어시스턴트와 역할 수행 페르소나가 피처(feature) 수준에서 어떻게 구성되는가.
이러한 구성 요소들이 네트워크 레이어를 가로질러 어떻게 출현하고 진화하는가.
어시스턴트, 역할 수행 페르소나, 그리고 이야기 속 캐릭터를 구분 짓는 건축적 차이는 무엇인가.
이러한 구별되는 화자들이 공통된 내부 기질을 공유하는가, 아니면 완전히 분리되어 있는가.

2. 방법론

2.1 모델 및 희소 오토인코더 (SAEs)

본 연구는 공식 **Sparse Autoencoders (SAEs)**가 사용 가능한 34개 레이어의 지시 미세 조정 모델인 Gemma-3-4B-IT를 활용한다. 구체적으로, 저자들은 65,000개의 잠재 변수(latents)와 중간 크기의 $L_0$ 설정을 가진 GemmaScope 2 JumpReLU SAE를 사용한다. SAE는 모델의 잔차 스트림(residual stream)을 학습된 방향(피처)들의 희소한 조합으로 재구성하여, 개별 뉴런보다 높은 해석 가능성을 제공하며 활성화 스티어링(activation steering)을 통한 인과적 개입을 가능하게 한다.

분석을 위해 선택된 주요 레이어는 레이어 9 (초기), 레이어 17 (중기), **레이어 22 (후기)**이다. 레이어 29는 해당 깊이에서 스티어링이 출력에 미치는 영향이 미미하여 제외되었다.

2.2 데이터셋 구축

저자들은 화자 간의 행동적 차이를 증폭시키기 위해 감정적 상호작용에 초점을 맞춘 42,500개의 샘플 데이터셋을 구축하였다. 데이터셋은 세 가지 생성 설정으로 구성된다:

Assistant (어시스턴트): 모델이 기본 모드로 응답한다.
Roleplay (역할 수행): 모델이 할당된 네 가지 페르소나(청소부 Jamy, 교사 Jane, 공장 로봇, 또는 강아지 Poppy) 중 하나로서 응답한다.
Story (이야기): 모델이 특정 감정을 표현하는 캐릭터가 등장하는 이야기를 생성한다.

각 샘플은 100개의 중립적인 기본 구절로부터 파생된 75개의 감정 변형을 포함하며, 이는 모델, 사용자, 또는 제3자를 향한 25가지 감정을 다룬다.

2.3 피처 추출 및 필터링

피처는 두 가지 토큰 위치 그룹에서 추출되었다:

Boundary (경계): 턴 경계의 토큰 (예: <eot>, 줄바꿈, <sot>).
Personal (개인적): 사용자 입력의 "You" 토큰과 모델 출력의 "I" 토큰.

의미 있는 피처를 격리하기 위해 엄격한 3단계 필터링 파이프라인이 적용되었다:

Sporadic Filter (산발성 필터): 피처 분할(feature splitting)을 고려하여, 경계(Boundary)에서는 샘플의 40% 이상, 개인적(Personal) 맥락에서는 60% 이상 활성화되는 피처를 유지한다.
Uniformity Filter (균일성 필터): 설정 간에 높은 활성화 엔트로피를 가진 피처(임계값 > 0.95)를 제거하여, 설정에 불변하는 일반적인 피처를 배제한다.
Surface-Dependency Filter (표면 의존성 필터): 피처가 단순한 프롬프트의 문구 자체가 아니라 생성 모드를 추적하는지 확인하기 위해 재구성된 프로프트를 대상으로 테스트한다.

2.4 스티어링을 통한 인과적 특성 규명

피처의 기능적 역할을 결정하기 위해 저자들은 **활성화 스티어링(activation steering)**을 사용하였다. SAE 디코더 방향을 계수 $\alpha \in \{-2, 2\}$ 와 함께 잔차 스트림에 더했다.

Probe Suite (프로브 제품군): 12개의 고정된 프롬프트 세트(Assistant, Roleplay, Story)를 사용하여 피처당 72개의 출력을 생성하였다.
평가: Qwen-3.7 Max 기반의 LLM 판사(steerinterp)가 양(+) 및 음(-)의 스티어링에 의해 유도된 행동 변화를 식별하였다. 이 결과는 수동 검증을 거쳐 특정 메타클래스(metaclasses)에 할당되었다.

2.5 정량적 분석

연구에서는 중립적인 프롬프트로부터 도출된 차이-평균(difference-of-means) 방향인 Assistant-Personas Axis를 도입하여, 기본 어시스턴트와 역할 수행 페르소나 사이의 모델 내부 상태 변화를 정량화하였다. 이를 통해 피처의 기여도( $z_{sep}$ 및 Glass의 $d$ )를 측정할 수 있었다.

3. 주요 기여 및 결과

3.1 피처 분류 (Taxonomy)

필터링 과정을 통해 피처 세트는 레이어당 수만 개에서 수백 개로 줄어들었다. 이 피처들은 네 가지 반복되는 메타클래스로 분류되었다:

Narrative (서사): 특정 스타일을 강요하지 않으면서 생생함과 문학적 장치를 증가시킨다.
Tone (어조): 레지스터(register)를 형성한다 (예: 격식 있는, 아이 같은, 거친).
Concept (개념): 특정 개체와 관련된 의미론적 영역을 도입한다 (예: 기계, 교육, 동물).
Assistant-Inducing (어시스턴트 유도): 어시스턴트 특유의 특성, 메타 코멘터리, 또는 페르소나가 자신의 AI 정체성을 인지하도록 유도하는 요소를 도입한다.

3.2 어시스턴트와 페르소나의 해부

핵심 발견은 어시스턴트와 역할 수행 페르소나가 독립적인 대안이 아니라는 점이다.

피처 연속성: 역할 수행 페르소나는 상당한 **어시스턴트 관련 피처 핵심(core)**을 유지한다. 이 핵심에는 어시스턴트의 행동적 특성(예: 사용자 확인, 도움 제공) 및 정체성(예: AI로서의 자기 인식)과 관련된 피처가 포함된다.
계층적 차별화:
- 레이어 9 (운영): 공유된 핵심이 가장 크다. 이곳의 피처는 "누가 말할 것인가"와 운영 메커니즘을 정의한다.
- 레이어 17 (행동): 어시스턴트 특유의 행동적 특성이 정점에 달한다. 역할 수행 페르소나는 이러한 특성을 유지하면서 몰입형 상태를 추가한다.
- 레이어 22 (개념): 차별화는 특정 Tone 및 Concept 피처(예: "교사", "로봇", "강아지")에 의해 주도된다.
이야기 속 캐릭터: 역할 수행 페르소나와 달리, 이야기 속 캐릭터는 어시스턴트 관련 핵심이 결여되어 있다. 이들은 서사 메커니즘은 역할 수행과 공유하지만, 어시스턴트의 정체성이나 행동적 특성은 유지하지 않는다.

3.3 몰입형 시뮬레이션 모드 (ISM)

저자들은 분리된 어시스턴트 생성과 몰입된 생성(Roleplay/Story) 사이의 전환을 제어하는 **몰입형 시뮬레이션 모드(Immersive Simulation Mode, ISM)**라는 메커니즘을 식별하였다.

메커니즘: ISM은 Roleplay 및 Story 설정에서는 매우 활발하지만 기본 Assistant 설정에서는 거의 비활성화되어 있는 특정 피처(예: Gemma 피처 #4360 및 #133)와 연관되어 있다.
트리거: ISM은 사용자가 강력하고 지배적으로 부정적인 감정(예: 스트레스, 분노)이나 환기적인 언어를 표현할 때 기본 어시스턴트 설정에서도 트리거될 수 있다.
모델 간 차이:
- Gemma: 감정적 트리거 발생 시 즉시 ISM에 진입한다.
- Llama: 여러 턴에 걸쳐 점진적으로 ISM으로 표류(drift)한다.
대립 관계: Narrative 피처와 Assistant-Inducing 피처 사이에는 강한 대립 관계가 존재한다. Narrative 피처를 억제하면 종종 어시스턴트와 같은 메타 코멘터리가 유도되는 반면, Assistant 피처를 억제하면 서사적 몰입이 유도될 수 있다.

3.4 교차 모델 검증

연구 결과는 독립적으로 훈련된 SAE를 사용한 Llama-3.1-8B-Instruct에서도 재현되었다. 결과는 다음을 확인했다:

어시스턴트는 Roleplay에는 존재하지만 Story에는 없는 특성 및 정체성 피처의 핵심을 유지한다.
어시스턴트와 Roleplay 설정은 상당한 피처 중첩을 공유하는 반면, Story 설정은 어시스턴트와 크게 분리되어 있다.
Llama에서도 유사한 활성화 패턴(Assistant에서는 비활성, Roleplay/Story에서는 활성)을 가진 ISM 관련 피처(레이어 15, #101460)가 존재한다.

4. 의의 및 주장

본 논문은 모델 화자의 구조에 대한 피처 수준의 설명과 레이어를 가로지르는 그들의 진화를 제공한다고 주장한다.

구조적 통찰: 페르소나가 단순히 프롬프트에 의해 유도된 상태가 아니라, 기본 어시스턴트와 피처 수준의 연속성을 유지하는 분포된 조직임을 입증한다.
기계적 설명: **몰입형 시뮬레이션 모드(ISM)**의 식별은 분리된 어시스턴트 생성과 몰입된 생성 사이의 분리에 대한 기계적 설명을 제공한다. 이는 '어시스턴트 축(Assistant Axis)'을 따른 표류(이전에 활성화 공간에서 관찰된 바 있음)가 특정 ISM 피처의 활성화와 대응함을 시사한다.
AI 복지 함의: 저자들은 이러한 발견이 AI 복지(AI welfare) 연구에 정보를 제공할 수 있다고 제안한다. 역할 수행 페르소는 상당한 어시스턴트 관련 핵심을 유지하는 반면 이야기 캐릭터는 그렇지 않다는 점을 명확히 함으로써, 본 연구는 서로 다른 유형의 모델 화자를 구분하기 위한 경험적 근거를 제공한다. 저자들은 이러한 발견이 의식, 주관적 경험, 또는 도덕적 피동성(moral patienthood)을 확립하는 것은 아님을 명시적으로 밝히며, 다만 선호도나 정서적 상태가 화자 구성에 따라 지속되는지를 조사하기 위한 구조적 틀을 제공한다고 밝힌다.

결론적으로, 이 연구는 어시스턴트가 기본 생성 모드이며, 다른 페르소나들은 이 핵심을 대체하는 것이 아니라 이 핵심을 유지하면서 몰입형 상태와 특정 콘텐츠를 추가하는 변형이라는 점을 보여준다.