💻 computer science

Mechanistic Personality Analysis of LLMs Steering Personality via Latent Feature Interventions

본 논문은 희소 오토인코더(sparse autoencoders)와 대조적 활성화 분석(contrastive activation analysis)을 사용하여 OCEAN 성격 특성에 대응하는 잠재적 특징 방향을 식별함으로써, 전반적인 언어 모델링 성능을 유지하면서도 가산적 활성화 이동(additive activation shifts)을 통해 대규모 언어 모델 내에서 이러한 특성들을 제어 가능한 방식으로 조종할 수 있게 하는 기계론적 해석 가능성 접근법을 제안한다.

원저자: David Courtis, Ting Hu

게시일 2026-06-30

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: David Courtis, Ting Hu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대 언어 모델(LLM)을 거대하고 믿기지 않을 정도로 복잡한 오케스트라라고 상상해 보십시오. 보통 여러분이 무언가를 써달라고 요청할 때, 모델은 훈련된 내용을 바탕으로 표준적인 곡을 연주합니다. 만약 모델이 "행복하게" 혹은 "심술궂게" 들리기를 원한다면, 대개 지휘자에게 구체적인 지시를 외치거나(프롬프트 엔지니어링), 특정 스타일을 처음부터 배우는 새로운 밴드를 통째로 고용해야 합니다(파인튜닝). 하지만 두 방법 모두 번거롭고, 일관성이 없거나, 시간이 너무 오래 걸립니다.

이 논문은 이 오케스트라를 지휘하는 새로운 방법을 소개합니다: 바로 **기계론적 성격 조종(Mechanistic Personality Steering)**입니다. 단순히 지시를 내리는 대신, 연구자들은 오케스트라의 내부 배선 속으로 직접 들어가 특정 악기들을 미세하게 조정함으로써 분위기를 바꿉니다.

이들이 수행한 과정을 간단한 단계별로 설명하면 다음과 같습니다.

1. "성격 스위치" 찾기 (SAE)

연구진은 **희소 오토인코더(Sparse Autoencoder, SAE)**라는 도구를 사용했습니다. LLM의 내부 두뇌를 수천 개의 전등 스위치가 가득 찬 거대한 방이라고 생각해 보십시오. 대부분의 시간 동안 이 스위치들은 꺼져 있습니다. SAE는 어떤 특정 스위치가 특정한 아이디어에 대응하는지를 찾아내는 탐정과 같습니다.

발견: 연구진은 특정 생각(예: "조직적인 것" 즉, 성실성)이나 (예: "감정적인 것" 즉, 신경증)에 대해 모델이 생각할 때 특정 스위치 그룹이 켜진다는 것을 발견했습니다.
방법: 연구진은 모델에게 특정 특성이 매우 높은 포스트(예: "나는 파티가 정말 좋아!")와 해당 특성이 매우 낮은 포스트(예: "나는 인파를 싫어해")를 쓰도록 요청했습니다. 이 두 그룹의 "빛 패턴"을 비교함으로써, 특정 성격 특성을 켜거나 끌 수 있는 정확한 스위치를 식별해 냈습니다.

2. 스위치 올리기 (조종)

어떤 스위치가 특정 특성을 제어하는지 알게 된 후, 연구진은 단순히 모델에게 "친절하게 행동해"라고 말하는 대신, 모델이 글을 쓰는 동안 그 특정 스위치들에 아주 작은 전기적 부스트를 물리적으로 추가했습니다.

비유: 자동차를 운전하고 있다고 상상해 보십시오. 운전자에게 "더 빨리 달려"라고 말하는 대신, 가속 페달을 몇 밀리미터만 살짝 누르는 것입니다. 그러면 엔진은 그대로 돌아가면서도 차의 속도는 빨라집니다.
결과: 이러한 내부 "성격 스위치"를 미세하게 조절함으로써, 모델은 실제 코드를 변경하거나 재학습하지 않고도 외향적이거나, 신경질적이거나, 혹은 규율 잡힌 사람처럼 들리는 텍스트를 쓰기 시작했습니다.

3. "최적의 지점" 찾기 (그리드 탐색)

까다로운 점은 가속 페달을 너무 세게 밟으면 자동차가 사고가 난다는 것입니다. 마찬가지로, 성격 스위치를 너무 강하게 높이면 모델이 횡설수설하거나 질문에 제대로 답하는 능력을 잃게 됩니다.

실험: 연구진은 요리사가 소금을 아주 조금씩 넣으며 국물 맛을 보는 것과 같은 거대한 "그리드 탐색(grid search)"을 수행했습니다. 그들은 스위치에 가하는 "압력"의 양을 다양하게 시도하며 완벽한 균형점을 찾았습니다.
목표: 연구진은 성격이 충분히 느껴질 만큼 강하면서도, 모델이 영어 문법을 잊어버릴 정도로 강하지 않은 상태를 원했습니다.

4. 무엇을 발견했는가

실험은 성공적이었지만, 모든 특성에서 동일하게 나타나지는 않았습니다.

쉬운 승리: 모델을 성실한(조직적이고 세부 사항에 주의를 기울이는) 상태나 신경증적인(불안해하고 감정적인) 상태로 만드는 것은 매우 쉬웠습니다. 이러한 특성들은 모델의 두뇌 속에 매우 명확하고 뚜렷한 "스위치"를 가지고 있는 것으로 보였습니다.
어려운 모드: 모델을 개방적인(호기심 많고 창의적인) 상태로 만드는 것은 놀랍게도 어려웠습니다. 연구진은 이것이 모델이 설계상 이미 매우 "개방적"이기 때문에, 논리 구조를 깨뜨리지 않고는 더 개방적으로 만들기가 어렵기 때문이라고 추측합니다.
트레이드오프(절충): 명확한 한계가 존재합니다. 성격을 너무 강하게 밀어붙이면 텍스트가 비논리적으로 변합니다. 모델은 말을 반복하거나 사고의 흐름을 놓칠 수 있습니다.

5. 이것이 왜 중요한가 (논문에 따르면)

저자들은 이 방법이 기존 방식보다 더 낫다고 주장합니다. 그 이유는 다음과 같습니다:

즉각적임: 모델을 재학습할 필요 없이, 실시간으로 스위치를 올릴 수 있습니다.
투명함: 프롬프트 엔지니어링이 지시가 잘 작동하기만을 바라는 것과 달리, 우리는 어떤 내부 특징을 바꾸고 있는지 정확히 알 수 있습니다.
조절 가능함: 성격을 단순히 "켜기/끄기" 하는 것이 아니라, 특정 수준까지 조절할 수 있습니다.

요약하자면:
이 논문은 우리가 AI의 성격을 마법 같고 바꿀 수 없는 특성이 아니라, 코드 내부의 조절 가능한 다이얼로 취급할 수 있음을 보여줍니다. 적절한 다이얼을 찾아 적당히 돌려줌으로써, 기계가 고장 나기 전까지만 조절한다면 우리는 AI가 특정 유형의 사람처럼 들리도록 만들 수 있습니다.

기술 요약: LLM의 기계론적 성격 분석 (Mechanistic Personality Analysis)

문제 정의
대규모 언어 모델(LLM)은 방대한 인간 생성 데이터로 학습되었기 때문에 본질적으로 인간과 유사한 성격 특성(구체적으로 Big Five/OCEAN 특성)을 시뮬레이션합니다. 기존의 방법들은 프롬프트 엔지니어링이나 미세 조정(fine-tuning)을 통해 이러한 성격을 형성하려 시도했으나, 이러한 접근 방식은 출력의 일관성 부족, 높은 자원 집약도, 그리고 핵심 언어 작업 성능 저하 위험이라는 상당한 단점을 가집니다. 또한, 서로 상관관계가 있는 여러 특성을 동시에 형성하는 것은 여전히 과제로 남아 있으며, 이는 종종 더 작거나 최적화되지 않은 모델이 갖지 못한 모델 용량을 요구합니다. 따라서 모델의 근본적인 언어 모델링 능력을 해치지 않으면서 기계론적 수준에서 성격 특성을 제어할 수 있는 방법이 필요합니다.

방법론
저자들은 성격을 조절하기 위해 모델의 잠재 특징(latent features)에 직접 개입하는 기계론적 해석 가능성(mechanistic interpretability) 프레ب워크를 제안합니다. 이 파이프라인은 네 가지 주요 구성 요소로 이루어집니다:

데이터 생성 및 데이터셋 구축:
저자들은 PsyBORGS 프레임워크를 사용하여 다양한 수준의 Big Five 특성 표현을 가진 12,000개의 Facebook 스타일 상태 업데이트를 생성합니다. 중립적인 베이스라인을 사용하는 이전 연구와 달리, 이 방법은 각 특성에 대해 "긍정적"(높은 표현, 점수 7~~9) 및 "부정적"(낮은 표현, 점수 1~~3) 세트를 명확히 구분하여 특성 강화 및 억제 기능을 모두 식별합니다.
희소 오토인코더(SAE)를 통한 특징 추출:
저자들은 DeepSeek-R1-Distill-Llama-8B 모델의 레이어 19에 부착된 사전 학습된 희소 오토인코더(SAE)를 활용합니다. 이 레이어는 특징이 의미론적으로 풍부하면서도 최종 로짓(logits)의 상류(upstream)에 위치하는 "스윗 스팟"(63% 깊이)으로 선택되었습니다.
- 대조 분석(Contrastive Analysis): 긍정적( $\mu_P$ ) 및 부정적( $\mu_N$ ) 세트에 대한 평균 활성화 값을 계산합니다. 차이 벡터 $\Delta h = \mu_P - \mu_N$ 를 SAE 인코더를 사용하여 분해함으로써 잠재적 차이 $\Delta z$ 를 얻습니다.
- 특징 순위 지정: 잠재 성분들을 절대적 차이 $|\Delta z_i|$ 에 따라 순위를 매깁니다. 특성을 유도하는 상위- $k$ 특징(양의 방향)과 특성을 억제하는 특징(음의 방향)이 식별됩니다. 이들은 SAE 디코더를 통해 단위 특징 벡터( $u_{ij}$ )로 변환됩니다.
그리드 탐색을 통한 최적화:
최적의 개입을 결정하기 위해 저자들은 양방향 선형 가중치 접근 방식을 채택합니다. 스테어링 벡터(steering vector)는 모델의 은닉 상태( $h$ )에 양의 특징과 음의 특징의 가중 결합을 더함으로써 구축됩니다:
$h' = h + \sum \delta^{pos} u_{ij} + \sum \delta^{neg} u_{jl}$
계수는 네 가지 파라미터—양의 변화량( $\alpha_{pos}$ ), 양의 특징 개수( $k_{pos}$ ), 음의 변화량( $\alpha_{neg}$ ), 음의 특징 개수( $k_{neg}$ )—에 대한 그리드 탐색을 통해 튜닝됩니다.
이 과정은 특성 표현( $S_{trait}$ )과 MMLU 정확도 저하로 인한 페널티( $C$ ) 사이의 균형을 맞추는 목적 함수 $O$ 를 최대화합니다:
$O = S_{trait} - \lambda \cdot C$
여기서 $\lambda$ 는 0.5로 고정됩니다.
평가 프레임워크:
스테어링의 효능은 다각적인 접근 방식을 통해 측정됩니다:
- 임베딩 유사도: 생성된 텍스트와 참조 특성 예시 간의 코사인 유사도.
- LLM 기반 분류: 최첨단 LLM(Claude 3.7, GPT-4o)이 두 텍스트 중 어떤 것이 목표 특성을 더 잘 보여주는지 판단합니다.
- 인간 평가: 동일한 쌍에 대한 병렬적인 인간 평가.
- 성능 지표: 언어 능력이 보존되는지 확인하기 위한 MMLU 정확도 및 일관성 체크.

주요 기여

특징 추출 방법론: 대조 분석을 통해 긍정적 및 부정적 프롬프트 조건 사이의 특징을 추출하고, SAE를 사용하여 단일 의미적(monosemantic) 잠재 특징을 격리하는 새로운 접근 방식을 제공합니다.
다각적 평가: 성격 표현을 측정하기 위해 임베딩 기반 유사도, LLM 분류, 인간 평가를 결합한 견고한 평가 프레임워크를 구축했습니다.
정교한 스테어링 전략: 잠재 공간에서의 최적의 가산적 변화(additive shifts)를 계산하기 위해 그리드 탐색을 포함한 양방향 선형 가중치 접근 방식을 개발하여, 특성 표현과 작업 성능 간의 균형을 맞춥니다.

결과

탐지율: 개입은 대부분의 특성에 대해 LLM과 인간 모두에 의해 안정적으로 탐지되었습니다. 성실성(Conscientiousness)과 신경증(Neuroticism)은 가장 높은 탐지율(LLM과 인간 평가자 모두 >90%)을 보였습니다. 외향성(Extraversion)과 우호성(Agreeableness)은 중간 정도의 비율을 보였으며, 개방성(Openness)은 도전적인 과제(LLM 50%, 인간 30%)로 나타났는데, 이는 LLM이 설계상 본질적으로 "개방적"이거나 해당 특성이 미묘한 패턴으로 나타나기 때문인 것으로 보입니다.
특성별 최적화: 그리드 탐색 결과 서로 다른 특성은 서로 다른 개입 프로필을 필요로 한다는 것이 밝혀졌습니다.
- 외향성은 가장 적은 수의 특징(양의 9개, 음의 4개)을 필요로 했으며, 이는 집중된 잠재 표현을 시사합니다.
- 개방성은 가장 많은 수의 특징(양의 25개)과 높은 크기를 필요로 했으며, 이는 분산된 인코딩을 나타냅니다.
- 성실성은 양의 특징과 음의 특징의 균형 잡힌 조합을 필요로 했습니다.
성능 트레이드오프: 모든 특성은 목적 함수의 "정점"을 보인 후, 개입 강도가 증가함에 따라 성능(일관성 및 MMLU 정확도)이 급격히 저하되는 현상을 보였습니다. 이는 과도한 특징 조작이 모델의 언어 생성 능력을 저하시키는 임계점이 존재함을 강조합니다.
음의 변화(Negative Shifts): 양의 변화는 일반적으로 특성 유사도를 높였으나, 음의 변화는 섞인 결과를 낳았습니다. 개방성의 경우, 음의 변화가 양의 변화보다 목표 특성에 대한 유사도를 때때로 더 높게 만들었는데, 이는 특징 활성화와 특성 표현 사이의 복잡한 관계를 시사합니다.

의의 및 주장
본 논문은 고차원의 심리측정적 관찰과 저차원의 신경 기제 사이를 연결하는, 해석 가능하고 세밀한 성격 스테어링 방법을 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

기계론적 제어: 모델을 재학습시키지 않고도 특정 잠재 특징에 직접 개입하여 성격을 조절할 수 있음을 입증하며, 이는 온디맨드(on-demand) 조절을 가능하게 합니다.
해석 가능성: SAE의 사용은 잔차 스트림(residual stream) 내에서 심리적 특성에 대응하는 특정 방향을 식별할 수 있게 하여, 이러한 추상적 개념이 모델 내에서 어떻게 발생하는지를 명확히 밝혀줍니다.
책임감 있는 AI: 이 접근 방식은 AI 에이전트의 바람직하지 않은 성격 발현을 제어할 수 있는 도구를 제공하여, 커뮤니케이션의 안전성, 공정성 및 효과성을 개선할 수 있습니다.
심리학에 대한 계산적 관점: 연구 결과는 인간 성격의 복잡성(예: 개방성의 분산된 특성과 외향성의 집중된 특성)이 LLM의 잠재 특징 구조에 반영될 수 있음을 시사합니다.

저자들은 모델이 특정 특성과 관련된 행동을 보이지만, 이것이 모델이 인간과 같은 심리적 상태를 보유하고 있다는 것과 동일한 것은 아니라고 언급하며 신중한 태도를 유지합니다. 또한 계산적 오버헤드, 높은 개입 강도에서 일관성을 유지하는 것의 어려움, 그리고 SAE 특징의 다의성(polysemanticity)으로 인한 특성 간 의존성 분리의 어려움 등의 한계를 인정합니다.