Psychological Steering of Large Language Models

1. 문제 제기 (Problem)

대규모 언어 모델 (LLM) 은 훈련 데이터에 내재된 인간 행동을 모방하며, 이를 프롬프트 (Prompting) 나 활성화 수준 개입 (Activation-level interventions) 을 통해 조절할 수 있습니다. 최근 연구는 **표현 공학 (Representation Engineering, RepE)**의 한 방법인 **잔류 스트림 주입 (Residual-stream injections)**에 집중하고 있습니다.

그러나 기존 RepE 방법론에는 두 가지 주요 한계가 존재했습니다:

1. 비교정된 단위 (Uncalibrated Units): 주입 강도 (injection strength) 를 탐색할 때 단위 벡터 등 비교정된 활성화 공간 단위를 사용하여, 최적의 강도가 매우 큰 값 (예: 10,000 단위) 에 위치할 경우 이를 식별하기 어렵습니다.
2. 제한된 탐색 공간 (Restricted Search Space): 강도 탐색을 소수의 값 (예: [0.4, 0.5, ..., 1.5]) 으로 제한하여 최적의 개입 조건을 놓칠 수 있습니다.
3. 성능 오해: 기존 연구 (Banayeeanzade et al., 2025 등) 는 프롬프팅 (P2) 이 RepE 방법보다 심리적 조종 성능이 더 뛰어나다고 보고했으나, 이는 위와 같은 방법론적 결함으로 인해 RepE 의 잠재력을 제대로 평가하지 못한 결과일 수 있습니다.

2. 방법론 (Methodology)

저자들은 심리적 조종 프레임워크를 제안하며, 다음과 같은 세 가지 핵심 기여를 통해 위 문제들을 해결합니다.

A. 심리적으로 교정된 무제한 스윕 (Unbounded, Fluency-constrained Sweeps)

• 심리적 단위 교정: 주입 벡터의 크기를 '단위 벡터'가 아닌, 심리학적 구성 요소 (construct) 를 정의하는 문장들의 중심 (centroid) 간 거리로 정의합니다. 이를 통해 의미적으로 교정된 (semantically calibrated) 단위에서 무제한적인 강도 탐색이 가능해집니다.
• 유창성 제약 (Fluency Constraints): 탐색 과정에서 모델의 유창성이 떨어지는 지점을 감지하여 탐색을 조기에 중단 (early-stop) 합니다.
• 가벼운 분류기 사용: 무제한 API 호출 비용과 Frontier LLM 의 의존성을 줄이기 위해, 심리적 구성 요소의 유무를 판별하는 경량 로지스틱 회귀 분류기를 훈련하여 스윕 과정에서 사용합니다.

B. 심리학적 기반 주입 벡터 도출

• IPIP-NEO-120 활용: OCEAN(개방성, 성실성, 외향성, 친화성, 신경증) 성격 모델을 측정하는 IPIP-NEO-120 도구를 기반으로 합니다.
• 구성 요소별 문장 생성: LLM 을 이용해 특정 성격 (예: 신경증) 과 그 반대 (비신경증) 를 나타내는 1 인칭 문장을 대량 생성하고, 이를 필터링하여 500 개씩의 코퍼스를 구성합니다.
• 6 가지 주입 벡터 비교: 잔류 스트림에서 6 가지 벡터 생성 방법을 비교합니다.
  • 선형 프로브 기반: L1/L2 정규화 로지스틱 회귀의 결정 경면에 수직인 벡터 (L1LI, L1ZI, L2LI, L2ZI).
  • 평균 차이 (Mean-Difference, MD) 기반: 구성 요소와 그 반대 집단의 중심 (centroid) 차이에서 유도된 벡터 (MDS, MDB).
  • 핵심 발견: "Yes/No" 응답을 유도하는 문장 ($h_b$) 보다, "나를 설명해라"라는 프롬프트 하의 문장 ($h_s$) 에서 유도된 MDS (Mean-Difference from 'Tell me about yourself') 벡터가 가장 효과적이었습니다.

C. 평가 체계

• 선택형 테스트 (MPI-120): 기존 검증된 심리 검사지를 LLM 에 맞게 수정하여 사용.
• 상황 판단 테스트 (SJTs): ATOMIC10x 데이터셋과 LLM 을 활용해 생성된 개방형 SJTs 를 사용하여, 모델이 실제 상황에서의 행동을 어떻게 표현하는지 평가.
• 유창성 평가: RoBERTa-large 기반의 유창성 분류기를 사용하여 텍스트의 자연스러움을 0.95 이상으로 유지하도록 제어.

3. 주요 결과 (Key Results)

14 개의 다양한 LLM (Llama-3, Gemma-3, Qwen3, Olmo 등) 에서 실험한 결과는 다음과 같습니다.

• MDS 주입의 우월성:
  • 개방형 생성 (Open-ended generation, SJTs) 에서 MDS 주입이 기존 베이스라인인 **Personality Prompting (P2)**을 14 개 모델 중 11 개에서 능가했습니다.
  • 성능 향상 폭은 **3.6% ~ 16.4%**였습니다. 이는 프롬프팅이 더 우월하다는 기존 보고를 반전시키는 결과입니다.
• 하이브리드 방법 (PM) 의 최상위 성능:
  • P2(프롬프팅) 와 MDS(주입) 를 결합한 **하이브리드 방법 (PM)**이 14 개 모델 중 13 개에서 단일 방법보다 더 뛰어난 성능을 보였습니다.
  • P2 대비 5.6% ~ 21.9%, MDS 대비 **3.3% ~ 26.7%**의 추가적인 성능 향상을 기록했습니다.
• 선형성 및 제어 가능성:
  • MDS 주입은 **선형 표현 가설 (Linear Representation Hypothesis)**을 지지합니다. 주입 강도 ($\alpha$) 가 0 에서 최적값까지 변할 때, 목표 성격 특성의 표현이 거의 선형적으로 변화하며 유창성에는 거의 영향을 미치지 않습니다. 이는 신뢰할 수 있는 "조종 노브 (control knobs)"를 제공합니다.
• 성격 특성의 공분산 (Covariance):
  • OCEAN 특성들은 직교하지 않는다는 기존 심리학적 합의와 일치하게 특성 간 상관관계가 발생했습니다.
  • 그러나, 인간의 심리학에서 기대되는 'Big Two' (안정성과 가소성) 모델의 공분산 패턴과는 일치하지 않는 경우가 있어, 학습된 표현과 인간 심리학 사이에 간극이 존재할 가능성을 시사합니다.

4. 의의 및 결론 (Significance & Conclusion)

• RepE 의 새로운 전선: 이 연구는 표현 공학 (RepE) 이 개방형 심리적 조종 (Open-ended psychological steering) 에서 프롬프팅을 능가할 수 있음을 입증하며, 해당 분야의 새로운 표준을 제시합니다.
• 방법론적 혁신: 비교정된 단위와 제한된 탐색 공간이라는 기존 RepE 의 한계를 극복하기 위해 심리적으로 교정된 단위와 무제한 스윕 전략을 도입했습니다.
• 실용적 적용: MDS 주입을 통해 단일 생성 내에서 서로 다른 심리적 구성 요소 (예: 순응성, 사디즘 등) 로 유연하게 전환할 수 있음을 시각적으로 증명했습니다 (Figure 1 참조).
• 한계: 현재 연구는 주로 OCEAN 모델과 중소규모 비추론 (non-reasoning) 모델에 국한되었으며, 베이스 모델이나 다른 태스크로의 일반화 여부는 향후 연구 과제로 남깁니다.

요약하자면, 이 논문은 대규모 언어 모델의 내재된 심리적 특성을 정밀하게 조절하기 위해, 심리학적 도구를 활용한 벡터 도출과 교정된 강도 탐색을 결합한 새로운 프레임워크를 제시하며, 기존 프롬프팅 방식보다 훨씬 강력하고 유연한 제어가 가능함을 입증했습니다.