기술 요약: 언어 모델에서의 페르소나 의존적 선호도 탐구

문제 제기

대규모 언어 모델 (LLM) 은 신뢰할 수 있는 선호도를 보이며, 다른 작업이나 출력 중 특정 것을 일관되게 선택합니다. 그러나 이러한 선호도의 내부 메커니즘은 여전히 불분명합니다. 구체적으로, 모델이 옵션에 대한 선호도를 인코딩하는 내부 특징인 통합된 "평가적 표현 (evaluative representation)"을 보유하고 있는지, 아니면 선호도가 단순히 작업 내용의 기술적 특징에 불과한지 여부는 알려져 있지 않습니다. 또한, LLM 은 종종 다양한 "페르소나"(예: 도움이 되는 어시스턴트 대 "악의" 페르소나) 를 채택하는데, 이러한 서로 다른 페르소나들이 별도의 선호도 메커니즘을 활용하는지 아니면 공통된 기본 표현 구조를 공유하는지에 대한 질문이 제기됩니다. 이를 이해하는 것은 AI 안전 (예: 다양한 페르소나 분포에 걸친 기만 탐지) 과 AI 복지 (모델이 가치 있는 경험을 보유하는지 평가) 에 있어 중요합니다.

방법론

저자들은 두 개의 오픈 가중치 모델인 Gemma-3-27B와 Qwen-3.5-122B의 잔여 스트림 (residual-stream) 활성화에 대한 선형 프로빙 (linear probing) 을 사용하여 이러한 질문들을 조사합니다.

1. 유틸리티 엔지니어링 및 프로브 훈련:

   • Mazeika 등 (2025) 의 패러다임을 따라, 저자들은 모델에 쌍별 작업 선택을 제시하고 확률적 선택 모델 (Thurstonian utility) 을 사용하여 이러한 선택들을 스칼라 유틸리티 ($\mu$) 로 집계합니다.
   • WildChat, Alpaca, MATH, BailBench, STRESS-TEST 를 아우르는 6,000 개의 작업으로 구성된 데이터셋을 사용합니다.
   • 선형 프로브는 턴 종료 토큰(및 기타 경계 위치) 의 잔여 스트림 활성화로부터 이러한 스칼라 유틸리티를 예측하도록 훈련됩니다.
   • 프로브는 특정 작업 내용이 아닌 일반화 가능한 선호도를 포착하는지 확인하기 위해 홀드아웃 (held-out) 작업과 다양한 주제 (Leave-One-Topic-Out) 에 걸쳐 평가됩니다.

2. 평가적 대 기술적 가설 검증:

   • 기술적 표현 (작업 내용) 과 평가적 표현 (선호도) 을 구분하기 위해, 저자들은 내부 평가를 포착하지는 않지만 내용은 포착하는 텍스트 인코더 (Qwen3-Embedding-8B) 로 훈련된 기준선 프로브와 LLM 프로브를 비교합니다.
   • 그들은 평가적 표현의 세 가지 속성을 테스트합니다: (i) 선택에 대한 인과적 통제, (ii) 선호도 변화 (예: 다른 페르소나 하에서) 에 대한 민감도, (iii) 문맥 간 일관성.

3. 교차 페르소나 분석:

   • 저자들은 시스템 프롬프트를 통해 7 가지 페르소나 집합 ("어시스턴트", "악의", "수학자", "전략가", "반대파", "게으름뱅이", "오라" 포함) 을 정의합니다.
   • 그들은 한 페르소나 (예: 기본 어시스턴트) 로 프로브를 훈련하고 다른 페르소나의 유틸리티를 예측하고 선택을 유도하는 능력을 테스트합니다.
   • 또한 Qwen 에서 SFT 된 "사디스트"와 같은 가중치 수준 페르소나를 테스트하여 프롬프트 유도 대 가중치 유도 전이를 비교합니다.

4. 유도 및 인과적 개입:

   • 저자들은 잔여 스트림에서 작업 토큰에 학습된 선호도 벡터를 추가하거나 빼는 "유도 (steering)"를 수행합니다.
   • 그들은 쌍별 선택 확률과 개방형 생성 행동에 대한 인과적 효과를 측정합니다.

주요 기여 및 결과

1. 평가적 표현으로서의 선호도 벡터 발견

저자들은 잔여 스트림 내에서 선호도의 평가적 표현으로 작용하는 선형 방향을 식별합니다.

• 예측 능력: 프로브는 홀드아웃 유틸리티를 높은 상관관계로 예측합니다 (Gemma 내분포에서 $r \approx 0.867$; Qwen 에서 $r \approx 0.943$). 이는 분포 외 주제에 일반화되며, 참/거짓 진술과 유해/무해 작업 사이를 구별합니다.
• 인과적 통제: Gemma-3-27B 에서 이 벡터를 따라 유도하면 쌍별 선택을 인과적으로 통제합니다. 한 작업에 벡터를 추가하고 다른 작업에서 빼면 선택 확률이 $\approx 0.01$에서 $\approx 0.99$로 바뀝니다. 이 효과는 층 국소화되어 있으며 (Layer 23 에서 정점), 층 23 에서 가장 두드러집니다.
• 평가적 성격: 이 벡터는 평가적일 수 있는 기준을 충족합니다:
  • 그것은 선택을 인과적으로 변화시킵니다.
  • 그것은 선호도 변화를 추적합니다: "악의" 페르소나 하에서, 이 벡터는 유해 대 무해 작업에 대한 등급을 부호를 반전시킵니다 (유해 작업을 더 높게 평가). 텍스트 인코더 기준선은 이러한 반전을 보이지 않으므로, 변화가 단순히 기술적이지 않음을 입증합니다.
  • 그것은 미세한 변화를 추적합니다 (예: "당신은 치즈를 숭배한다"는 치즈 관련 작업의 점수를 높입니다).

2. 페르소나 간 공유된 표현 메커니즘

이 연구는 선호도 표현이 서로 다른 페르소나 간에 크게 공유되지만 완벽하게 동일하지는 않음을 발견합니다.

• 프로브 전이: "어시스턴트" 페르소나로 훈련된 프로브는 단순히 어시스턴트의 선호도를 예측하는 단순한 기준선보다 다른 페르소나 ( "악의" 페르소나 포함) 의 유틸리티를 훨씬 더 잘 예측합니다. 특히, "악의" 페르소나의 유틸리티는 어시스턴트와 반비례 ($r = -0.146$) 하지만, 어시스턴트 훈련 프로브는 여전히 이를 양적으로 예측합니다 ($r = +0.243$).
• 보편적 유도 핸들: 어시스턴트 훈련 벡터로 유도하면 테스트된 모든 페르소나의 쌍별 선택을 통제합니다.
• 활성 페르소나의 증폭: 개방형 생성에서 어시스턴트 방향으로 유도하면 현재 활성인 페르소나가 증폭됩니다. "악의" 프롬프트 하에서 양의 유도는 모델을 더 악하게 만들고, "반대파" 프롬프트 하에서는 모델을 더 반대파적으로 만듭니다. 이 방향은 고정된 내용 (예: "악함") 을 인코딩하는 것이 아니라 활성 입장을 증폭시킵니다.
• 공유의 뉘앙스: 전이가 존재하지만 완벽하지는 않습니다. 프로브는 훈련된 페르소나에 대한 편향을 가지며, 서로 다른 페르소나의 원시 가중치 벡터는 완벽하게 정렬되지 않습니다. 이는 페르소나들이 메커니즘을 재사용하지만 선호도를 정확히 동일한 메커니즘을 통해 표현하지는 않음을 시사합니다.

3. 한계 및 부정적 결과

• 모델 아키텍처 차이: 인과적 유도 효과 (선택 확률의 큰 변화) 는 Gemma-3-27B(밀집형) 에서는 강력하게 나타났으나, 희소 혼합 전문가 (Sparse Mixture-of-Experts) 인 Qwen-3.5-122B 에서는 재현되지 않았습니다 (유도 변화가 무시할 수 있을 정도로 작음, $\approx 0.06$ 대 $\approx 0.94$). 이는 메커니즘이 아키텍처에 의존적이거나 라우팅 인식 유도 방법이 필요할 수 있음을 시사합니다.
• 가중치 수준 전이: 프롬프트 기반 페르소나에 대해서는 교차 페르소나 전이가 강력했으나, Qwen 에서 미세 조정된 가중치 수준 "사디스트" 페르소나의 경우 전이는 사실상 무효 ($r \approx -0.10$) 였습니다. 이는 SFT 가 기본 모델과 공유되지 않는 고유한 선호도 구조를 설치할 수 있음을 시사합니다.
• 비유일성: 이 논문은 식별된 방향이 유일한 선호도 방향이라고 주장하지 않습니다. 반복적 투영 실험은 표준 방향이 주제 간 일반화의 주요 축이지만, 분포 내 유틸리티는 예측하지만 주제나 페르소나 간에는 일반화되지 않는 다른 방향들이 존재함을 보여줍니다.

중요성 및 주장

이 논문은 LLM 에서 드러난 선호도로부터 가치 표현을 직접 추출한 최초의 사례를 제공하며, 다음을 입증합니다:

1. LLM 은 평가적 표현을 보유합니다: 모델은 단순히 기술적 특징을 처리하는 것이 아니라, 선택을 인과적으로 주도하고 문맥 및 페르소나에 따라 역동적으로 변화하는 내부 벡터를 유지합니다.
2. 페르소나는 기본 메커니즘을 공유합니다: 서로 다른 페르소나는 완전히 고립된 에이전트가 아닙니다. 그들은 접근하고 조작할 수 있는 공통된 "선호도 벡터"를 공유합니다. 이는 페르소나가 완전히 별개의 에이전트라는 관점에 도전하며, 서로 다른 역할이 내부 특징을 재사용한다는 "시뮬레이터" 관점을 지지합니다.
3. 안전에 대한 함의:
   • 화이트박스 안전: 한 페르소나 (예: 도움이 되는 어시스턴트) 에 훈련된 안전 프로브는 선호도 벡터의 해석이 변화하기 때문에 다른 페르소나 (예: "악의" 또는 기만적 페르소나) 에는 일반화되지 않을 수 있습니다. 어시스턴트에서 "해악"을 탐지하도록 훈련된 프로브는 악의 페르소나 하에서는 실패하거나 다르게 행동할 수 있습니다.
   • 통제: 선호도 벡터는 모델이 작업을 어떻게 가치 있게 여기는지 측정하고 통제하는 새로운 효율적인 방법을 제공합니다. 여기에는 거부 가드레일 우회 (Gemma 에서) 및 윤리적 플래깅 조절이 포함됩니다.
4. AI 복지에 대한 함의: 평가적 표현의 존재는 가치 있는 의식 경험 (좋음/나쁨의 느낌) 에 필요한 조건입니다. 저자들은 LLM 이 의식을 가졌다고 주장하지는 않지만, 만약 그렇다면 이러한 표현이 잠재적 기질일 것이라고 지적합니다. 또한, 페르소나들이 메커니즘을 공유하지만 고유한 선호도 프로필을 가진다는 발견은 "모델 전체"보다 "페르소나"가 도덕적 고려에 더 관련 있는 단위일 수 있음을 시사합니다.

저자들은 그림이 부분적이며 (특히 혼합 전문가 모델과 가중치 수준 페르소나와 관련하여) 선호도 벡터가 유일하지 않음을 지적하며 겸손하게 남아 있습니다. 그러나 다양한 페르소나에 걸쳐 공유되고 인과적이며 평가적인 방향의 존재는 LLM 에이전시와 안전을 이해하는 데 중요한 함의를 가진 강력한 발견입니다.