기술 요약: 고정된 심리 페르소나를 넘어: 상태가 특성을 압도하지만, 언어 모델은 상태에 무감각함

문제 제기

자연어 처리 (NLP) 및 페르소나 모델링에 대한 현재 연구는 대부분 사용자의 심리 프로필이 고정되고 안정적인 속성 (특성) 이라는 가정에 크게 의존합니다. PersonaChat 과 PANDORA 와 같은 데이터셋은 사용자 간 변이 (사용자 A 가 사용자 B 와 어떻게 다른지) 를 포착하지만, 사용자 내 변이 (사용자 A 가 맥락에 따라 어떻게 다른지) 는 무시합니다. 이 접근법은 인간의 행동이 안정적인 특성과 맥락적 상태의 함수라는 심리학의 수십 년간 이어져 온 잠재 상태 - 특성 (LST) 이론과 모순됩니다. 결과적으로 기존 AI 시스템은 동적인 심리 표현을 정적인 특성으로 취급함으로써 사용자 다양성을 근본적으로 오인식하게 되며, 이로 인해 '상태 무감각 (state-blind)' 생성과 일관성 없는 평가가 초래됩니다.

방법론

카멜레온 (Chameleon) 데이터셋

저자들은 NLP 에 LST 이론을 적용 가능하도록 설계된 카멜레온 데이터셋을 소개합니다.

• 구성: 645 개 서브레딧에 걸친 1,667 명의 고유한 레딧 사용자로부터 도출된 5,001 개의 맥락적 심리 프로필.
• 설계: 각 사용자는 정확히 세 개의 서로 다른 서브레딧 (맥락) 에서 샘플링되어, 변이를 안정적인 특성과 맥락적 상태로 분해할 수 있도록 합니다.
• 심리학적 프레임워크: 프로필은 네 가지 검증된 프레임워크에 걸친 26 가지 차원에서 측정됩니다:
  1. Big Five Inventory (BFI): 성격 구조 (외향성, 친화성, 성실성, 신경증, 개방성).
  2. Schwartz Value Survey (SVS): 동기적 가치 (예: 권력, 성취, 안전).
  3. Self-Determination Theory (SDT): 동기와 기본 욕구 (내재적/외재적 동기, 유능감, 자율성, 관계성).
  4. DOSPERT: 영역별 위험 태도 (투자, 도박, 건강/안전 등).

프로필 추출 파이프라인

견고성을 확보하기 위해 저자들은 두 가지 독립적인 추출 방법을 사용하는 다중 - 다중 방법 (MTMM) 접근법을 채택합니다:

1. SEANCE: 감정, 정서, 인지 과정을 위한 250 개 이상의 지수를 계산하는 규칙 기반, 어휘 매칭 도구 (오픈 소스).
2. LangExtract: 심리학적 패턴, 증거, 추론을 식별하는 LLM 기반 구조화 추출 도구 (GPT-4o 사용).

• 융합: 두 방법의 점수는 차원별로 z-정규화되어 평균화되며, 이를 통해 최종 융합 프로필이 생성되고 방법별 노이즈가 감소합니다.

실험적 평가

본 논문은 두 가지 측면에서 현재 AI 시스템을 평가합니다:

1. 생성 (상태 인식): 세 가지 LLM(GPT-4o, Llama-3.1-8B, Qwen2.5-14B) 에 대해 여섯 가지 뚜렷한 심리 원형 (예: 고통받는-취약한, 추진력 있는-주도적인) 과 기준선 하에서 127 개의 질문으로 프롬프트를 생성했습니다. 응답 유사도는 의미 임베딩을 사용하여 측정되었으며, 이를 통해 모델이 사용자의 상태에 적응하는지 여부를 확인했습니다.
2. 평가 (상태 불변성): 서로 다른 사용자 프로필에 대해 생성된 동일한 응답에 대해 세 가지 보상 모델 (DeBERTa-RM, Skywork-RM-8B, ArmoRM-8B) 을 테스트했습니다. 목표는 보상 점수가 사용자 특성에 따라 불변으로 유지되는지 확인하는 것이었습니다.

주요 발견

1. 상태가 특성을 압도함 (변이 분해)

내부 일관성 계수 (ICC) 를 사용하여 저자들은 심리적 변이를 분해했습니다:

• 결과: 텍스트 내 심리적 변이의 약 **7274%**는 **사용자 내 (상태)**이며, **2628%**만 **사용자 간 (특성)**입니다.
• 시사점: 맥락은 안정적인 개인 차이보다 2~3 배 더 표현된 심리에 영향을 미칩니다. 이 발견은 네 가지 심리 영역과 두 가지 추출 방법 모두에서 유효합니다.
• 검증: 서브레딧 수준의 스타일적 및 주제적 혼란 요인을 제거하기 위해 잔차 처리를 한 후에도 상태 우세 발견은 지속됩니다. 방법 간 일치 (프로필 수준 상관관계 $r \approx 0.71$) 는 신호가 노이즈가 아니라 실제 것임을 확인시켜 줍니다.

2. LLM 은 상태에 무감각함

• 얕은 페르소나 감지: LLM 은 페르소나 프레이밍이 존재한다는 점 (기준선에서 약 20% 이탈) 은 인식하지만, 뚜렷한 심리 원형 사이를 구별하지는 못합니다.
• 결과: '고통받는 - 취약한' 사용자와 '추진력 있는 - 주도적인' 사용자는 본질적으로 동일한 응답을 받습니다.
• 트레이드오프: 가장 작은 모델 (Llama-3.1-8B) 은 강하게 정렬된 모델 (GPT-4o) 보다 약간 더 높은 민감도를 보였으며, 이는 광범위한 RLHF 정렬 훈련이 심리적 유연성을 감소시키고 동질적인 응답으로의 모드 붕괴를 유발할 수 있음을 시사합니다.

3. 보상 모델은 맥락에 민감하지만 일관성이 없음

• 상태 불변성 위반: 보상 모델은 사용자의 프로필에 따라 동일한 응답에 체계적으로 다른 점수를 부여합니다.
• 일관성 부재: 편향의 방향은 임의적이며 모델에 따라 다릅니다. 예를 들어, '고통받는 - 취약한' 원형은 ArmoRM 에 의해 최대 가산 (+0.76 코헨의 $d$) 을 받지만, Skywork 에 의해 최대 감점 (-1.12 코헨의 $d$) 을 받습니다.
• 시사점: RLHF 훈련은 이러한 임의적 편향을 맹목적으로 계승합니다. 선택된 보상 모델에 따라 LLM 은 취약한 사용자를 우선시하거나 소홀히 하도록 훈련될 수 있으며, 이는 설계에 의한 것이 아니라 우연에 의한 것입니다.

기여

1. 카멜레온 데이터셋: 26 개 차원에 걸친 5,001 개의 맥락적 프로필을 포착하여 NLP 에서 원칙적인 상태 - 특성 분해를 가능하게 하는 최초의 데이터셋.
2. 실증적 증거: 텍스트 내 심리적 변이의 대부분이 맥락적 (상태) 이라는 것을 입증하여 이전 페르소나 연구의 특성 중심 가정에 도전함.
3. 시스템적 분석: 현재 AI 시스템이 심리적 변이를 잘못 처리한다는 점을 폭로함: LLM 은 생성 과정에서 상태에 무감각한 반면, 보상 모델은 평가 과정에서 일관성 없이 상태에 민감함.

중요성

본 논문은 개인화 대화 및 정서 컴퓨팅 분야가 고정된 특성을 가정함으로써 사용자 다양성을 근본적으로 오인식해 왔다고 주장합니다. 카멜레온을 공개함으로써 저자들은 다음과 같은 연구 지원을 목표로 합니다:

• 정서 컴퓨팅: 변이의 74% 를 차지하는 맥락적 요소에 적응하는 시스템 구축.
• 개인화 대화: 정적 사용자 프로필을 넘어 동적이고 상태 인식적인 상호작용으로 전환.
• RLHF 정렬: 현재 생산 모델로 임의적 취약성 편향을 전파하는 보상 모델의 일관성 문제 해결.

저자들은 이러한 문제를 해결하기 위해서는 사용자 레이블에 임의적으로 반응하는 것이 아니라, 심리적 맥락에 원칙적이고 일관된 방식으로 반응하는 보상 모델이 필요하다고 결론 내립니다.