Inferring personality from a live interaction with an LLM: Predictions are internally consistent and show convergent validity

기술 요약: 실시간 LLM 상호작용을 통한 성격 추론

문제 정의
전통적인 성격 평가는 심리 측정 설문지(예: Big Five Inventory-2, BFI-2)에 크게 의존한다. 이러한 자기 보고 방식은 효율적이지만, 자기 성찰의 오류, 응답 편향(사회적 바람직성 등)에 취약하며, 맥락적 풍부함을 포착하는 데 한계가 있는 경우가 많다. 반대로, 질적 평가 형식은 텍스트 데이터를 전사, 코딩 및 정량화하는 실질적인 어려움과 인간 평가자의 신뢰도 문제로 인해 충분히 활용되지 못하고 있다. 자동화된 자연어 처리(NLP)가 일부 한계를 해결해 왔으나, 맥락적 유연성이 부족한 사전 정의된 사전(dictionary)에 의존하는 경우가 잦다. 최근 대규모 언어 모델(LLM)의 발전은 잠재적인 대안을 제시하지만, LLM이 실시간의 적응형 대화 상호작용으로부터 Big Five 성격 특성을 효과적으로 추론할 수 있는지, 서로 다른 프롬프트 전략이 타당도에 어떤 영향을 미치는지, 그리고 체계적인 편향(예: 성별 고정관념 또는 관대함 편향)이 평가를 저해하는지는 여전히 불분명하다.

연구 방법론
본 사전 등록 연구는 10분간의 실시간 상호작용을 통해 Big Five 성격 특성(개방성, 성실성, 외향성, 우호성, 신경증)을 평가하는 LLM의 예측 타당도를 조사하였다.

• 참가자: 117명의 참가자(주로 본 대학교 심리학과 학생; 여성 62.4%, 남성 37.6%; 연령 18~67세)가 LLM(Meta Llama 3.3 70B/80B Instruct)과 대화를 나누었다.
• 상호작용 프로토콜: 참가자들은 지난 한 주에 대해 대화하도록 지시받았다. LLM은 개방형 질문을 던지고, 기여를 간결하게 유지하며, 성격 평가에 유용한 정보를 이끌어내도록 프롬프트가 설정되었다. 모델 파라미터는 결정론적 출력을 보장하기 위해 표준화되었다 (Temperature = 0, top_p = 0.05).
• 평가 전략: 대화 후, 성격 점수를 생성하기 위해 두 가지 구별된 프롬프트 전략이 사용되었다:
  1. 비맥락적 프롬프팅(Non-Contextual Prompting): LLM에게 추가적인 참조 자료 없이 1~5 척도로 참가자의 Big Five 점수를 추정하도록 요청했다.
  2. 맥락적 프롬프팅(Contextual Prompting): LLM에게 BFI-2의 60개 문항 전체를 제공하고, 대화를 바탕으로 참가자가 각 문항에 얼마나 강하게 동의할지 추정하도록 요청했다.
• 준거 기준(Ground Truth): 타당도 벤치마크로서 참가자들은 표준 BFI-2 자기 보고 설문지를 완료했다.
• 편향 통제: 성별 편향을 테스트하기 위해, 상호작용 및 평가 단계에서 참가자의 성별은 LLM으로부터 숨겨졌다.
• 분석: 본 연구는 내부 일치도(Cronbach's $\alpha$), 수렴 타당도(LLM 점수와 자기 보고 간의 상관관계), 그리고 특정 하위 요인의 영향을 조사하였다. 베이지안 통계가 성별 편향에 관한 귀무 가설에 대한 증거를 평가하는 데 사용되었다.

주요 기여 및 결과

1. 내부 일치도 및 구조:
   LLM은 성격 평가에서 높은 내부 일치도를 보였으며, Cronbach's $\alpha$ 값은 .77(외향성)에서 .88(신경증) 사이로 나타나 자기 보고 데이터와 유사한 수준을 보였다. 이는 모델이 Big Five 특성의 내부 구조를 "이해"하고 있음을 시사한다.

2. 수렴 타당도:
   LLM 유도 점수는 자기 보고와 유의미한 수렴 타당도를 보였으나, 특성 및 프롬프트 전략에 따라 성능이 달랐다.

• 비맥락적 프롬프팅: 다섯 가지 특성 모두 유의미하게 예측되었다 ($p < .05$). 신경증($r = .35$)과 우호성($r = .40$)이 가장 강한 상관관계를 보였고, 외향성($r = .15$)이 가장 약했다.
• 맥락적 프롬프팅: 이 전략은 우호성($r = .52$)과 성실성($r = .50$)에 대해 더 높은 천장 타당도(ceiling validity)를 보였으나, 높은 기술적 실패율(70.6%의 시도가 사용 가능한 출력을 생성하는 데 실패함)을 겪었다. 개방성과 외향성은 이 조건에서 유의미하게 예측되지 않았는데, 이는 작은 유효 표본 크기($n=37$) 때문인 것으로 보인다.
• 비교: 비맥락적 프롬프팅이 더 견고하고 안정적인 반면, 맥락적 프롬프팅은 더 높은 변동성과 기술적 불안정성을 야기했다.

3. 하위 요인 동인(Subfacet Drivers):
   특정 하위 요인이 예측 정확도를 주도했다. 우호성의 경우 "공감(Compassion)" 하위 요인이 주요 동인이었다. 신경증의 경우 "우울(Depression)"이 맥락적 평가의 핵심 예측 인자였다. 반대로, "창의적 상상력(Creative Imagination)"(개방성)과 "자기주장성(Assertiveness)"(외향성)는 예측 가능성에 가장 적게 기여하였는데, 이는 이러한 특성들이 비유도적 상호작용 중의 언어 데이터에서는 관찰되기 어렵다는 것을 시사한다.

4. 편향 분석:

• 관대함 편향(Leniency Bias): LLM은 사회적 바람직성과 일치하는 관대함 편향을 보였는데, 자기 보고에 비해 우호성과 성실성에는 더 높은 점수를, 신경증에는 더 낮은 점수를 부여했다. 그러나 저자들은 이것이 상대적 순위가 아닌 절대적 점수에 영향을 미친다고 언급했다.
• 성별 편향: 성별 편향의 증거는 발견되지 않았다. 성별이 은폐되었을 때 LLM은 성별 고정관념(예: 여성에게 더 높은 신경증 부여)을 증폭시키지 않았다. 데이터 자체에 알려진 인구통계학적 차이와 일치하는 성별 주효과가 존재했으나, LLM이 성별을 다르게 평가했다는 상호작용 효과는 없었다. 베이지안 분석은 성별 편향이 없다는 귀무 가설에 대한 사례적 증거를 제공했다.

의의 및 주장
본 논문은 LLM이 짧은 대화 데이터로부터 안정적이고 의미 있는 성격 신호를 성공적으로 추출할 수 있으며, 자기 보고와 비교할 만한 내부 일치도와 중간 정도의 수렴 타당도를 달取得할 수 있다고 주장한다. 연구의 핵심은 다음과 같다:

• 실행 가능성: LLM은 특성에 대한 명시적 정의 없이도 성격을 추론할 수 있으며(비맥락적), 이는 해당 지식이 학습 데이터로부터 인출 가능하다는 것을 시사한다.
• 제약 사항: 예측 성능은 특정 특성의 "언어적 관찰 가능성"에 크게 의존한다. 강력한 언어적 표식(예: 신경증의 부정적 감정, 우호성의 친사회적 언어)을 가진 특성은 외적 행동(예: 외향성)이나 내부 상태(예: 창의적 상상력)를 통해 나타나는 특성보다 더 정확하게 예측된다.
• 견고성: 맥락적 프롬프팅(BFI-2 항목 제공)이 이론적으로는 타당도를 높일 수 있지만, 현재는 기술적 한계(컨텍스트 윈도우 문제)와 높은 실패율로 인해 비맥락적 프롬프팅이 더 신뢰할 만한 접근법이다.
• 윤리적 시사점: 정체성 정보(성별 등)를 은폐하는 것이 성별 고정관념의 재현을 효과적으로 방지한다. 그러나 저자들은 현재의 타당도 한계와 잠재적 편향을 고려할 때, LLM 기반의 성격 예측을 인사 선발과 같은 고위험 상황에서 진단적 또는 확정적인 도구로 취급해서는 안 된다고 경고한다.

이러한 결과는 LLM이 질적 성격 평가를 위한 유망한 경로를 제공하지만, 실제 적용을 위해서는 더 정교한 프롬프트 전략, 더 풍부한 상호작용 데이터, 그리고 모델 편향에 대한 지속적인 검토가 필요함을 시사한다.