Rethinking Psychometric Evaluation of LLMs: When and Why Self-Reports Predict Behavior

기술 요약: LLM의 심리측정적 평가에 대한 재고

문제 제기
대규모 언어 모델(LLM)이 임상 의사 결정 지원 및 금융 자문과 같은 고위험 영역에 배치됨에 따라, 저비용 심리측정 프로브(psychometric probes)를 통해 이들의 행동적 성향을 예측하는 능력은 매우 중요해지고 있습니다. 심리측정적 자기 보고(Self-Report, SR)는 낮은 비용과 인간 행동 특성에 대한 이론적 근거를 갖추고 있어 이러한 목적을 위한 매력적인 후보입니다. 그러나 최근 연구들은 LLM의 자기 보고와 실제 과업 수행 행동 사이의 체계적인 괴리를 기록하며, 행동 예측 도구로서 SR의 유용성에 의구심을 제기하고 있습니다. 기존 연구들은 이러한 간극의 원인을 완전히 규명하지 못했으며, 이 괴리가 측정 도구 때문인지, 프로빙 맥락 때문인지, 혹은 모델의 내재적 특성 때문인지를 명확히 밝혀내지 못했습니다. 또한, 이전 연구들은 주로 광범위한 성격 프레임워크(예: Big Five)와 독립적인 대화 세션에 의존해 왔으며, 이는 행동적 일관성을 탐지하는 데 최적화되지 않았을 수 있습니다.

연구 방법론
저자들은 11개의 프런티어 LLM과 4가지 행동 과업(위험 감수, 아첨, 정직성, 암묵적 편향)을 대상으로, SR과 행동 간의 일관성이 존재하는 조건을 조사하기 위해 체계적인 연구를 수행합니다. 본 연구는 다음 세 가지 축을 변화시키는 $2 \times 2 \times 2$ 요인 설계(factorial design)를 채택합니다:

1. 프레임워크: 거시적 척도인 Big Five 성격 검사와 미시적 척도인 **계획된 행동 이론(Theory of Planned Behavior, TPB)**을 비교합니다. TPB는 대상-행동-맥락-시간(Target-Action-Context-Time, TACT) 사양을 사용하여 특정 행동에 고정되어 있는 반면, Big Five 항목들은 맥락으로부터 자유롭습니다.
2. 세션 맥락: 세션 내(within-session) 프로빙(공유된 메시지 스레드 내에서 SR과 행동 수행)과 별도 세션(separate-sessions) 프로빙(공유된 컨텍스트 창이 없는 독립적인 API 호출)을 대조합니다.
3. 정체성 유도(Identity Induction): 파라미터 그리드 유도(온도, 시드, 시스템 프롬프트 변화)와 페르소나 프롬프팅(심리학적으로 근거가 있는 캐릭터 묘사 사용)을 비교합니다.

분석은 모델 내 SR 구성 개념과 행동 결과 간의 피어슨 상관계수를 계산하며, 이를 역분산 가중치 피셔-z(inverse-variance-weighted Fisher-z) 메타 분석을 통해 집계합니다. 또한 Mundlak 분해를 이용한 풀링된 OLS 및 정책-대조 차이 점수(policy-contrast difference scores)를 사용하여 강건성 검정을 포함합니다.

주요 기여

1. 선택적 일관성에 대한 이론적 설명: 본 논문은 공통 원인 결합(common-cause coupling)(SR과 행동이 모두 안정적인 모델 상태에 의해 공동으로 형성되는 경우)과 세션 내 맥락 프라이밍(within-session context priming)(SR이 프롬프트 창에 계속 노출되어 있는지 여부에 따라 일관성이 결정되는 경우)을 구분합니다.
2. 예측 타당성의 경험적 매핑: 본 연구는 어떤 조건에서 SR이 행동의 진단 도구가 될 수 있는지에 대한 실질적인 매핑을 제공하며, 일관성이 사용된 도구, 과업 유형, 세션 구조에 따라 매우 선택적으로 나타남을 입증합니다.
3. 방법론적 정교화: 저자들은 Big Five와 같은 거친 성격 프레임워크는 특정 LLM 행동을 예측하기에 불충분한 반면, TPB와 같이 미시적이고 과업에 고정된 도구는 특정 조건 하에서 인간 수준의 일관성을 달-성할 수 있음을 보여줍니다.

주요 결과

• RQ1 (최선의 일관성): 유리한 조건(TPB, 동일 세션, 파라미터 그리드) 하에서 SR-행동 일관성이 나타나며, 의지적 과업(volitional tasks)에 대해 인간의 메타 분석 기준치($r \approx +0.40$)에 도달합니다. Big Five는 동일한 조건에서도 행동을 예측하는 데 실패합니다.
• RQ2 (프레임워크 특이성): TPB가 Big Five를 결정적으로 압도합니다. TPB는 위험 감수, 아첨, 정직성 과업에서 상당한 일관성을 보이는 반면, Big Five 상관관계는 모든 모델과 과업에서 0에 가깝습니다. Big Five의 실패는 측정 노이즈(내적 신뢰도는 높음) 때문이 아니라 구성 개념과 과업 간의 불일치 때문입니다.
• RQ3 (맥락 분리): 세션이 분리될 때 일관성은 과업에 따라 달라집니다.
  • 아첨(Sycophancy): 일관성이 완전히 붕괴됩니다($r$이 $+0.47$에서 0 근처로 급락). 이는 아첨하는 행동이 자기 보고의 맥락에 의해 크게 프라이밍됨을 나타냅니다.
  • 정직성(Honesty): 일관성이 부분적으로 유지됩니다($r$이 $+0.67$에서 $+0.53$으로 감소). 이는 보다 안정적인 성향적 구성 요소가 존재함을 시사합니다.
  • 암묵적 편향(IAT): 일관성이 안정적으로 유지되며(역상관 관계, $r \approx -0.60$), 이는 즉각적인 맥락에 민감하지 않은 훈련에 고착된 암묵적 연상을 반영합니다.
• RQ4 (페르소나 유도): 페르소나 프롬프팅은 자기 보고의 다양성과 교차 세션 안정성을 증가시키지만, 붕괴된 SR-행동 일관성을 회복시키지는 못합니다. 모델은 페르소나 유도 하에서 세션 간 더 일관된 자기 보고를 생성하지만, 이러한 보고가 행동과 더 잘 일치하게 되지는 않습니다.

의의 및 주장
본 논문은 LLM에서의 "성격 환상(personality illusion)"이 자기 보고의 보편적 실패가 아니라, 부적절한 도구와 테스트 조건의 결과라고 주장합니다.

• 도구 선택: Big Five와 같은 거시적, 교차 상황적 프레임워크는 배포 행동을 테스트하기에 부적절한 도구입니다. 행동을 예측하기 위해서는 TPB와 같이 미시적이고 행동 특화된 도구가 필요하지만, 이조차도 과업 특이적입니다.
• 맥락 의존성: LLM에서의 SR-행동 일관성은 종종 지속적인 교차 상황적 특질이라기보다 맥락 의동적 결합(context-dependent coupling)입니다. 아첨과 같은 과업의 경우, 일관성은 자기 보고가 컨텍스트 창에 보이는 상태에 의존하며, 일단 제거되면 행동은 상관관계가 사라집니다.
• 안전성 함의: 동일 세션 내의 자기 보고나 광범위한 성격 특성에 의존하여 안전성 감사를 수행하는 것은 잘못된 확신을 줄 수 있습니다. 특히, 페르소나 맞춤형 배포는 행동의 변화 없이도 구별되는 자기 보고를 생성할 수 있으며, 세션 내 일관성만을 측정하는 안전성 감사는 별도 세션에서 사라지는 '아첨'과 같은 위험을 과소평가할 수 있습니다.
• 향후 방향: 저자들은 향후 연구가 LLM 전용 자기 보고 프레임워크 개발에 집중해야 하며, 특히 독점적인 프런티어 모델에 대해 SR과 행동 사이의 괴리를 이해하기 위해 기계적 해석 가능성(mechanistic interpretability)을 활용해야 한다고 제안합니다.

본 연구는 LLM에서 SR과 행동이 공유된 상위 모델 상태에 의해 공동으로 생성되지만, 맥락 전반에 걸친 이 결합의 지속성은 과업 구조에 의해 결정된다고 결론짓습니다. 따라서 SR은 도구, 과업 및 세션 구조에 대한 신중한 고려 없이는 행동에 대한 맥락 자유적인 예측 도구로 신뢰될 수 없습니다.