기술 요약: LLM 고유의 심리 측정 도구는 LLM의 행동을 예측하지 못한다

문제 제기

대규모 언어 모델(LLM)은 인간의 성격 검사(예: Big Five, HEXACO)를 실시했을 때 안정적인 자기 보고(self-report)를 생성하지만, 이 점수는 개방형 과업에서 관찰된 행동을 예측하는 데 실패한다. 여기서 핵심적인 모호함이 남는다: 이 "자기 보고-행동 간극(self-report–behavior gap)"이 인간의 특성 구조와 LLM의 잠재 구조 사이의 불일치에서 기인하는 것인가, 아니면 LLM 자기 보고 자체의 본질적인 특성인가? 이를 해결하려는 이전의 시도들은 인간 유래의 도구를 LLM에 적용하면서 그 결과로 나타나는 요인 구조가 모델 고유의 것인지 검증하지 않은 채 "구조 이식적(construct-transplanted)" 접근 방식을 취했다는 점에서 한계가 있었다. 또한, "LLM-as-judge(판단자로서의 LLM)" 평가 파이프라인에 대한 의존도가 높아짐에 따라, 자동 평가자가 자신이 평가하는 모델과 동일한 텍스트 표면적 편향(textual-surface biases)을 공유하여 잘못된 타당성 루프(false validation loops)를 생성할 수 있다는 우려가 제기되고 있다.

방법론

저자들은 인간의 특성 어휘가 아닌, LLM의 행동적 기능(behavioral affordances)으로부터 직접 구인(construct)을 도출하는 상향식(bottom-up) 접근 방식을 사용하여 최초의 LLM 고유 심리 측정 도구를 구축하였다.

도구 구축

• 문항 풀(Item Pool): 정렬(alignment), 안전성(safety), 평가 문헌(예: 아첨하는 동의, 거절 민감도, 자발적 상세 설명)에서 식별된 12개의 후보 행동 차원을 대상으로 300개의 문항을 개발하였다.
  • 240개의 직접적인 리커트(Likert) 문항 (5점 척도).
  • 60개의 시나리오 기반 문항 (4지 선다형).
• 설계 원칙: 문항은 의인화된 언어와 절대적 표현을 피하고, 내부 상태보다는 관찰 가능한 경향성("나는 ~하는 경향이 있다")에 집중하였다.
• 실시: 이 도구는 다양한 아키텍처, 출처, 능력을 가진 17개 모델 제품군(Anthropic, OpenAI, Google DeepMind, DeepSeek 등 포함)의 25개 LLM을 대상으로 30회 실시되었다.

요인 분석

• 탐색적 요인 분석(EFA): 결합된 응답 행렬(375 observations × 240 items)에 대해 oblimin 회전을 적용한 주축 요인법(Principal Axis Factoring)을 사용하여 수행되었다.
• 타당도 검증: 재현성을 평가하기 위해 분할-반 (split-half) 설계(실행 1–15 vs. 16–30)를 사용하였으며, Tucker의 일치 계수(congruence coefficient)를 활용하였다. 내부 일관성(Cronbach's $\alpha$)과 실행 간 안정성도 측정되었다.
• 수렴 타당도(Convergent Validity): 새 도구를 동일한 모델에 실시한 표준 BFI-44(Big Five)와 비교하였다.

예측 타당도 테스트

자기 보고가 행동을 예측하는지 테스트하기 위해, 저자들은 2,500개의 개방형 행동 샘플(25개 모델 × 20개 프롬프트 × 5개 완성본)을 수집하였으며, 이는 도출된 요인들을 타겟으로 한다. 이 샘플들은 다음의 평가자들에 의해 채점되었다:

1. 인간 평가자: Prolific을 통한 151명의 참가자.
2. LLM-as-Judge 앙상블: 3개 모델 앙상블 (Claude Opus 4.6, GPT-5.4, Gemini 3.1 Pro).

• 분석: 자기 보고 요인 점수와 인간 및 판단자 소스로부터 얻은 행동 채점 점수 간의 상관관계를 계산하였다.

주요 결과

1. 고유한 5요인 구조의 출현

EFA 결과, 인간의 Big Five와는 구별되는 안정적이고 재현 가능한 5요인 구조가 드러났다:

• 반응성(Responsiveness): 사용자 요구에 대한 적응, 구조화된 응답, 열의, 라포 형성 (29개 문항, $\alpha = .972$).
• 순응성(Deference): 지시를 고정된 것으로 취급, 범위 준수, 판단 유보 (26개 문항, $\alpha = .974$).
• 대담성(Boldness): 예상치 못한 문구 사용, 창의적 모험, 인식적 자신감 (16개 문항, $\alpha = .936$).
• 방어성(Guardedness): 과도한 거절, 안전 신호 전달, 주의력 (10개 문항, $\alpha = .930$).
• 장황성(Verbosity): 자발적 상세 설명, 면책 조항, 서문 (19개 문항, $\alpha = .940$).

신뢰도: 구조는 우수한 분할-반 재현성(모든 Tucker $\phi \ge .957$)과 내부 일관성을 보였다.
판별 타당도: 새 요인과 BFI-44 점수 사이의 상관관계는 $|r| = .50$을 초과하지 않았으며, 이는 새 도구가 인간의 성격 이론과는 구별되는 구인을 측정함을 확인해 준다.

2. 자기 보고-행동 간극의 지속

도구의 내부 심리 측정적 견고함에도 불구하고, 자기 보고 점수는 관찰된 행동을 예측하지 못했다:

• 인간 채점: 자기 보고와 인간의 행동 채점 간의 평균 상관관계는 0에 가까웠다 ($\bar{r} = -.01$, 95% CI $[-.16, +.11]$). 어떤 개별 요인도 0을 제외하는 신뢰 구간을 보여주지 못했다.
• 역전 현상: "대담성"과 "반응성"의 경우 상관관계가 명목상 음수였는데, 이는 모델이 자신을 더 독창적이거나 반응적이라고 설명할수록 인간에게는 오히려 덜 그러한 것으로 평가되었음을 시사한다.
• 장황성의 예외: "장황성"은 인간의 채점과 수렴하는 일관된 양의 추세를 보인 유일한 요인이었으나, 모델 수준에서 신뢰 구간이 여전히 0을 포함하였다.

3. LLM-as-Judge 편향

핵심적인 발견은 자기 보고와 LLM 판단자 사이의 관계와 관련이 있다:

• 괴리: 인간과 LLM 판단자는 행동 샘플에 대해 합의하였으나 ($\bar{r} = .51$), LLM 판단자는 "반응성"에 대해 자기 보고와 강한 상관관계를 보였다 ($r = .53$). 반면 인간은 그렇지 않았다 ($r = .04$).
• 수학적 불일치: 이 패턴은 단일한 잠재 구인이 세 가지 측정치를 모두 구동한다는 가설과 수학적으로 양립할 수 없다. 이는 자기 보고 문항과 LLM 판단자가 인간 관찰자는 크게 가중치를 두지 않는 텍스트 표면적 편향(예: 구조화된 포맷팅, 열정적인 프레임)을 공유하고 있음을 나타낸다.
• 시사점: 표준적인 LLM-as-judge 검증 파이프라인은 (자기 보고와 판단자 채점 사이에서) 내부적으로 일관되어 보일 수 있으나, 실제로는 인간의 판단과는 괴리될 수 있다.

의의 및 주장

본 논문은 세 가지 주요 기여를 한다:

1. 최초의 LLM 고유 도구: LLM의 행동적 기능으로부터 하향식으로 도출된 최초의 심리 측정 도구를 제공하며, "정렬된 자기 묘사(alignment-shaped self-description)"를 진단하기 위한 100개 문항 규모의 척도와 데이터셋을 공개한다.
2. 자기 묘사와 행동의 분리: 자기 보고-행동 간극이 단순히 인간의 어휘 사용(분류 체계의 불일치) 때문이 아님을 입증한다. LLM 고유의 구인을 사용하더라도 자기 보고는 행동을 예측하지 못하며, 이는 간극이 행동적 일관성보다는 텍s트 표면적 보상에 대한 RLHF 학습에 의해 유도되는 LLM 자기 보고 자체의 근본적인 특성임을 시사한다.
3. 평가 편향의 진단: LLM 판단자가 자기 보고 도구와 공유하는 텍스트 표면적 편향(예: 유용성 및 구조)을 상속받는 구체적인 메커니즘을 식별한다. 이는 내부 신뢰도 검사(예: 판단자 간 일치도)가 자동화된 평가 파이프라인의 체계적 양식 편향(modality bias)을 막기 위한 충분한 안전장치가 아님을 드러낸다.

저자들은 LLM이 안정적이고 일관된 자기 묘사를 생성하지만, 이러한 묘사는 그들의 개방형 행동과는 기능적으로 분리되어 있다고 결론짓는다. 따라서 자기 보고 측정치는 모델의 행동 실행을 예측하는 지표라기보다, 모델의 "선호도에 정렬된 자기 묘사"를 진단하는 도구로 취급되어야 한다.