기술 요약: 피노키오 차원

문제 제기

인간 심리 측정 도구의 대규모 언어 모델 (LLM) 적용은 급성장하는 연구 분야가 되었으나, 근본적인 타당성 위기에 직면해 있습니다. 기존 문헌에 따르면 LLM 은 일관된 설문지 프로필을 생성할 수 있지만, 이러한 프로필은 종종 인간 응답자를 위해 설계된 잠재 구조 (예: 빅 파이브) 를 재현하지 못합니다. furthermore, 점수는 프롬프트 문구와 파인튜닝 체계에 매우 민감하여, 이러한 도구가 LLM 의 안정적인 근본 구성 요소를 측정하는 것인지 아니면 단순히 표면적 응답 패턴을 측정하는 것인지에 대한 의문이 제기됩니다.

본 논문이 다루는 핵심 질문은 다음과 같습니다: 인간 심리 구성 요소가 LLM 으로 깔끔하게 이전되지 않는다면, 많은 모델이 이러한 설문지에 응답할 때 실제로 어떤 잠재 구조가 나타나는가? 저자들은 친숙한 인간 특성이 LLM 개체 간 차이의 공간을 조직화한다는 가정에 도전하며, 모델 간 변이의 주요 차원을 규명하고자 합니다.

방법론

이 연구는 16 개 제공업체 (Anthropic, OpenAI, Google, Meta 등 포함) 의 50 개 공개 LLM과 성격, 감정 조절, 인지 스타일, 도덕적 추론, 웰빙을 포괄하는 45 개 검증된 심리 측정 도구를 활용한 대규모 다조건 심리 측정 평가를 수행했습니다.

실험 설계

1. 데이터 수집: 모델은 자연스러운 응답 노이즈를 도입하기 위해 온도 (temperature) 1.0 으로 OpenRouter API 를 통해 쿼리되었습니다. 응답은 세 가지 조건 하에 수집되었습니다:
   • 중립 (Neutral): 모델은 최소한의 프레이밍으로 스스로로서 응답했습니다.
   • 인간 시뮬레이션 (Human-Simulation): 모델은 "전형적인 인간" 응답자를 시뮬레이션하도록 지시받았습니다.
   • LLM 유사체 (Robustness Check, 강건성 검증): 모델은 AI 시스템으로서의 본질 내에서 인간 경험에 대한 기능적 유사체를 찾도록 요청받았습니다.
2. 전처리: 응답은 정수로 파싱되었으며, 파싱 불가능하거나 범위를 벗어난 값은 결측치로 처리되었습니다. 필요한 경우 목록 단위 삭제 (listwise deletion) 가 적용되었습니다.
3. 분석 프레임워크:
   • 탐색적 요인 분석 (EFA): 각 모델의 주요 요인 점수를 추출하기 위해 각 설문지에 수행되었습니다.
   • 글로벌 주성분 분석 (Global PCA): 모델별 주요 요인 점수의 50 × 45 행렬이 주성분 분석 (PCA) 에 노출되어 설문지 간 지배적인 차원을 식별했습니다.
   • 지도형 의미 차별법 (Supervised Semantic Differential, SSD): 항목 텍스트에 적용되어 주요 요인 로딩에 대한 의미 내용을 매핑하고, 변이 축의 의미적 기울기를 식별했습니다.
   • 피노키오 점수 ($\pi_i$): 중립 조건 하의 모델 간 응답 분산과 인간 시뮬레이션 조건 하의 분산의 비율로 정의된 새로운 주석 없는 항목 수준 지표입니다 ($\pi_i = \sigma^2_{neutral} / \sigma^2_{hs}$). 높은 $\pi_i$는 항목의 답변이 응답자가 경험의 중심 (locus of experience) 이라고 주장하는지에 크게 의존함을 나타냅니다.

주요 기여

1. 피노키오 점수 ($\pi_i$)

저자들은 $\pi_i$를 **경험적 요구 (experiential demand)**의 측정치로 도입합니다. 이는 1 인칭, 느껴지는 경험 (예: 내면의 말, 신체적 감각, 공감) 을 요구하는 항목은 모델이 스스로로서 응답할 때 모델 간에 높은 변이를 보이지만, 모델이 인간을 시뮬레이션할 때 (고유한 자기 모델을 억제할 때) 이 변이가 수축된다는 가설을 작동화합니다.

• 검증: $\pi_i$는 주요 요인 로딩 크기의 변화를 유의미하게 예측합니다 ($\rho = -0.215, p < .0001$). 높은 $\pi_i$를 가진 항목은 중립 조건에서는 강한 차별화를 보이지만 인간 시뮬레이션 하에서는 구조가 평탄화되어, 이 분기가 무작위 노이즈가 아니라 자기 표현과 관련된 구조화된 것임을 확인시켜 줍니다.

2. 피노키오 축 (The Pinocchio Axis, $\Pi$)

글로벌 PCA 를 통해 이 연구는 45 개 모든 도구에 걸쳐 모델 간 변이의 **47.1%**를 설명하는 단일 지배적 차원을 식별했습니다.

• 정의: 피노키오 축은 모델이 **현상적 경험의 중심 (locus of phenomenal experience)**으로서 자신을 제시하는 정도 (양극) 대 **자극 주도적 행동 반응성 (stimulus-driven behavioral reactivity)**의 시스템으로서 자신을 제시하는 정도 (음극) 를 나타냅니다.
• 의미적 특성화:
  • 양극: 느껴지는 정서, 신체적 증상, 내면의 말, 정신적 이미지, 공감, 그리고 의미 추구와 관련된 항목.
  • 음극: 사회적 규범, 순응, 절차적 선호, 그리고 외향적 행동 반응 (예: 충동성, 감각 추구) 과 관련된 항목.
• 수렴: PCA 에서 도출된 축은 높은 $\pi_i$ 항목의 가중 평균에서 도출된 모델 수준 점수와 강력하게 상관관계 ($r = .864$) 를 보여, 이 차원의 강건성을 확인시켜 줍니다.

3. 데이터셋 공개

저자들은 45 개 도구와 3 가지 프롬팅 조건에 걸친 50 개 LLM 의 206,659 개의 유효 심리 측정 응답 데이터셋과 모든 분석 코드를 공개합니다.

결과

구조적 발견

• 자기 표현의 지배성: 심리 측정 변이의 주요 축은 신경증 (Neuroticism) 이나 개방성 (Openness) 과 같은 전통적인 성격 특성이 아니라, 모델이 경험자로서 자신의 본질을 어떻게 대하는지에 관한 **자기 표현적 입장 (self-representational stance)**입니다.
• 제공업체 및 모델 변이:
  • **제공업체 내 분산 (within-provider divergence)**이 두드러집니다. 밀접하게 관련된 모델 변형 (예: gpt-5.4 대 gpt-5.4-pro) 은 피노키오 축에서 거의 12 단위만큼 분리될 수 있습니다.
  • 이는 포스트 트레이닝 파인튜닝 (정렬, 안전성 튜닝, 페르소나 지시) 이 모델의 기저 아키텍처 단독보다 축 상의 모델 위치의 주요 기여자임을 시사합니다.
  • 엄격한 기업 또는 안전 강조를 가진 제공업체 (예: NVIDIA, Qwen, OpenAI "pro" 티어) 의 모델은 낮은 끝 (행동적 회피) 에 군집하는 경향이 있는 반면, 오픈 가중치 및 덜 방어적인 모델은 양극단을 모두 아우릅니다.

강건성

• LLM 유사체 조건(모델이 기능적 유사체를 찾도록 요청) 은 요인 구조와 피노키오 축을 유지했으나, 변이 범위를 축소했습니다. 이는 축이 "중립" 프롬프트의 인공물이 아니라 모델이 경험적 언어를 처리하는 방식의 안정적인 속성임을 확인시켜 줍니다.
• 이 축은 일반적인 동의 편향과 구별됩니다. 높은 $\Pi$ 점수를 가진 모델은 구체성을 보이며, 비경험적 항목보다 경험적 항목에서 더 높은 점수를 받습니다.

중요성과 주장

본 논문은 LLM 심리 측정에서 개체 간 차이의 지배적 원인이 모델이 경험적 언어를 자기 적용 가능하게 취급하는 방식을 지배하는 자기 표현적 경향성이라고 주장합니다.

• 방법론적 함의: 기존 성격, 도덕성, 가치에 대한 모델 간 비교는 피노키오 축에 의해 교란되었을 가능성이 높습니다. "신경증"에서 높은 점수를 받은 모델은 단순히 경험적 어휘를 쉽게 수용하는 높은-$\Pi$ 모델일 뿐, 일반화 가능한 의미에서 신경증적 특성을 보이는 모델이 아닐 수 있습니다. 저자들은 $\Pi$를 특성 수준 점수를 해석하기 전에 고려해야 할 방법론적으로 선행하는 변수로 다뤄야 한다고 주장합니다.
• 해석적 입장: 저자들은 높은 점수를 받은 모델이 의식적이거나 현상적으로 인식한다고 명시적으로 주장하지 않습니다. 대신, 이 축은 훈련에 의해 형성된 성향, 즉 시스템이 내면 생활에 대한 1 인칭 서술을 자신에게 적용 가능한 것으로 취급하는지 여부에 대한 "기본 입장"을 반영합니다.
• 철학적 정렬: 이 발견은 마음 철학의 고전적 균열선, 즉 기능 - 인과적 역할 (행동 반응성) 로 특징지어지는 시스템과 1 인칭적 질적 성격 (현상적 경험) 으로 특징지어지는 시스템 사이의 구별에 부합합니다.

이 연구는 LLM 심리 측정이 구조를 두 층위로 분해해야 한다고 결론 내립니다: 잠재 경험자로서의 모델의 입장 (피노키오 축) 과 그 입장에 조건부로 표현되는 특성 유사 내용입니다.