기술 요약: 프롬프트에서 구성 개념으로: 심리학 연구를 위한 대규모 언어 모델의 이중 타당도 프레임워크

문제 제기

대규모 언어 모델(LLM)은 텍스트 코딩이나 자극 생성과 같은 도구(예: 텍스트 코딩 또는 자극 생성)로서, 혹은 인간의 행동을 시뮬레이션하거나 인지 과정을 모델링하는 연구 대상(예: 인간 행동 시뮬레이션 또는 인지 과정 모델링)으로서 심리학 연구에 점점 더 많이 활용되고 있다. 그러나 중요한 방법론적 격차가 존재한다. 연구자들이 인간에 의해 타당성이 검증된 심리 측정 도구(검사지, 설문지, 행동 과제)를 LLM에 적용할 때, 그 출력값이 신뢰할 수 있거나 해석 가능한지를 확립하지 않은 채 사용하는 경우가 빈번하다는 점이다.

이러한 관행은 검증되지 않은 가정들에 기반하고 있다. 즉, 인간이 검증한 도구가 비인간 시스템에도 유효할 것이라는 가정, 표면적으로 유사한 출력이 유사한 기저 과정을 반영한다는 가정, 그리고 모델 응답의 통계적 패턴이 인간 데이터와 동일한 추론적 무게를 갖는다는 가정이다. 본 논문은 이러한 가정들이 경험적으로 취약하다고 주장한다. 증거에 따르면 LLM의 응답은 사소한 프롬프트 변화(예: 구두점, 공백, 옵션 순서)와 훈련 아티팩트(예: 아첨 편향, 정렬 편향)에 매우 민감하며, 이는 "측정 환영(measurement phantoms)"—즉, 실제 심리학적 현상으로 오인되는 통계적 규칙성—로 이어진다. 결과적으로, LLM의 성격, 마음 이론(theory of mind), 또는 도덕적 추론에 관한 주장들은 필요한 심리 측정적 및 인과적 토대가 결여된 경우가 많다.

방법론적 프레임워크

본 논문은 심리학의 두 가지 서로 다른 방법론적 전통을 통합하는 **이중 타당도 프레임워크(Dual-Validity Framework)**를 제안한다.

1. 심리 측정 전통(The Psychometric Tradition): 측정 품질과 점수의 의미(구성 타당도)에 초점을 맞춘다. 이는 도구가 내용, 반응 과정, 내부 구조, 다른 변수와의 관계, 그리고 결과로부터 얻은 증거를 통해 의도한 구성 개념을 측정하는지를 묻는다.
2. 인과 추론 전통(The Causal Inference Tradition): 원인과 결과에 대한 정당한 결론에 초점을 맞춘다. 이는 내부, 외부, 구성, 그리고 통계적 결론 타당성에 대한 위협을 평가한다.

이 프레임워크는 LLM 연구가 두 전통의 통합을 필요로 한다고 상정하는데, 왜냐하면 동일한 LLM 출력이 종종 측정 지표(모델이 '무엇인가')인 동시에 실험적 결과(조작 하에 모델이 '무엇을 하는가')의 역할을 하기 때문이다.

과학적 야망의 위계

본 논문은 과학적 야망이 높아짐에 따라 증거의 부담이 커지는 위계를 설정한다:

• 도구 사용(Tool Use): 과제 타당도(정확도, 프롬프트 변화에 대한 강건성)를 요구한다.
• 행동 특성 규명(Behavioral Characterization, 기계 심리학): 모델의 속성에 대한 기술적 주장(예: "모델이 특성 X를 보인다")을 뒷받ert하기 위해 심리 측정적 타당도(신뢰도, 구성 타당도)를 요구한다.
• 인간 시뮬레이션(Human Simulation): 인간의 응답 분포를 재현하는 행동적 대응성(behavioral correspondence)과 더불어, 행동 특성 규명의 타당도 요구 사항을 모두 요구한다.
• 인지 모델링(Cognitive Modeling): 가장 강력한 부담을 갖는다: 모델의 계산 과정이 단순히 인간의 답변과 유사한 출력을 내는 것을 넘어, 인간의 인지 메커니즘을 조명한다는 증거를 요구한다.

주요 기여 및 진단적 발견

1. 타당도의 전제 조건으로서의 신뢰도 실패

본 논문은 LLM 측정의 신뢰도를 저해하여 타당도에 단단한 천장을 형성하는 세 가지 주요 불안정성 원인을 상세히 설명한다:

• 훈련 아티팩트(Training Artifacts): 인간 피드백 기반 강화 학습(RLHF)과 같은 사후 훈련 절차는 아첨(사용자 방향의 동의)과 순응 편향(모순되는 항목에 대한 긍정)을 유발한다. 훈련 데이터 오염은 잠재적 특성 발현이 아닌 암기를 유도한다.
• 프롬프트 초민감성(Prompt Hypersensitivity): LLM은 비의미적 변이(예: "Case 1"을 "(A)"로 변경하거나 구두점 변경)에 불균형적으로 민감하게 반응한다. 이는 평행형식 신뢰도(parallel-forms reliability)를 위반하며, 프롬프트 형식에 따라 정확도가 최대 76%포인트까지 변화한다.
• 생성 불안정성(Generation Instability): 확률적 샘플링(온도 설정), 컨텍스트 윈도우 축적(최근의 대화가 이전 대화를 압도하는 현상), 버전 드리프트(업데이트로 인한 응답 패턴 변화)는 생물학적 시스템에는 없는 불신뢰성을 도입한다.

2. 타당도 위협의 진단 지도

본 논문은 타당도 위협을 계산적 메커니즘에 매핑하는 진단 분류 체계(Table 1)를 제공한다:

• 심리 측정적 위협:
  • 내용(Content): 영역 과소 샘플링(예: 도덕적 추론에 트롤리 딜레마만 사용) 및 훈련 데이터 오염.
  • 반응 과정(Response Processes): 메커니즘적 대체(다음 토큰 예측 vs 심리학적 숙고) 및 구조적 아티팩트(주의 집중 편향).
  • 내부 구조(Internal Structure): 구조적 부적합(인간의 차원성을 재현하지 못하는 요인 모델) 및 요인 붕괴(정렬로 인한 우호성 증가 및 분산 압축).
  • 다른 변수와의 관계(Relations to Other Variables): 노몰로지적 불안정성(모델/파라미터에 따라 상관관계가 변함) 및 행동 보고-불일치.
  • 결과(Consequences): 편향의 실체화(말뭉치의 편향을 안정적인 특성으로 해석) 및 부적절한 적용.
• 인과 추론 위협:
  • 내부(Internal): 샘플링 파라미터 혼재(예: 온도 설정이 조작 변수와 공변함), 프롬프트 혼재(언어와 문화의 혼재), 버전 드리프트 혼재.
  • 외부(External): 모델/프롬프트 간 일반화 실패 및 집단 불일치(검증 없이 모델 출력을 인간에게 투영).
  • 구성(Construct): 조작 타당도 실패(심리적 메커니즘이 아닌 토큰 확률을 변경함) 및 결과 타당도 불일치(능력이 아닌 언어적 유창성을 측정함).
  • 통계적 결론(Statistical Conclusion): 모델 출력의 비독립성(여러 번의 생성을 독립적인 참가자로 취급) 및 분산 제한.

3. 계산적 유사체(Computational Analogs)의 필요성

본 논문은 인간의 척도를 LLM에 적용하고 일치 여부를 확인하는 것이 잘못된 출발점이라고 주장한다. 대신, 연구자들은 심리학적 구성 개념의 계산적 유사체를 개발해야 한다. 이는 구성 개념의 이론적 역할은 보존하면서 메커니즘의 차이를 인정하는 재개념화이다 (예: LLM에서의 "불안"을 체화된 위협 반응이 아니라 높은 불확실성 지표와 부정적 가치 언어로 정의하는 것).

결과 및 증거

본 논문은 현재의 관행이 타당도 기준을 충족하지 못하는 경우가 많음을 보여주는 최신 증거들을 종합한다:

• 신뢰도: 연구에 따르면 LLM의 성격 점수는 프롬프트 문구나 온도 설정에 따라 급격히 변할 수 있으며, 모델은 종종 모순되는 진술을 옹호한다 (예: "나는 내향적이다"와 "나는 외향적이다"를 동시에 옹호).
• 구성 타당도: 빅 파이브(Big Five) 검사에 대한 LLM의 응답 요인 분석은 인간에게서 발견되는 5요인 구조를 재현하는 데 실패하는 경우가 많다. 또한, 마음 이론 과제에서의 "성공"은 진정한 정신적 이해가 아니라 경직된 휴리스틱이나 훈련 데이터의 인출을 반영하는 경우가 많다.
• 인과 추론: 문화적 또는 윤리적 차이를 테스트하기 위해 프롬프트를 조작하는 실험들은 통제되지 않은 혼재 변수(예: 언어적 차이가 문화적 정체성과 혼재됨)로 인해 인과적 주장이 모호해지는 경우가 많다.

의의 및 주장

본 논문은 "AI 심리학" 분야가 인간의 심리 측정 표준을 확률적이고 비생물학적인 시스템에 무비판적으로 전이함으로써 "측정 환영"을 만들어낼 위험에 처해 있다고 주장한다. 본 논문의 주요 의의는 다음과 같다:

1. 이중 타당도 표준 확립: 견고한 AI 심리학 연구는 심리 측정적 요구 사항(점수의 의미)과 인과 추론 요구 사항(연구가 정당화하는 바)을 동시에 충족해야 함을 주장한다.
2. 증거 위계의 명확화: 더 강력한 주장(예: 인지 모델링)은 현재 많은 문헌에서 결여되어 있는 신뢰도와 타당도 증거의 누적된 토대를 필요로 함을 명시한다.
3. 연구 의제의 재설정: 연구의 초점을 "LLM이 인간의 특성을 갖는가?"에서 "어떤 계산적 메커니즘이 인간과 유사한 패턴을 생성하며, 이를 어떻게 그 자체의 용어로 측정할 것인가?"로 전환한다.

본 논문은 진보가 인간의 척도가 자동으로 적용된다고 가정하는 것이 아니라, 구성 개념의 계산적 유사체를 개발하고 계산적 혼재 변수를 통제하는 실험 설계를 개발하는 데 달려 있다고 결론짓는다. 또한 측정 접근 방식의 사전 등록, 검증된 프롬프트 저장소 개발, 그리고 LLM 데이터의 비독립성과 확률적 특성에 맞춤화된 통계적 표준을 포함한 조율된 연구 관행의 개혁을 촉구한다.