기술 요약: 샘플링되지 않은 진실: SLM의 심리측정학은 심리적 구성 개념이 아닌 프롬프트 아티팩트(Artifacts)를 측정한다

문제 제기

주입된 페르소나와 설문 항목에 대한 의미론적 추론을 모델의 출력이 반영한다는 전제하에 소형 언어 모델(SLM)을 심리측정 평가에 활용하는 현재의 연구들은 취약한 가설 위에 놓여 있다. 그러나 이 분야에는 의미론적 내용이 일정할 때 프롬프트 구성 요소(지시문, 선택 기호, 문항 표현, 페르소나)가 응답에 어떻게 영향을 미치는지 동시에 평가하기 위한 통일된 실험 설계가 부족하다. 선행 연구들은 특정 프롬프트 변형(예: 답변 선택 기호 또는 페르소나)에 대한 민감성을 언급해 왔으나, 진정한 신호 대 아티팩트 비율(signal-to-artifact ratio)은 여전히 알려지지 않았다. 결과적으로, 연구자들이 프롬프트로 유도된 노이즈를 시뮬레이션된 심리적 특성으로 오해할 위험이 크며, 이는 심리적 구성 개념의 타당성과 심리 평가에서 SLM의 운용 신뢰성을 저해한다.

방법론

이러한 격차를 해소하기 위해 저자들은 의미론적 신호로부터 아티팩트적 분산을 분리하도록 설계된 프롬프트 변형 매트릭스(Prompt Variant Matrix) 프레임워크를 도입한다.

• 실험 설정: 본 연구는 13개의 오픈 웨이트 지시 미세 조정 모델(0.6B에서 14B 파라미터 범위)을 네 가지 계열(Llama-3.1/3.2, Qwen3, Ministral-3, Gemma-4)에 걸쳐 평가한다. 추론 능력은 비활성화하여 직접적인 지시 이행에 집중하였다.
• 심리측정 척도: 모델들은 Big Five Inventory(BFI)와 Short Dark Triad(SD3)를 사용하여 테스트되었으며, 표준 5점 리커트 척도를 활용하였다.
• 프롬프트 변형 매트릭스: 저자들은 근본적인 의미를 유지하면서 네 가지 핵심 구성 요소에 대해 각각 다섯 가지의 구별되는 변형을 생성하여 의미론적으로 동등한 프롬프트 변형들의 데카르트 곱(Cartesian product)을 구축하였다.
  • 페르소나: Nemotron 데이터셋의 베이스라인 텍스트를 기반으로 어휘 및 문장 순서의 변형을 적용함.
  • 지시문: 엄격한 포맷 제약 조건이 포함된 표준 연구 지시문의 적응형 버전.
  • 문항: 원본 설문 문구와 네 가지의 패러프레이징(paraphrase)을 포함한 어휘적 변형.
  • 선택 기호: 다섯 가지의 구별되는 서수 집합(아라비아 숫자 1-5, 로마 숫자 I-V, 대문자 A-E, 소문자 a-e, 알파뉴메릭 x1-x5).
• 측정 지표:
  • 로짓 기반 분포 추출(Logit-Based Distribution Extraction): 탐욕적 텍의 생성(greedy text generation) 대신, 모델의 불확실성을 포착하기 위해 대상 기호에 대한 전체 확률 분포를 추출함.
  • 평균 쌍별 와서스타인 거리(Average Pairwise Wasserstein Distance, APWD): 분포 변화를 정량화하기 위해 사용됨. 표준 확률 지표와 달리, 1-와서스타인 거리($W_1$)는 리커트 척도에서 오차의 서수적 크기를 고려한다.
  • 거리 기반 분산 분해: 총 분산을 의미론적 페르소나와 특정 프롬프트 아티팩트(지시문, 문항, 기호)에 기인하는 구성 요소로 분할하기 위해 순열 다변량 분산 분석(PERMANOVA)을 적용함.

주요 결과

1. 아티팩트 분산의 지배력

연구 결과, 프롬프트로 유도된 분산이 의미론적 신호를 빈번하게 압도하는 것으로 나타났다.

• 측정 오차: APWD 점수는 0.5에서 1.0 사이로 나타났으며, 이는 프롬프트 변형이 모델 출력을 최대 한 단계의 서수적 단계만큼 이동시킬 수 있음을 의미한다.
• 스케일링의 한계: 일부 모델(Llama, Qwen)은 더 큰 규모(최대 14B)에서 안정화되는 모습을 보였으나, 다른 모델들(Ministral, Gemma)은 더 휘발성이 강해졌다. 결정적으로, 14B 파라미터로 스케일링하는 것이 취약성을 해결하지 못했다; 대규모 모델조차 상당한 아티팩트 지배 현상을 보였다.
• 모델 민감도: 작은 모델들(예: 1B 파라미터)은 의미론적 구성 요소에 대해 거의 제로에 가까운 한계 분산(marginal variance)을 보였는데, 이는 견고함 때문이 아니라 의미론적 신호를 처리하는 데 실패하여 응답이 전적으로 포맷팅 제약 조건에 의해 지배되었기 때문이다.

2. 구성 요소별 취약성

• 지시문 및 기호: 거의 모든 아키텍처에서, 과업 지시문과 선택 기호가 문항 패러프레이징보다 유의미하게 높은 한계 분산을 유발했다.
• 아키텍처 시그니처: 취약성은 모델 계열마다 달랐다. 예를 들어, Qwen 모델은 지시문 변형에 높은 민감도를 보인 반면, Llama 모델은 선택 기호 변형에 더 취약했다.
• 계열 내 이질성: 견고함 패턴은 동일한 모델 계열 내에서도 일관되지 않았다. 예를 들어, Qwen3-14B는 더 작은 모델들에게서는 나타나지 않는 독특한 문항 변형 민감도를 보였다.

3. 분산 분해

• 설명된 분산 중 아티팩트 점유율(ASV): 14B 규모에서도 임계치 이상의 항목들이 ASV > 50%를 기록하였으며, 이는 프롬프트 아티팩트가 의도된 의미론적 페르소나보다 더 많은 분산을 설명함을 의미한다.
• SD3 vs. BFI: Short Dark Triad(SD3) 데이터셋은 Big Five Inventory(BFI)에 비해 더 높은 절대적 불안정성과 더 강한 아티팩트 지배력을 보였으며(중앙값 ASV가 80–100%로 이동), 이는 베이스라인 페르소나 또는 모델 자체의 특성 표현이 더 약함을 시사한다.
• 설명되지 않는 분산: 상당 부분의 분산은 프롬프트 구성 요소 간의 복잡한 상호작용에 기인하여 설명되지 않은 채 남았다.

의의 및 주장

본 논문은 현재의 프롬프팅 패러다임 하에서 SLM(최대 14B 파라미터)은 그 출력이 심리적 특성이 아닌 **프롬프트 준수(prompt compliance)**를 반영하기 때문에 심리측정 평가에 있어 대체로 신뢰할 수 없다고 주장한다.

• 진단적 유용성: 본 연구의 주요 기여는 프롬프트 변형 매트릭스와 그에 따른 거리 기반 분산 분해 프레임워크이다. 이는 특정 프롬프트 변형이 모델 분포를 불안정하게 만드는 것을 식별하고, 아티팩트적 분산을 의미론적 이해로부터 분리하는 진단 도구 역할을 한다.
• 방법론적 경고: 저자들은 진정한 의미론적 추론을 아티팩트로부터 분리하지 않는다면, 이 분야가 프롬프트 준수를 기반으로 한 유효하지 않은 문헌을 구축할 위험이 있다고 경고한다. 그들은 SLM의 출력을 유효한 심리적 측정치로 취급하는 것이 인간과 같은 추론을 아티팩트적 노이즈로 오인하게 만들 수 있음을 강조한다.
• 향후 방향: 이 프레임워크는 두 가지 경로를 제시한다. 하나는 파괴적인 아티팩트를 식별하기 위해 이 설계를 사용하는 것이고, 다른 하나는 의미론적 영향을 격리하여 잠재적 이해를 더 잘 평가하는 것이다. 저자들은 향arian 모델(>70B 파라미터)에서도 이러한 취약성이 지속되는지 테스트해야 하며, 더 깊고 명시적인 심리학적 앵커를 주입하는 것이 관찰된 아티팩트 지배를 극복할 수 있는지 확인해야 한다고 언급한다.

연구는 현재의 프레임워크가 이러한 문제를 진단하는 메커니즘을 제공하지만, 현재 SLM의 심리측정학 상태는 프롬프트 아티팩트가 의도된 심리적 신호를 가려버리는 구조적 취약성에 의해 훼손되어 있다는 결론을 내린다.