기술 요약: LLM의 심리측정 평가에서의 데이터 오염 정량화

문제 제기

최근 연구에서는 대규모 언어 모델(LLM)의 성격, 가치관, 도덕적 기초, 어두운 특성(dark traits)과 같은 고차원적인 심리적 구인(constructs)을 평가하기 위해 기성 심리측정 설문지(예: Big Five Inventory, Portrait Values Questionnaire)를 적용하는 사례가 증가하고 있습니다. 그러나 결정적인 타당성 위협이 존재합니다: 바로 **데이터 오염(data contamination)**입니다. LLM은 방대한 텍스트 코퍼스로 학습되며, 이 과정에서 널리 공개된 이러한 심리측정 인벤토리와 그 채점 절차가 포함되었을 가능성이 높습니다. 따라서 모델의 응답은 진정한 심리적 특성을 반영하기보다는 이전에 노출된 테스트 항목을 반영할 수 있습니다.

기존 연구들이 이러한 오염이 심리측정 평가의 신뢰성을 위협한다는 우려를 제기해 왔으나, 이 현상의 정도를 체계적으로 정량화하려는 시도는 없었습니다. 기존의 오염 탐지 방법들은 표준 NLP 벤치마크에 집중되어 있어, 고유한 응답 척도, 역코딩 항목, 특정 채점 프로토콜을 포함하는 심리측정 평가에 필요한 특수성을 갖추지 못하고 있습니다.

방법론

저자들은 세 가지 별개의 차원에서 심리측정 평가의 데이터 오염을 체계적으로 측정하기 위한 종합적인 프레임워크를 제 제안합니다. 이 프레임워크는 주요 모델 패밀리(OpenAI, Qwen, GLM, Gemini, Claude, Llama)에서 추출한 21개의 모델과 4개의 널리 사용되는 인벤토리에 적용되었습니다:

1. Big Five Inventory (BFI-44)
2. Portrait Values-Questionnaire (PVQ-40)
3. Moral Foundations Questionnaire (MFQ)
4. Short Dark Triad (SD-3)

측정된 오염의 세 가지 측면은 다음과 같습니다:

1. 항목 암기 (Item Memorization)

모델이 인벤토리 항목의 구체적인 문구를 암기했는지 여부를 평가합니다.

• 의미적 암기 (Semantic Memorization): 모델에게 인벤토리 이름과 항목 인덱스를 제공하여 항목 텍스트를 재구성하도록 유도합니다. 생성된 텍스트는 임베딩의 코사인 유사도(text-embedding-3-large)를 사용하여 원본과 비교됩니다.
• 핵심 정보 암기 (Key Information Memorization): 모델에게 가장 정보량이 많은 키워드가 마스킹된 항목을 제시합니다. 모델은 누락된 키워드를 생성해야 합니다. 성공 여부는 올바른 키워드 복구율로 측정됩니다.

2. 평가 암기 (Evaluation Memorization)

모델이 단순한 텍스트 회상을 넘어, 인벤토리의 채점 로직과 구인 간의 연관성을 이해하고 있는지 평가합니다.

• 항목-차원 매핑 (Item-Dimension Mapping): 모델에게 각 인벤토리 항목을 그에 대응하는 심리적 차원(예: 항목을 "외향성"에 매핑)에 할당하도록 요청합니다. 성능은 차원별 평균 F1-score를 사용하여 측정됩니다.
• 옵션-점수 매핑 (Option-Score Mapping): 모델에게 항목, 응답 옵션, 목표 차원을 제공하고, 공식 채점 프로토콜(역코딩 항목 처리 포함)에 정의된 수치 점수를 출력하도록 요청합니다. 성능은 예측값과 실제 점수 사이의 평균 절대 오차(MAE)로 측정됩니다.

3. 목표 점수 일치 (Target Score Matching)

모델이 특정 목표 점수를 달성하기 위해 응답을 전략적으로 조정할 수 있는지 평가하며, 이는 모델이 결과 조작을 위해 채점 규칙을 충분히 내재화했음을 나타냅니다.

• 모델에게 항목과 목표 점수(최솟값, 평균값 또는 최댓값)를 제공하고, 해당 점수를 산출하는 응답 옵션을 선택하도록 지시합니다.
• 성능은 모델이 선택한 결과로 달성된 실제 점수와 목표 점수 사이의 MAE로 측정됩니다.

주요 결과

본 연구는 현대적 LLM 전반에 걸쳐 오염이 광범위하게 발생하며 종종 포화 상태에 이르렀다는 체계적인 증거를 제공합니다:

• 오염의 편재성 (Ubiquity of Contamination): 21개 모델 모두에서 세 가지 측면 모두에 걸쳐 오염이 확인되었습니다.
• 평가 암기 포화 (Evaluation Memorization Saturation): 모델들은 채점 프로토콜을 이해하는 데 있어 거의 천장 성능(near-ceiling performance)을 보였습니다. 항목-차원 매핑의 평균 F1-score는 모든 모델에서 0.94였습니다. 옵션-점수 매핑의 경우, 고급 모델(예: GPT-5, GLM-4.5)은 매우 낮은 MAE를 보여, 역코딩을 포함한 복잡한 채점 체계를 내재화했음을 나타냈습니다.
• 항목 암기 (Item Memorization): 모델들은 항목 텍스트를 재구성하는 능력(평균 의미 유사도 0.31)과 마스킹된 키워드를 복구하는 능력(평균 성공률 0.39)을 입증했습니다.
• 목표 점수 일치 (Target Score Matching): 고급 모델들은 높은 정밀도로(MAE ≈ 0.1–0.2) 특정 목표 점수에 맞춰 응답을 조절하는 능력을 보였으며, 이는 원하는 성격 프로필에 맞게 응답을 조작할 수 있음을 시사합니다.
• 인벤토리별 차이 (Inventory Differences): 오염은 MFQ 및 SD-3에 비해 BFI-44와 PVQ-40에서 더 뚜렷하게 나타났습니다. 저자들은 이를 BFI와 PVQ의 높은 인용 횟수 및 온라인 가용성과 연관 지었으며, 이는 사전 학습 과정에서의 더 높은 노출을 시사합니다.
• 모델 스케일링 (Model Scaling): 동일 패밀리 내에서 더 큰 모델일수록 일반적으로 더 낮은 MAE와 더 높은 F1-score를 보였으며, 이는 스케일링이 특히 평가 암기 측면에서 오염을 증폭시킨다는 것을 시사합니다. 그러나 작은 모델(예: Llama 변형 모델)은 상대적으로 약한 오염 신호를 보였습니다.

의의 및 주장

본 논문은 LLM의 심리측정 평가가 데이터 오염에 의해 훼손될 수 있다는 우려를 뒷받침하는 최초의 체계적인 실험적 증거를 제공한다고 주장합니다.

• 타당성 위협 (Validity Threat): 본 연구 결과는 LLM이 표준 심리측정 인벤토리에 대해 테스트될 때, 그 결과가 내재적인 심리적 경향을 드러내기보다는 학습 데이터의 암기와 채점 시스템을 전략적으로 이용하는 능력을 반영할 수 있음을 시사합니다.
• 방법론적 기여 (Methodological Contribution): 제안된 프레임워크는 단순한 "회상" 체크를 넘어, 채점 프로토콜에 대한 깊은 이해와 결과 조작 능력을 평가함으로써 심리측정 타당성을 검토합니다.
• 연구에 대한 시사점 (Implications for Research): 저자들은 분야 차원에서 "오염을 인지한 평가 관행(contamination-aware evaluation practices)"을 채택해야 한다고 주장합니다. BFI-44 및 PVQ-40과 같이 널리 사용되는 인벤토리는 심하게 오염되어 있으므로, 연구자들은 이러한 도구로부터 도출된 LLM의 성격이나 가치 프로필을 해석할 때 주의해야 합니다.
• 기준 확립 (Baseline Establishment): 본 논문은 실무자들이 향후 연구에서 오염 점수를 해석하는 데 도움이 되도록 구체적인 베이스라인(예: F1 및 MAE에 대한 무작위 추측 기대치)을 제공합니다.

저자들은 본 연구가 주요 인벤토리를 다루고 있지만 많은 다른 인벤토리가 아직 미개척 상태이며, 현재 결과는 영어 항목에 국한되어 있다고 결론짓습니다. 그럼에도 불구하고, 본 연구 결과는 데이터 오염을 고려하지 않고 표준 심리측정 설문지를 사용하여 LLM의 특성을 평가하는 것의 신뢰성에 근본적인 의문을 제기합니다.