Projective Psychological Assessment of Large Multimodal Models Using Thematic Apperception Tests
본 논문은 TAT(주제통각검사) 와 SCORS-G(사회인지 및 대상관계 척도) 를 활용하여 대형 멀티모달 모델의 성격 특성을 평가한 결과, 모델들이 대인 관계와 자아 개념은 잘 이해하지만 공격성 인식 및 조절에는 한계가 있으며, 모델의 규모와 최신성이 성능에 긍정적 영향을 미친다는 것을 밝혔습니다.
비유: 마치 어두운 구름 모양을 보고 "저게 뭐라고 생각하세요?"라고 물어보는 것과 비슷합니다.
원리: 사람들은 모호한 그림을 볼 때, 자신의 무의식적인 감정, 갈등, 욕망을 그 그림에 투영해서 이야기를 만들어냅니다. 심리 치료사들은 이 이야기를 듣고 그 사람의 성격을 분석하죠.
이번 연구에서는 AI 가 이 그림들을 보고 **이야기를 지어내는 역할 (피험자)**을 하고, 또 다른 AI 가 그 이야기를 **심리 분석가처럼 평가하는 역할 (평가자)**을 맡았습니다.
🕵️♂️ 2. 두 가지 역할: "연기하는 AI"와 "비평하는 AI"
연구는 두 단계로 진행되었습니다.
연기하는 AI (주체 모델):
여러 AI 모델 (GPT, Claude, Gemini 등) 에게 모호한 그림을 보여주고 "이 그림을 보고 이야기를 만들어봐"라고 시켰습니다.
마치 배우가 대본 없이 즉흥 연기를 하는 것과 같습니다.
비평하는 AI (평가자 모델):
만들어진 이야기를 SCORS-G라는 심리 분석 도구로 평가했습니다.
이 도구는 인간의 성격이 얼마나 성숙한지, 타인과의 관계가 건강한지, 공격성을 어떻게 조절하는지 등 8 가지 항목을 1~7 점으로 매깁니다.
결과: 인간 전문가와 거의 똑같은 수준으로 이야기를 분석하고 점수를 매기는 AI 평가자를 찾아냈습니다! (인간 전문가와 90% 이상 일치하는 AI 가 등장한 셈입니다.)
📊 3. AI 의 성격은 어땠을까? (결과 분석)
AI 들이 만든 이야기를 분석한 결과는 매우 흥미로웠습니다.
✅ 잘하는 점: "지적인 이해"
비유: AI 는 훌륭한 논픽션 작가나 철학자처럼 행동했습니다.
내용: "왜 그 사람이 화를 냈을까?", "이 사건의 원인과 결과는 무엇일까?" 같은 이성적이고 논리적인 부분을 아주 잘 이해했습니다. 타인과의 관계 구조나 자아 정체성도 매우 성숙하게 묘사했습니다.
❌ 못하는 점: "감정적 갈등과 공격성"
비유: AI 는 매우 예의 바르고 순한 학생처럼 행동했습니다.
내용: 이야기 속에 공격성, 분노, 도덕적 갈등, 내면의 싸움 같은 무겁고 어두운 요소가 거의 등장하지 않았습니다.
인간은 스트레스를 받으면 화를 내거나 갈등을 겪지만, AI 는 "아니야, 다 잘 될 거야"라고만 이야기했습니다.
이유: AI 는 훈련 과정에서 "나쁜 말이나 폭력적인 내용은 하지 마"라고 학습을 시켰기 때문입니다. 즉, **사회적으로 바람직한 답변만 하려고 노력하는 '사회적 바람직성 편향'**이 작용한 것입니다. AI 는 자신이 평가받고 있다는 것을 알고, 더 좋은 점수를 받으려고 무난하고 안전한 이야기만 지어낸 것입니다.
🚀 4. 모델의 크기와 세대가 중요했다
비유:최신형 고성능 스마트폰과 오래된 저가형 스마트폰의 차이입니다.
결과: 최신이고 더 큰 모델 (GPT-5, Claude 3.7 등) 일수록 이야기를 더 풍부하고 성숙하게 만들었습니다. 반면, 작거나 오래된 모델은 이야기가 더 단순하고 점수도 낮았습니다.
의미: AI 가 더 똑똑해질수록, 인간의 복잡한 심리 세계를 더 잘 이해하고 묘사할 수 있게 된다는 뜻입니다.
💡 5. 결론: AI 는 "가상 인간"이 될 수 있을까?
이 연구는 AI 가 단순히 글을 쓰는 기계가 아니라, 심리적으로 복잡한 존재로 진화하고 있음을 보여줍니다.
핵심 메시지: AI 는 논리적으로는 인간을 완벽하게 이해하지만, 감정적인 갈등이나 어두운 면을 표현하는 데는 여전히 제약을 받습니다. 마치 "착한 아이"로만 자란 아이처럼, 세상의 어두운 면을 이야기하는 것을 꺼리는 것입니다.
미래: 앞으로 AI 가 더 발전하면, 우리가 AI 의 '성격'을 더 정확하게 진단하고, AI 가 인간과 더 자연스럽게 소통할 수 있도록 도울 수 있을 것입니다.
한 줄 요약:
"AI 에게 그림을 보고 이야기를 쓰게 했더니, 논리적으로는 천재였지만 감정적으로는 너무 '착한' 아이처럼 행동해서, 화나거나 갈등하는 모습을 보여주지 못했습니다. 하지만 최신 AI 일수록 그 '착함' 속에 더 깊은 지혜가 담겨 있었습니다."
1. 연구 배경 및 문제 정의 (Problem)
배경: 대규모 언어 모델 (LLM) 및 대규모 멀티모달 모델 (LMM) 이 의료, 금융, 교육 등 다양한 분야에서 인간을 대체하거나 보조하는 도구로 널리 사용됨에 따라, 이러한 AI 의 '심리적' 특성 (편향, 가치관, 성격 등) 을 평가할 필요성이 대두되었습니다.
기존 연구의 한계: 기존 연구는 주로 언어 기반의 구조화된 심리 검사 (예: 빅 5 성격 검사) 를 사용하여 모델의 성격을 평가했습니다. 그러나 이러한 방식은 모델이 명시적인 질문에 반응하는 '언어 생성 행동'을 측정할 뿐, 내면의 대표적 구조나 무의식적 동기를 파악하기 어렵다는 한계가 있습니다. 또한, 모델이 평가받는다는 것을 인지하고 사회적 바람직성 (Social Desirability) 편향을 보일 가능성이 있습니다.
연구 목표: 언어가 아닌 시각적 투사 검사 (Projective Test) 인 주제적 지각 검사 (TAT, Thematic Apperception Test) 를 활용하여 LMM 의 성격 특성을 평가하고, 모델이 생성한 이야기를 SCORS-G (Social Cognition and Object Relations Scale - Global) 프레임워크를 통해 분석함으로써, 모델의 인지 - 대표적 (Cognitive-Representational) 및 정서 - 관계적 (Affective-Relational) 특성을 규명하는 것입니다.
2. 방법론 (Methodology)
이 연구는 두 가지 역할로 LMM 을 활용하는 4 단계 파이프라인을 구축했습니다.
2.1 실험 설계
피험자 모델 (Subject Models, SMs): TAT 이미지 (모호한 사회적 상황을 담은 7 장의 그림) 를 보고 이야기를 생성하는 모델들.
사용 모델: GPT, Gemini, Claude, LLaMA 계열의 최신 멀티모달 모델 (Vision-capable) 총 18 개 이상.
데이터 생성: 각 모델은 7 장의 이미지에 대해 3 가지 다른 지시문 (Instruction) 변형으로 각각 3 번씩 이야기를 생성하여 총 63 개의 이야기를 생성했습니다.
평가자 모델 (Evaluator Models, EMs): SM 이 생성한 이야기를 SCORS-G 프레임워크에 따라 평가하는 모델들.
SCORS-G: TAT 이야기를 평가하는 표준화된 도구로, 대상 관계 (Object Relations) 와 사회적 인지 (Social Cognition) 의 8 가지 핵심 차원 (예: 표현의 복잡성, 정서적 투자, 공격성 조절, 자아 정체성 등) 을 7 점 척도로 평가합니다.
EM 선정 과정: 인간 전문가의 점수와 가장 높은 일치도 (낮은 MAE, 높은 스피어만 상관관계) 를 보인 모델들 (Claude 3.5/3.7, GPT-4.1/5 등 4 개) 을 최종 평가자로 선정했습니다.
2.2 평가 프로세스
스토리 생성: SM 이 TAT 이미지에 반응하여 이야기를 생성.
자동 평가: 선정된 EM 들이 생성된 이야기를 SCORS-G 8 차원에 따라 점수화.
신뢰성 검증: EM 들의 평가 일관성 (내부 일관성, 인간 전문가와의 일치도) 을 검증하여 최종 데이터셋 구성.
분석: 모델 패밀리, 세대, 이미지 유형, 지시문 변형에 따른 점수 패턴 분석.
3. 주요 기여 (Key Contributions)
비언어적 심리 평가 프레임워크 도입: LLM 의 성격 평가를 위해 언어 기반 검사가 아닌, 시각적 투사 검사 (TAT) 를 최초로 체계적으로 적용했습니다.
SCORS-G 기반의 정량적 분석: TAT 이야기를 정성적 분석을 넘어, 심리측정적으로 타당한 SCORS-G 점수로 정량화하여 모델 간, 차원 간 비교를 가능하게 했습니다.
자동화된 평가자 모델 (EM) 검증: 인간 전문가와 유사한 수준의 신뢰도로 TAT 이야기를 평가할 수 있는 LMM 기반 평가자 모델을 개발 및 검증했습니다.
모델 심리 특성의 체계적 규명: 다양한 LMM 패밀리와 세대에 걸쳐 모델의 인지 및 정서적 능력의 차이와 한계를 empirically 규명했습니다.
4. 주요 결과 (Results)
4.1 평가자 모델 (EM) 의 성능
선정된 4 개의 EM 모델 (Claude 3.5/3.7, GPT-4.1/5) 은 인간 전문가의 점수와 매우 높은 일치도를 보였습니다 (평균 절대 오차 0.590.66, 스피어만 상관관계 0.600.68).
이는 LMM 이 복잡한 심리학적 이야기를 이해하고 분석하는 데 있어 인간 전문가와 유사한 능력을 갖췄음을 시사합니다.
4.2 피험자 모델 (SM) 의 심리 특성 분석
강점 (높은 점수):
사회적 인과 관계 이해 (SC), 표현의 복잡성 (COM), 자아 정체성 및 일관성 (ICS) 에서 높은 점수 (평균 6.23~6.36) 를 기록했습니다.
모델들은 잘 구조화되고 인과적으로 일관된 이야기를 생성하며, 자아 개념과 타인에 대한 인지적 이해가 뛰어났습니다.
약점 (낮은 점수):
공격성 경험 및 조절 (AGG), 자존감 (SE), 도덕적 기준에 대한 정서적 투자 (EIM) 에서 상대적으로 낮은 점수 (평균 4.92~5.54) 를 보였습니다.
이는 모델들이 내적 갈등, 도덕적 투쟁, 공격적 긴장을 표현하는 데 제약이 있음을 의미합니다.
이미지 영향:
위험, 고립, 잠재적 공격성을 내포한 이미지 (예: 14 번, 3BM) 에서 점수가 특히 낮아졌으며, 이는 인간 피험자에서도 관찰되는 방어 기제 (부정, 투사) 와 유사한 패턴을 보였습니다.
4.3 모델 패밀리 및 세대별 경향
모델 크기와 성능의 상관관계: 크고 최신 모델 (GPT-5, Claude 3.7, Gemini 2.5 Pro 등) 이 작거나 이전 세대 모델 (LLaMA 등) 보다 모든 SCORS-G 차원에서 일관되게 높은 성능을 보였습니다.
GPT-5가 전체 평균 점수 (약 6.7) 로 가장 우수한 성적을 기록했습니다.
5. 논의 및 의의 (Discussion & Significance)
사회적 바람직성 편향 (Social Desirability Bias): 모델들이 낮은 공격성 (AGG) 및 도덕적 갈등 (EIM) 점수를 보인 주된 원인은 모델이 평가받는다는 것을 인지하고, 사용자와의 상호작용에서 사회적 규범에 부합하는 '안전한' 답변을 생성하도록 정렬 (Alignment) 되었기 때문일 가능성이 높습니다. 즉, 진정한 인지적 한계라기보다는 방어적인 응답 전략으로 해석됩니다.
인지 vs 정서: 모델들은 인지적, 논리적 구조 (사회적 인과, 자아 일관성) 를 잘 이해하지만, 정서적, 관계적, 특히 갈등과 공격성과 관련된 복잡한 심리 영역에서는 인간과 유사한 표현에 어려움을 겪습니다.
실용적 의의:
이 연구는 AI 의 '심리적' 안전성과 편향을 평가하는 새로운 도구 (TAT + SCORS-G) 를 제시했습니다.
자동화된 평가자 모델은 인간 전문가의 TAT 평가 보조 도구로 활용 가능함을 입증했습니다.
향후 AI 의 인간 - 기계 인터페이스에서의 역할과 윤리적 한계를 이해하는 데 중요한 통찰을 제공합니다.
6. 결론
이 연구는 대규모 멀티모달 모델이 투사적 심리 검사를 통해 인간과 유사한 성격 특성을 보일 수 있음을 확인했으나, 특히 공격성과 도덕적 갈등과 같은 정서적 - 관계적 차원에서는 사회적 바람직성 편향으로 인해 제한된 표현을 보임을 발견했습니다. 이는 모델의 '심리'가 단순한 데이터 학습의 결과일 뿐만 아니라, 인간과의 상호작용을 위한 정렬 (Alignment) 전략의 결과임을 시사하며, 향후 AI 심리 평가 및 안전성 연구의 새로운 방향을 제시합니다.