GPT-4o reads the mind in the eyes

기술 요약: 눈을 통해 마음을 읽는 GPT-4o

문제 제기
대규모 언어 모델(LLM)은 텍스트로부터 감정 및 정신 상태에 관한 인간과 유사한 추론을 재현하는 능력을 입증해 왔으나, 이러한 능력이 비텍스트적 양식, 특히 시각적 사회적 단서로까지 확장되는지는 여전히 불분명하다. 인간은 "눈을 통해 마음을 읽는(reading the mind in the eyes)" 정교한 능력을 갖추고 있으며, 이는 일반적으로 '눈을 통한 마음 읽기 검사(RMET)'를 통해 측정된다. 본 연구는 최첨단 멀티모달 LLM인 GPT-4o가 이 과업을 수행할 수 있는지 조사하고, 그 처리 메커니즘을 인간의 인지와 비교한다. 구체적으로, 저자들은 GPT-4o가 "역전 효과(inversion effect, 뒤집힌 얼굴에서 성능 저하)"와 같은 인간의 얼굴 처리 특징을 보이는지, 그리고 그 오류 패턴이 정신 상태 정보를 처리하는 방식에서 인간과 질적인 차이를 드러내는지 조사한다.

방법론
연구진은 두 가지 검증된 심리 측정 테스트를 사용하였다:

1. 눈을 통한 마음 읽기 검사 (RMET): 백인 얼굴의 눈 부위를 촬영한 36장의 흑백 이미지를 사용하는 표준 테스트.
2. 다인종 RMET (MRMET): 인종적 편향을 피하고 자극이 GPT-4o의 학습 데이터에 존재하지 않도록 설계된(GPT-4o는 2024년 5월 출시, MRMET은 2024년 4월 발표), 다양한 얼굴을 사용한 고해 resolution 컬러 이미지 37장의 새로운 인종 포괄적 버전.

실험 설계:

• 대상: RMET에는 성인 51명, MRMET에는 성인 400명(방향당 200명)이 참여하였다. GPT-4o(모델 gpt-4o-2024-08-06)는 RMET의 경우 25회 반복, MRMET의 경우 방향당 200회 반복 테스트를 거쳤다.
• 조작: 이미지는 정립(upright) 및 역전(inverted) 두 가지 방향으로 제시되었다.
• 절차: 인간과 GPT-4o 모두 이미지 속 인물의 정신 상태를 설명하는 네 가지 선택지 중 가장 적절한 단어를 선택하도록 요청받았다.
• 분석:
  • 정확도(Accuracy): 혼합 효과 로지스틱 회귀를 사용하여 정답 비율로 측정하였다.
  • 오류 분석: 저자들은 단순 정확도를 넘어 정보 이론을 사용하여 오류의 구조를 분석하였다. 이들은 혼동 행렬(confusion matrices), 오류 집중 지수(error concentration indices)(오류 확률에 지수 감소 함수를 적합시킴), 구조적 유사성(structural similarity)(오류 벡터의 스피어먼 상관계수), 그리고 오류 내 정보 함량(information content in errors)(오답에서도 얼마나 많은 정신 상태 정보가 유지되는지를 정량화하는 상호 정보량)을 계산하였다.

주요 결과

1. 성능 정확도 및 역전 효과:

   • 정립된 얼굴: GPT-4o는 얼굴이 정립되었을 때 RMET와 MRMET 모두에서 인간보다 유의미하게 높은 성능을 보였다.
   • 역전된 얼굴: GPT-4o는 심각한 성능 저하(50% 이상 감소)를 보였으며, MRMET의 역전된 얼굴에 대해서는 우연 수준(chance level) 미만으로 떨어졌다. 인간 또한 성능 저하(약 15%)를 보였으나 우연 수준보다는 높게 유지되었다.
   • 상호작용: 모델과 방향 간의 유의미한 상호작용이 관찰되었는데, 이는 인간이 양적인 효율성 감소를 경험하는 반면, GPT-4o는 역전된 얼굴로부터 진단적 정보를 추출하는 능력에서 질적인 단절을 경험함을 나타낸다.

2. 인종 및 성별 편향:

   • 인종: MRMET에서 GPT-4o는 비백인 얼굴보다 백인 얼굴에서 유의미하게 더 높은 성능을 보였다. 인간 참가자들은 자극의 인종에 따른 정확도에서 유의미한 차이를 보이지 않았다(단, 특정 하위 집단에서는 동일 인종 우위가 관찰됨).
   • 성별: 역전 현상은 GPT-4o의 남성 자극 처리 과정에 불균형적인 영향을 미쳐 성능을 우연 수준 미만으로 떨어뜨린 반면, 인간은 성별에 따른 정확도 차이를 보이지 않았다.

3. 오류 구조 및 정보 함량:

   • 일관성: GPT-4o의 오류는 실행 간에 매우 일관적이었으나(낮은 분산), 인간의 오류는 더 분산되어 있었다.
   • 구조적 유사성: 정립된 얼굴의 경우, 인간과 GPT-4o의 오류 패턴은 중간 정도의 유사성을 보였다. 그러나 역전된 얼굴의 경우, 오류 구조가 크게 갈라졌다. 역전된 얼굴에 대한 GPT-4o의 오류 패턴은 자신의 정립 패턴과도, 인간의 역전 패턴과도 약한 유사성만을 보였다.
   • 오류 내 정보: GPT-4o의 오류 패턴은 인간의 오류보다 유의미하게 더 많은 정보를 포함하고 있었다. 특히 정립된 얼굴에서 그러했다. 이는 GPT-4o가 틀렸을 때 무작위로 추측하는 것이 아니라, 비록 틀리더라도 특정한 논리를 일관되게 적용하고 있음을 시사한다.
   • 방향 의존성: GPT-4o의 오류 정보량은 역전된 자극에서 유의미하게 감소한 반면, 인간의 오류 정보량은 방향에 관계없이 안정적으로 유지되었다.

의의 및 주장
본 논문은 GPT-4o가 최소한의 시각적 단서(눈)로부터 정신 상태를 추론하는 고급 능력을 갖추고 있으며, 정립된 자극에 대해서는 인간의 정확도를 능가한다고 주장한다. 그러나 본 연구는 근저에 있는 처리 메커니즘의 근본적인 차이를 강조한다:

• 질적 vs 양적 차이: 저자들은 인간의 "역전 효과"가 구성적 처리(configural processing)의 방해로 인한 양적인 효율성 감소를 나타내는 반면, GPT-4o의 경우 오류 공간의 구조적 변화를 의미하는 질적인 변화를 나타낸다고 주장한다. GPT-4o는 단순히 효율성이 떨어지는 것이 아니라, 얼굴이 뒤집혔을 때 인간의 인지와 근본적으로 어긋나면서도 매우 구조화된 다른 모드의 처리를 수행한다.
• 체계적 편향: GPT-4o의 오류가 높은 일관성을 보인다는 것은 그 오류가 무작위가 아닌 체계적임을 시사한다. 이는 역전(inversion)이나 인종적 편향과 같은 섭동(perturbation)이 인간-AI 상호작용에서 인간의 정신 상태에 대한 예측 가능하고 체계적인 오해를 초래하여 의사소통의 실패를 일으킬 수 있음을 의미한다.
• 학습 아티팩트(Training Artifacts): 역전 현상에 대한 GPT-4o의 극심한 취약성은 주로 정립된 얼굴로 구성된 학습 데이터에서 기인했을 가능성이 크며, 이는 합성곱 신경망(CNN)에서 나타나는 경험 의존적 결함과 유사하다.
• 인종적 편향: 백인과 비백인 얼굴 간의 성능 격차는 GPT-4o의 얼굴 처리 과정에 존재하는 인종적 편향을 확인시켜 준다. 여기서 편향은 인종 그룹 간의 정확도 차이로 정의된다.

결론적으로, 본 연구는 GPT-4o가 인상적인 사회적 민감성을 보여줌에도 불구하고, 그 "마음 읽기" 능력은 인간의 인지와 구별되며, 방향에 의존적인 경직된 오류 구조와 심각한 인종적 편향을 특징으로 한다는 점을 밝히며, 정신 건강, 사회적 로봇 공학 및 커뮤니케이션 기술 분야에서의 적용 시 이를 반드시 고려해야 한다고 제언한다.