Customizing Visual Emotion Evaluation for MLLMs: An Open-vocabulary, Multifaceted, and Scalable Approach

이 논문은 기존 평가 방법의 한계를 극복하고 MLLM 의 시각적 감정 인식 능력을 개방형 어휘와 다면적 맥락을 고려하여 확장 가능하게 평가하기 위한 '감정 진술 판단 (Emotion Statement Judgment)' 태스크와 자동화 파이프라인을 제안하며, 이를 통해 현재 MLLM 들의 강점과 인간 대비 약점을 규명했습니다.

핵심

🎨 1. 문제점: "정답지"가 너무 좁은 시험

지금까지 AI 가 그림 속 감정을 이해하는지 테스트할 때는 주로 **"이 그림의 감정은 무엇인가?"**라고 물어서 정해진 감정 단어 (예: 기쁨, 슬픔, 분노) 중 하나를 고르게 했습니다.

하지만 연구자들은 이 방식이 AI 에게는 너무 억지스럽다고 지적합니다.

• 비유: 마치 **"이 그림을 보면 어떤 감정이 드나요?"**라고 물었을 때, 사람이 "기쁨"이라고 답해도, AI 는 정답이 "행복"이라고 되어 있다면 틀린 답으로 처리하는 것과 같습니다.
• 한계:
  1. 유연성 부족: 사람의 감정은 복잡하고 주관적인데, 정해진 정답지 (단어) 만으로는 다 표현할 수 없습니다.
  2. 맥락 무시: 그림 자체만 보고 감정을 판단하라고 하면, "화재 진압 중인 소방관" 그림을 보고 AI 가 '위험'이라고만 생각할 수 있지만, 실제로는 '용기'나 '희생' 같은 맥락이 중요할 수 있습니다.
  3. 사람의 개성 무시: 같은 그림을 봐도 30 대 남성은 '두려움'을 느끼고, 20 대 여성은 '감동'을 느낄 수 있는데, 기존 평가는 이 차이를 고려하지 못했습니다.

🛠️ 2. 해결책: "진위 여부 판단" 게임과 자동화 공장

연구자들은 AI 를 평가할 때, 정답을 맞추게 하는 대신 **"이 문장이 이 그림에 맞나요?"**라고 물어보는 새로운 방식을 고안했습니다. 이를 ESJ(감정 진술 판단) 라고 부릅니다.

• 새로운 방식 (ESJ):

  • AI 에게 그림과 함께 "이 그림을 보면 사람들은 두려움을 느낄 것이다"라는 문장을 보여줍니다.
  • AI 는 "맞다 (Correct)" 또는 "틀리다 (Incorrect)"라고 판단하면 됩니다.
  • 장점: AI 가 직접 감정을 말로 표현할 필요 없이, 주어진 설명이 논리적으로 맞는지 판단하면 되므로 훨씬 정확하고 다양한 감정을 테스트할 수 있습니다.

• 자동화 공장 (INSETS):

  • 이렇게 수많은 문장을 사람이 일일이 만들면 시간이 너무 오래 걸립니다. 그래서 연구자들은 INSETS라는 자동화 시스템을 만들었습니다.
  • 비유: 마치 감정 분류 공장 같습니다. AI 여러 대가 그림을 보고 다양한 감정 단어를 뽑아내고, 이를 정리해서 "이 그림은 용기를 보여준다", "이 그림은 슬픔을 유발한다" 같은 문장들을 자동으로 만들어냅니다.
  • 이 과정을 통해 46 만 개 이상의 데이터 (INSETS-462k) 를 자동으로 만들었고, 그중에서 사람이 최종 검수를 거쳐 MVEI라는 정밀한 시험지 (벤치마크) 를 완성했습니다.

📊 3. 평가 결과: AI 는 '기술'은 좋지만 '감수성'은 부족

이 새로운 시험지 (MVEI) 로 최신 AI 들 (GPT-4o 등) 을 시험해 본 결과는 다음과 같습니다.

1. AI 의 장점:

   • 감정 해석: "왜 이 사람이 슬퍼할까?"라고 물으면, "눈물이 흐르고 있기 때문"이라고 논리적으로 잘 설명합니다.
   • 맥락 이해: "화재 현장에서 소방관이 뛰고 있다"는 맥락이 주어지면, '긴박함'을 잘 이해합니다.

2. AI 의 약점 (사람과의 차이):

   • 감정의 방향성 (긍정/부정): 때로는 AI 가 그림이 '기쁜지 슬픈지'를 혼동합니다.
   • 주관성 (가장 큰 약점): **"이 그림을 보면 35 세 남자는 두려움을, 20 대 여성은 감동을 느낄 것이다"**라는 문장에 대해 AI 는 사람의 개성에 따른 감정 차이를 거의 이해하지 못했습니다.
   • 결과: 최고의 AI(GPT-4o) 가 70% 정도를 맞췄다면, 인간은 90% 이상을 맞췄습니다. 특히 '주관적인 감정'을 이해하는 부분에서 AI 는 아직 인간과 큰 격차가 있습니다.

🔮 4. 결론: AI 는 이제 막 감정을 배우는 중

이 연구는 AI 가 그림을 보고 감정을 이해하는 능력은 이미 꽤 발전했지만, 인간처럼 미묘한 감정 차이나 개인의 성향을 고려하는 '감성 지능'은 아직 부족하다는 것을 증명했습니다.

• 핵심 메시지: AI 를 더 똑똑하게 만들기 위해서는 단순히 정답을 맞추는 훈련보다는, **"이 설명이 이 그림의 맥락과 맞을까?"**를 판단하는 훈련과, 사람마다 다른 감정을 이해하는 훈련이 필요하다는 것을 보여줍니다.

한 줄 요약:

"AI 가 그림을 보고 감정을 느끼는 건 아직 '기술자' 수준이지만, 사람의 마음을 읽는 '심리학자'가 되려면 더 많은 훈련이 필요합니다. 이 논문은 그 훈련을 위한 새로운 지도와 나침반을 제시했습니다."

기술 요약

1. 문제 정의 (Problem)

최근 멀티모달 대규모 언어 모델 (MLLM) 은 다양한 작업에서 뛰어난 성능을 보이지만, 이미지에서 감정을 인지하는 능력에 대해서는 여전히 논쟁이 있습니다. 기존 연구들은 제로샷 (zero-shot) 시나리오에서 상반된 결과를 보여주고 있는데, 이는 다음과 같은 기존 감정 평가 방법의 한계에서 기인한다고 저자들은 주장합니다.

1. 유연성 부재: 개방형 질문에 고정된 정답 (Ground Truth) 을 요구하여, 인간에게는 타당해 보이는 다양한 답변을 배제합니다.
2. 제한된 감정 분류 체계: 기존 벤치마크 (예: FI, Artemis) 는 8 가지 정도의 제한된 감정 카테고리만 사용하여 미세한 감정 차이를 포착하지 못합니다.
3. 맥락 무시: 이미지의 내재적 속성만 중시하고, 장면의 맥락 (Scene Context) 이나 관찰자의 정체성 (Perception Subjectivity) 과 같은 외부 요인을 고려하지 않습니다.
4. 높은 인력 비용: 신뢰할 수 있는 라벨을 얻기 위해 대규모 크라우드소싱과 다수결 투표에 의존하여 데이터 확장성이 낮고 비용이 많이 듭니다.

2. 제안 방법론 (Methodology)

이러한 한계를 극복하기 위해 저자들은 감정 진술 판단 (Emotion Statement Judgment, ESJ) 태스크와 이를 위한 자동화 파이프라인 INSETS를 제안합니다.

A. 감정 진술 판단 (ESJ) 태스크

MLLM 에게 이미지와 짝을 이룬 '감정 중심 진술 (Emotion-centric Statement)'을 제공하고, 해당 진술이 이미지에 대해 정확한지 판단하게 합니다. 이는 개방형 질문의 모호성을 줄이고 평가의 깊이를 확장합니다. ESJ 는 다음과 같은 4 가지 차원을 다룹니다.

1. 감정 극성 (Sentiment Polarity): 이미지가 긍정, 부정, 혹은 혼합된 감정을 유발하는지 판단.
2. 감정 해석 (Emotion Interpretation): 특정 감정을 유발한 원인 (시각적 요소) 이 진술과 일치하는지 확인.
3. 장면 맥락 (Scene Context): 이미지가 특정 상황 (예: 소방관이 화재 진압 중) 에 놓였을 때 유발되는 감정이 맞는지 평가.
4. 지각 주체성 (Perception Subjectivity): 특정 관찰자 (예: 35 세 남성 소방관) 가 특정 감정을 더 강하게 느낄 것이라고 진술하는 것이 타당한지 평가.

B. INSETS 파이프라인 (자동화 주석 시스템)

효율적인 데이터 구축을 위해 INSETS (INtelligent ViSual Emotion Tagger and Statement Constructor) 파이프라인을 개발했습니다.

1. 오픈 어휘 감정 태깅: 여러 MLLM 을 사용하여 이미지에서 잠재적인 감정 단어를 추출하고, 이를 Parrott 의 계층적 감정 모델에 매핑하여 정제합니다. 다수결 투표 (Majority Voting) 를 통해 신뢰할 수 있는 오픈 어휘 감정 라벨을 선정합니다.
2. 감정 진술 구성: 선정된 라벨과 MLLM 이 생성한 프로토타입 진술 (해석, 맥락, 관찰자 등) 을 기반으로 정답 (Correct) 과 오답 (Incorrect) 진술을 자동 생성합니다.
   • 오답 생성 전략: 시각적으로 유사하지만 감정적으로 다른 이미지로 해석을 교체하거나, 감정 극성이 반대되는 맥락을 적용하는 등의 교란 (Disruption) 기법을 사용합니다.

C. 데이터셋: INSETS-462k 및 MVEI

• INSETS-462k: INSETS 파이프라인을 통해 자동 생성된 46 만 2 천 개의 대규모 감정 진술 코퍼스.
• MVEI (Multifaceted evaluation of Visual Emotion Intelligence): INSETS-462k 에서 3,086 개의 이미지 - 진술 쌍을 추출하여 인간 전문가 (대학원생 5 명) 가 정밀하게 검증 (Refinement) 한 벤치마크.

3. 주요 기여 (Key Contributions)

1. ESJ 태스크 도입: 기존 평가의 한계를 지적하고, 개방형 어휘, 다면적 (다양한 차원), 확장 가능한 MLLM 감정 평가를 위한 새로운 태스크를 제안했습니다.
2. INSETS 파이프라인 개발: 최소한의 인력 개입으로 오픈 어휘 감정 라벨링과 다면적 진술 구성이 가능한 확장성 있는 자동화 시스템을 구축했습니다.
3. MVEI 벤치마크 및 체계적 평가: 인간 검증이 포함된 MVEI 벤치마크를 공개하고, 최신 MLLM 들에 대한 포괄적인 평가를 수행하여 감정 지능의 현재 수준과 한계를 규명했습니다.

4. 실험 결과 (Results)

MVEI 벤치마크를 통한 MLLM 평가:

• 전반적 성능: 최신 MLLM 들은 기존 모델보다 감정 인식 능력이 크게 향상되었으나, 인간 (평균 정확도 91.6%) 에 비해 여전히 큰 격차가 존재합니다.
• 강점: 감정 해석 (Emotion Interpretation) 과 장면 맥락 (Scene Context) 이해에서 상대적으로 좋은 성능을 보였습니다.
• 약점:
  • 감정 극성 (Sentiment Polarity): 긍정/부정/혼합의 경계를 구분하는 데 어려움을 겪었습니다.
  • 지각 주체성 (Perception Subjectivity): 관찰자의 정체성에 따른 감정 차이를 이해하는 데 가장 큰 한계를 보였습니다. 이는 모델의 내재적 특성과 관련이 깊어 단순 적응 (Adaptation) 만으로는 해결이 어렵습니다.

적응 기술의 영향 (Adaptation Analysis):

• Few-shot 학습 및 미세 조정 (Fine-tuning): LoRA, 전체 파라미터 미세 조정, GRPO 등을 적용한 결과, 감정 극성 판단 능력은 크게 향상되었습니다 (예: Qwen2.5-VL 의 경우 63.2% → 84.3%).
• 주체성 한계: 반면, 지각 주체성 차원에서는 개선 폭이 미미하여, 이 영역은 단순한 데이터 적응을 넘어선 근본적인 모델 구조 개선이나 주체성 중심의 사전 학습이 필요함을 시사합니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 MLLM 의 감정 지능 (Emotional Intelligence) 을 평가하고 발전시키기 위한 기초적인 프레임워크를 제공합니다.

• 평가 패러다임 전환: 고정된 정답을 요구하는 기존 방식에서, 맥락과 주체성을 고려한 '진술 판단' 방식으로 평가 패러다임을 전환했습니다.
• 향후 연구 방향: MLLM 이 인간 수준의 감정 인식을 달성하기 위해서는 감정 극성 구분 능력을 위한 적응적 학습과 함께, 지각 주체성을 이해하기 위한 새로운 학습 목표나 데이터셋 개발이 필요함을 강조합니다.
• 윤리적 고려: 데이터의 감정 편향 (긍정적 콘텐츠 과다), 자동 생성된 캐릭터의 인구통계학적 편향, 문화적 편향 등을 명시하며 향후 연구에서 이러한 편향을 완화할 필요성을 제기했습니다.

요약하자면, 이 논문은 MVEI 벤치마크와 INSETS 파이프라인을 통해 MLLM 의 감정 이해 능력을 다면적으로 평가하고, 현재 모델이 인간에 비해 특히 '주체성'과 '극성 구분'에서 부족함을 발견하여 향후 MLLM 개발의 중요한 방향성을 제시했습니다.