Customizing Visual Emotion Evaluation for MLLMs: An Open-vocabulary, Multifaceted, and Scalable Approach

本論文は、既存の評価手法の限界を克服し、自動化パイプラインを用いた「感情ステートメント判定」タスクを提案することで、マルチモーダル大規模言語モデルの視覚的感情認識能力をオープンボキャブラリーかつ多角的に評価する新たな枠組みを構築し、現状のモデルと人間の間に依然として大きなギャップがあることを明らかにしています。

要約

🎭 1. 従来の問題：「正解」が一つしかないテストはダメだった

これまでの AI の感情評価は、「この画像は『悲しみ』です」という正解が一つ決まっているテストのようなものでした。

• 問題点 A（柔軟性の欠如）：
  例えば、ある写真を見て「悲しい」と感じる人もいれば、「勇気を感じて感動する」と感じる人もいます。従来のテストは「正解は『悲しみ』だけ」と決めていたため、AI が「感動」と答えても「不正解」として扱われてしまいました。

  例え話：
  料理の味見テストで、「このスープは『塩辛い』のが正解」と決まっているとします。でも、ある人は「スパイシーで美味しい」と感じ、別の人は「甘くて優しい」と感じます。もし「正解は塩辛いだけ」というルールなら、「美味しい」と答えた人の感想はすべて「間違い」とされてしまいます。これでは本当の味（感情）は測れませんよね。

• 問題点 B（文脈の無視）：
  画像そのものだけでなく、「どんな状況で撮られたか」という背景も感情に影響します。しかし、従来のテストは背景を無視していました。

• 問題点 C（人手不足）：
  正しいラベルをつけるために、何万人もの人にアンケートを取らなければならず、とても大変でコストがかかりました。

---

💡 2. 新しい解決策：「感情の声明文」を正誤判定するゲーム

そこで著者たちは、**「ESJ（感情声明文判定）」**という新しいゲーム形式を考案しました。

• 新しいルール：
  AI に画像を見せ、**「この文章は正しいですか？」**と聞きます。
  • 例：「この画像を見ると、消防士は『恐怖』よりも『焦り』を感じやすいでしょう」という文章が正しいか、AI に判断させます。

例え話：
従来のテストが「この絵は何色？（赤、青、黄）」という選択問題だったのに対し、新しいテストは**「この絵を見て『赤』だと思う人はいますか？」「『青』だと思う人はいますか？」という意見に対して、AI が『はい、それはあり得ます』と合意できるか**を問う形式です。
これなら、「正解」が一つではなく、多様な意見（主観）を認められるようになります。

---

🏭 3. 自動工場の登場：「INSETS」という魔法の機械

この新しいテストを作るには、膨大な「画像」と「文章」のペアが必要ですが、人間が一つ一つ作るには時間がかかりすぎます。

そこで、**「INSETS（インセットス）」**という自動システムを開発しました。

• 仕組み：
  1. 複数の AI に画像を見てもらい、「どんな感情が湧くか」を自由に言葉で言わせます（「喜び」「興奮」「安堵」など、自由な言葉で OK）。
  2. 心理学の理論に基づき、それらの言葉を整理して分類します。
  3. 自動的に「正しい文章」と「わざと間違った文章」を大量に作ります。

例え話：
以前は、料理のレシピ（テスト問題）を作るために、料理人が何百人も集まって手作業で書いていたのが大変でした。
しかし、「INSETS」は、複数の料理人（AI）に「この食材でどんな味がする？」と聞いて、その意見をまとめて、自動的に「美味しいレシピ」と「まずいレシピ」を何万冊も印刷してくれる魔法の工場のようなものです。人間の手間は最小限で、大量のテスト問題が作れます。

---

📊 4. 結果：AI はまだ人間には及ばない

この新しいテスト（MVEI ベンチマーク）を使って、最新の AI（GPT-4o など）をテストしました。

• 結果：
  • 得意なこと： 画像から基本的な感情（「これは楽しい」「これは悲しい」）を読み取る能力は、以前より格段に向上しました。
  • 苦手なこと：
    1. 感情の「色」を判断する： 「これは完全にポジティブか、ネガティブか、それとも両方混ざっているか」の判断が苦手です。
    2. 主観の理解： 「この画像を見た 35 歳の男性は、女性よりも『恐怖』を感じやすい」といった、**「見る人によって感情が変わる」**という複雑な部分を理解するのが非常に苦手です。

例え話：
最新の AI は、「料理の材料を見て『これは甘い料理だ』と当てるのは得意になりました。
しかし、『この料理を、疲れているおじさんが見たら「辛い」と感じるかもしれないが、元気な子供が見たら「美味しい」と感じるかもしれない』という、見る人の心情や状況による微妙な違いまで理解するのは、まだ人間に遠く及びません。
人間は 90% 以上の正解率ですが、最高の AI でも 70% 台止まりです。

---

🚀 5. まとめ：これからどうなる？

この研究は、**「AI に感情を理解させるためには、正解を一つに絞るのではなく、多様な意見や背景を認めるテストが必要だ」**と示しました。

• 今後の展望：
  AI が人間の感情をより深く理解できるようになるためには、この新しいテストを使って AI を鍛え直す（学習させる）ことが重要です。特に「人によって感じ方が違う」という部分の理解は、AI が人間とより深くコミュニケーションを取るための鍵となるでしょう。

一言で言うと：
「AI の感情テストを、『正解を当てるクイズ』から『多様な意見を尊重する議論』に変え、自動で大量の練習問題を作れるようにした。その結果、AI はまだ『人の心（主観）』を理解するには至っていないが、これから成長する可能性が広がった」という論文です。

技術概要

この論文「CUSTOMIZING VISUAL EMOTION EVALUATION FOR MLLMS: AN OPEN-VOCABULARY, MULTIFACETED, AND SCALABLE APPROACH（MLLMs 向け視覚感情評価のカスタマイズ：オープンボキャブラリー、多面的、かつスケーラブルなアプローチ）」は、マルチモーダル大規模言語モデル（MLLMs）の視覚感情認識能力を評価するための新たな枠組みとベンチマークを提案するものです。以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題定義 (Problem)

近年、MLLMs は多様なタスクで卓越した性能を示していますが、画像から感情を知覚する能力については議論が続いており、ゼロショット評価において結果が分かれています。著者らは、この不一致が既存の評価手法の限界に起因すると指摘しています。具体的には以下の 4 つの課題があります。

1. 柔軟性の欠如: 既存の評価（感情分類や解釈）は、固定された正解ラベルや限定的な感情カテゴリ（例：基本 8 感情）に依存しており、人間の感情知覚が本質的に主観的であり多様であることを反映できていません。
2. 文脈の無視: 画像の内的属性だけでなく、シーン文脈や鑑賞者の属性（主観性）が感情知覚に与える影響を考慮していません。
3. アノテーションの非効率性: 高品質なデータセット構築には、多数の人間アノテーターによる集約（多数決など）が必要であり、スケーラビリティとコストの面で課題があります。
4. 評価の矛盾: 人間には妥当に見える MLLM の回答が、厳格な固定ラベル基準では「不正解」と判定されるケースが多く、モデルの真の能力を測れていません。

2. 手法 (Methodology)

これらの課題を解決するため、著者らは「感情ステートメント判定（Emotion Statement Judgment: ESJ）」タスクと、それを支える自動化パイプライン「INSETS」を提案しました。

A. 感情ステートメント判定 (ESJ) タスク

従来の「画像を見て感情を答える」という形式ではなく、「画像と感情に関するステートメント（文）が正しいかどうかを MLLM に判定させる」という形式を採用します。これにより、以下の 4 つの補完的な次元で評価を行います。

1. 感情極性 (Sentiment Polarity): 画像がポジティブ、ネガティブ、または混合の感情を喚起するか。
2. 感情解釈 (Emotion Interpretation): 特定の感情状態の理由やトリガーの説明が妥当か。
3. シーン文脈 (Scene Context): 特定の状況（文脈）下での感情反応が適切か。
4. 知覚の主観性 (Perception Subjectivity): 特定の属性（年齢、性別、職業など）を持つ鑑賞者が、どのような感情を抱くかという個人差を考慮した評価。

B. INSETS パイプライン (自動アノテーション)

人手を最小限に抑えつつ大規模な ESJ データセットを構築するための自動化パイプラインです。

1. オープンボキャブラリー感情タグ付け:
   • 複数の MLLM に画像から感情を抽出させ、その出力を統合します。
   • 抽出された感情語彙を、心理学で確立された「Parrott の階層的感情モデル」にマッピングし、主要・二次・三次感情に分類します。
   • 複数のモデルによる多数決（Ensemble Majority Voting）と人間による微調整を行い、信頼性の高いオープンボキャブラリーな感情ラベルを生成します。
2. 感情ステートメント構築:
   • 生成されたラベルに基づき、正解となるステートメントと、意図的に誤ったステートメント（ダミー）を自動生成します。
   • 誤ったステートメントの生成には、画像間の類似性を逆手に取った「干渉（Inter-image/Intra-image disruption）」や、極性の反転などの戦略を用います。

C. データセット構築

• INSETS-462k: 上記パイプラインにより自動生成された 46 万 2 千件の大規模コーパス。
• MVEI (Multifaceted evaluation of Visual Emotion Intelligence): INSETS-462k からサンプリングし、5 人の大学院生による厳密な人間レビューを経て完成した最終ベンチマーク（3,086 件の画像 - ステートメント対）。

3. 主要な貢献 (Key Contributions)

1. ESJ タスクの提案: 従来の分類タスクの限界を克服し、オープンボキャブラリーかつ多面的な視覚感情評価を実現する新しいタスク形式を確立しました。
2. INSETS パイプラインの開発: 最小限の人手で、高品質なオープンボキャブラリー感情ラベルと多面的なステートメントを大規模に構築するスケーラブルな手法を提案しました。
3. MVEI ベンチマークと包括的評価: 心理学理論に基づいた 4 つの次元を網羅する MVEI ベンチマークを公開し、最新の MLLM 群（GPT-4o, Qwen2-VL, InternVL2.5 など）に対する体系的な評価を行いました。

4. 結果 (Results)

MVEI における評価結果から以下の知見が得られました。

• MLLMs の性能: 最新の MLLM は、感情の基本的な極性や解釈において一定の能力を示していますが、人間（平均正答率 91.6%）にはまだ大きく劣っています。
• 課題の特定:
  • 感情極性: MLLM はポジティブ/ネガティブの境界を区別する際に困難を抱えています。
  • 知覚の主観性: 最も大きなギャップが見られた分野です。モデルは「誰が」見ているかという主観的な要素が感情に与える影響を捉えることが苦手です。
• 適応技術の影響:
  • Few-shot 学習や LoRA などの適応: 感情極性のタスクでは大幅な性能向上が見られましたが、主観性のタスクでは改善が限定的でした。これは主観性の理解がモデルの基礎的な性質に深く関わる課題であることを示唆しています。
  • GPT-4o の性能: 最上位モデルでも人間には届かず、特に文脈や主観性の理解において限界が露呈しました。

5. 意義と結論 (Significance & Conclusion)

この研究は、MLLMs の「感情的知性（Emotional Intelligence）」を向上させるための基盤を提供します。

• 評価基準の転換: 単なる感情分類の精度向上だけでなく、文脈理解や主観性の考慮といった、人間に近い感情知覚の多面的な側面を評価する指標を提供しました。
• 今後の研究方向: 感情極性の判定は適応学習で改善可能ですが、主観性の理解には、より高度な事前学習や専用データセットの構築など、根本的なアプローチの転換が必要であることが示されました。
• 倫理的配慮: データセットの偏り（ポジティブな画像の多さ）や、自動生成されたキャラクターに含まれる潜在的なバイアス（年齢、性別、文化的背景）についても言及し、今後の研究における注意喚起を行いました。

総じて、この論文は MLLM の視覚感情理解能力をより深く、包括的に評価・改善するための重要なステップであり、AICA（Affective Image Content Analysis）分野と MLLM 開発の両方に寄与するものです。