ProFocus: Interpreting Affective Experience in Artistic Images with Progressive Visual Focusing

技術要約：ProFocus

問題提起
視覚芸術によって引き起こされる感情的反応を解釈することは、感情知能を実現する上での中心的な課題である。自然な画像が客観的な情景を描写するのに対し、視覚芸術は抽象的な概念、視覚的なメタファー、非限定的な色彩を通じて感情的反応を引き出すよう意図的に作成されている。既存の視覚的感情分析手法は、MS-COCOのような物体中心のデータセットで事前学習された汎用的な視覚埋め込み（例：CLIP）に依存することが多い。これらのモデルは、明示的な物体の特定には優れているものの、芸術的な情動解釈に不可欠な、微細で階層的な美的手がかりを分離することには失敗する。その結果、現在の最先端モデル（例：SEVLM）は、単一の特徴空間内で抽象的なスタイル、物語構造、および象徴的な詳細を分離できないため、意図された感情が「恐怖」である場合に「畏敬」のような感情を予測してしまうなど、芸術作品の感情的なトーンを誤認することがある。

手法
著者らは、視覚的表現学習を人間の美的鑑賞における階層的な認知理論に適合させるように設計されたフレームワークであるProFocusを提案する。そのアーキテクチャは、以下の3つのコアコンポーネントで構成されている。

1. 階層的アートクリティック (Hierarchical Art Critic: HAC):

   • 機能: このモジュールは、絡み合った視覚的手がかりを明示的に分離するセマンティック・フロントエンドとして機能する。LLaVA-1.6を活用し、「仮想のアートクリティック（批評家）」として機能する。
   • プロセス: 生の視覚トークンに依存する代わりに、HACは視覚的内容を、3つの認知レベルにわたる構造化された言語的プライア（事前知識）へと変換する。
     • 雰囲気的なスタイル (Atmospheric Style): 全体的なムード、カラーパレット、および芸術的技法を捉える。
     • 物語的な主題 (Narrative Subjects): 主要なエンティティ、それらの空間的関係、および相互作用を記述する。
     • 具体的な詳細 (Concrete Details): 特定の象徴的な要素や微細な視覚的証拠を特定する。
   • 出力: これらの記述は、階層的なセマンティック・アンカーとして機能する明示的なテキスト埋め込み（$K^{(1)}, K^{(2)}, K^{(3)}$）へとエンコードされる。

2. 漸進的ヒント融合 (Progressive Hint Fusion: PHF):

   • 機能: このモジュールは、人間の知覚と一致する形式（粗から密へ）で、階層的な言語的プライを視覚的特徴へと統合する。
   • メカニズム: 特徴量を同時に結合する従来のクロスモーダル融合とは異なり、PHFは3つのスタックされたマルチヘッド・クロスアテンション（MCA）ブロックを用いた逐次的な注入プロセスを採用している。
     • ステージ1: 視覚的特徴は「雰囲気的なスタイル」のプライに注意を向け、グローバルな美的コンテキストを確立する。
     • ステージ2: 洗練された特徴は「物語的な主題」に注意を向け、特定のエンティティや相互作用に焦点を絞る。
     • ステージ3: 特徴は最終的に「具体的な詳細」に注意を向け、微細な象徴的証拠を捉える。
   • 設計: このモジュールは、画像の元の空間的帰納バイアスを保持しつつ、セマンティックな知識を段階的に吸収するために、残差接続とLayerNormを使用する。これにより、モデルが全体的な情動の支配性を維持しながら、意味のある領域へと注意を洗練させていくことが保証される。

3. 感情的説明生成 (Affective Explanation Generation):

   • 階層的に融合された視覚的特徴（$V_{fused}$）は、感情プロンプトと共にGPT-2言語デコーダーに送られる。デコーダーは、明示的に注入されたセマンティックな手がかりに基づき、感情ラベルを予測し、対応する説明を自己回帰的に生成する。

主な貢献

• 新規フレームワーク: 一般的な視覚的特徴から離れ、視覚的処理を人間の芸術鑑賞の経路に明示的に適合させたProFocusの導入。
• アーキテクチャの革新: 芸術的知覚を解釈可能な言語的プライへと分解する階層的アートクリティック（HAC）と、これらのヒントを逐次的に統合する漸進的ヒント融合（PHF）モジュールの設計。
• パフォーマンス: このアプローチが、全体的な視覚的特徴と微細な芸術的解釈の間の「情動のギャップ」を効果的に埋めることを実証。

実験結果
著者らは、SEVLM、NLX-GPT2、および静止画用に適応させた様々なLLMベースのビデオ感情モデルを含む最先端のベースラインと比較するために、ArtEmis v1.0およびv2.0データセットを用いてProFocusを評価した。

• 感情認識: ProFocusは、ArtEmis v1.0において66.1%（SEVLMより2.2%向上）、ArtEmis v2.0において**43.8%**という、新たな最高精度を達成した。
• 説明生成: モデルはセマンティックな関連性と言語的流暢さにおいてベースラインを凌駕し、v1.0においてBLEU@4スコア9.8、ROUGE-Lスコア30.8を達成した。
• アブレーション研究:
  • 補完的なプライ: 単一のタイプのプライ（例：詳細のみ）に依存すると性能が制限されることが実験で示され、3つのレベルすべてを組み合わせることで最良の結果が得られた。
  • 融合メカニズム: アテンションベースの漸進的ヒント融合は、単純な特徴量の結合を大幅に上回った。
  • 注入の順序: 粗から密への順序（スタイル $\to$ 主題 $\to$ 詳細）は他の置換よりも優れていることが証明され、局所的な詳細を洗練させる前にグローバルなコンテキストを確立する必要性が確認された。
• 定性的分析: アテンション重みの可視化により、モデルが背景の雰囲気から特定の主題、そして最終的に微細な詳細へと動的に焦点を移していることが示された。特徴空間の可視化（t-SNE）では、ProFocusがベースラインモデルと比較して、有意に優れたクラス内凝集度とクラス間分離度を生み出していることが示された。
• 人間による評価: 300個のサンプルを用いたブラインド評価において、ProFocusは視覚的関連性（ハルシネーションの抑制）と詳細の豊かさにおいて最高スコアを獲得し、競合モデルよりも説得力があり、視覚的に根拠に基づいた根拠を生成した。

意義
本論文は、ProFocusが現在のマルチモーダルモデルの根本的な限界、すなわちコンパクトな視覚表現の中で異種的な芸術的手がかり（抽象的な美学、構図、および象徴的な詳細）を分離できないという問題を解決していると主張している。人間の美的鑑賞における階層的な認知プロセスを模倣することで、このフレームワークは、機械が感情をより正確に予測するだけでなく、一般的なLLMに共通するハルシネーション（幻覚）のない、視覚的に根拠に基づいた説明を生成することを可能にする。本研究は、視覚芸術における感情的推論の新たなベンチマークを確立し、明示的なセマンティック・グラウンディング（意味的な接地）が、芸術的な画像の微細な感情的意図を解釈するために極めて重要であることを示している。