ProFocus: Interpreting Affective Experience in Artistic Images with Progressive Visual Focusing

技术摘要：ProFocus

问题陈述
解读视觉艺术引发的情感反应是实现情感智能的核心挑战。与描绘客观场景的自然图像不同，视觉艺术通过抽象概念、视觉隐喻和非写实的色彩进行有意识的创作，旨在激发情感反应。现有的视觉情感分析方法通常依赖于通用的视觉嵌入（例如 CLIP），这些模型是在以物体为中心的 MS-COCO 等数据集上进行预训练的。这些模型生成的整体视觉表示擅长识别显式物体，但无法解耦对于艺术情感诠释至关重要的细微且具有层级性的审美线索。因此，当前的最先进模型（如 SEVLM）往往会误解艺术品的的情感基调，例如在预期的情感是“恐惧”时却预测为“敬畏”，这是因为它们无法在单一特征空间内解构抽象风格、叙事结构和符号细节。

方法论
作者提出了 ProFocus，一个旨在通过将视觉表示学习与人类审美鉴赏的层级认知理论相对齐来建模情感体验的框架。该架构由三个核心组件组成：

1. 层级艺术评论家 (Hierarchical Art Critic, HAC):

   • 功能： 该模块充当语义前端，显式地解耦纠缠在一起的视觉线索。它利用多模态大语言模型 (LLaVA-1.6) 来充当“虚拟艺术评论家”。
   • 过程： HAC 不依赖于原始视觉标记，而是将视觉内容转化为跨越三个认知层级的结构化语言先验：
     • 氛围风格 (Atmospheric Style)： 捕捉整体情绪、色彩组合和艺术技法。
     • 叙事主体 (Narrative Subjects)： 描述主要实体、它们的空间关系以及相互作用。
     • 具体细节 (Concrete Details)： 识别特定的符号元素和细粒度的视觉证据。
   • 输出： 这些描述被编码为显式的文本嵌入 ($K^{(1)}, K^{(2)}, K^{(3)}$)，作为层级语义锚点。

2. 渐进式提示融合 (Progressive Hint Fusion, PHF):

   • 功能： 该模块以符合人类感知（从粗糙到精细）的方式，将层级语言先验整合到视觉特征中。
   • 机制： 不同于传统的同步拼接特征的跨模态融合，PHF 采用了一个使用三个堆叠的多头交叉注意力 (MCA) 块组成的顺序注入过程。
     • 阶段 1： 视觉特征关注“氛围风格”先验，以建立全局审美语境。
     • 阶段 2： 精炼后的特征关注“叙事主体”，以聚焦特定的实体及其交互。
     • 阶段 3： 特征最终关注“具体细节”，以捕捉细粒度的符号证据。
   • 设计： 该模块使用残差连接和层归一化 (LayerNorm) 来保留图像原始的空间归纳偏置，同时逐步吸收语义知识。这确保了模型在保持整体情感主导地位的同时，能将注意力精细化到具有语义意义的区域。

3. 情感解释生成：

   • 层级融合后的视觉特征 ($V_{fused}$) 与情感提示词一起输入到 GPT-2 语言解码器中。解码器自回归地预测情感标签，并生成相应的解释，该解释以显式注入的语义线索为条件。

核心贡献

• 新颖框架： 引入了 ProFocus，它显式地将视觉处理与人类艺术鉴赏的认知路径相对齐，从而摆脱了通用型视觉特征的局限。
• 架构创新： 设计了用于将艺术感知分解为可解释语言先验的层级艺术评论家 (HAC)，以及用于顺序集成这些提示的渐进式提示融合 (PHF) 模块。
• 性能表现： 证明了该方法有效地弥合了整体视觉特征与微妙艺术诠释之间的“情感差距”。

实验结果
作者在 ArtEmis v1.0 和 v2.0 数据集上对 ProFocus 进行了评估，并将其与包括 SEVLM、NLX-GPT2 以及适配用于静态图像的各种基于 LLM 的视频情感模型在内的最先进基准模型进行了比较。

• 情感识别： ProFocus 在 ArtEmis v1.0 上实现了 66.1% 的新 SOTA 准确率（比 SEVLM 高出 2.2%），并在 ArtEmis v2.0 上达到了 43.8%。
• 解释生成： 该模型在语义相关性和语言流畅度方面优于基准模型，在 v1.0 上的 BLEU@4 得分为 9.8，ROUGE-L 为 30.8。
• 消融实验：
  • 互补先验： 实验表明，仅依赖单一类型的先验（例如仅细节）会限制性能；结合所有三个层级能获得最佳结果。
  • 融合机制： 基于注意力的渐进式提示融合显著优于简单的特征拼接。
  • 注入顺序： 从粗糙到精细的注入顺序（风格 $\to$ 主体 $\to$ 细节）被证明是优越的，证实了在细化局部细节之前建立全局语境的必要性。
• 定性分析： 注意力权重可视化表明，模型能够动态地从背景氛围转向特定主体，最后转向细粒度细节。特征空间可视化 (t-SNE) 显示，与基准模型相比，ProFocus 产生了显著更好的类内紧凑度和类间可分性。
• 人类评估： 在针对 300 个样本的盲测评估中，ProFocus 在视觉相关性（减少了幻觉）和细节丰富度方面得分最高，能够生成比竞争模型更具说服力且有视觉依据的逻辑说明。

意义
论文声称 ProFocus 解决了当前多模态模型的一个基本局限：即无法在紧凑的视觉表示中解构异构的艺术线索（抽象美学、构图和符号细节）。通过模拟人类审美鉴赏的层级认知过程，该框架使机器不仅能更准确地预测情感，还能生成具有视觉依据且避免了通用 LLM 常见幻觉现象的解释。这项工作为视觉艺术中的情感推理建立了新的基准，证明了显式的语义锚定对于解释艺术图像中微妙的情感意图至关重要。