TraMP-LLaMA: Generative Interpretability with Decoupled Instruction Tuning for Facial Expression Quality Assessment

技术摘要：TraMP-LLaMA：用于面部表情质量评估的解耦指令微调生成式可解释性研究

问题陈述
现有的针对神经系统疾病（如帕金森病，PD）的面部表情质量评估（FEQA）方法通常仅输出单一的严重程度评分（例如 MDS-UPDRS）。虽然这些评分对于定量监测很有用，但它们缺乏对支持该预测的可观测面部运动证据的明确传达。这限制了模型的可解释性，并阻碍了对模型输出进行审计或分析评分者分歧的能力。传统的解释性工具（如显著性图）无法描述临床相关的时空运动模式（例如运动范围减小、不对称性），而现成的视频语言模型（VLM）在被要求解释预测依据时，往往会产生与临床无关细节的幻觉。此外，现有的数据集（如 PFED5）虽然提供了严重程度评分，但缺乏用于训练证据驱动型报告所需的底层运动证据的文本注释。

方法论
作者提出了 TraMP-LLaMA，这是一个统一的多模态框架，旨在共同预测临床严重程度评分并生成结构化的、基于证据的文本报告。

• 架构： 该框架构建在 VideoLLaMA3 之上（使用 SigLIP-NaViT 作为视觉编码器和 Qwen-2.5 作为 LLM）。它集成了两个主要的输入流：

  1. RGB 外观： 由冻结的 SigLIP-NaViT 视觉编码器进行编码。
  2. 地标轨迹（Landmark Trajectories）： 通过一个可训练的 SkateFormer 网络进行编码，以捕捉显式的面部运动特征。
     这些流通过一个可训练的交叉融合模块进行处理，以创建一个紧凑的、具备运动感知能力的表示。

• 双头输出：

  1. 严重程度评分： 一个回归头根据融合后的轨迹-RGB 表示来预测临床评分。
  2. 报告生成： LLM 经过指令微调，以生成结构化报告。它以视觉 Token、基于轨迹的运动 Token 以及融合表示的拼接作为条件，并结合特定的指令提示词。

• 解耦指令微调： 该研究的一个核心技术贡献是缓解了严重程度回归与语言生成任务之间的任务干扰。作者采用了梯度截断机制（stop-gradient mechanism），其中：

  • 运动编码器和交叉融合模块仅由严重程度评分损失（$L_{score}$）进行更新。
  • 来自文本生成损失（$L_{text}$）的梯度被阻止回传至运动编码器和融合模块。
  • LLM 参数（通过 LoRA 进行适配）和投影层仅由 $L_{text}$ 进行更新。
    这种设计确保了用于准确评分的时空特征不会因语言生成目标而发生扭曲，同时仍允许 LLM 利用相同的证据进行报告生成。

• 数据集扩展 (PFED5+)： 为了支持报告生成，作者将 PFED5 数据集扩展为 PFED5+。这涉及为每个视频片段创建由专家引导且经过临床审查的文本描述。这些注释遵循标准化的时间模板（动作前、动作中、动作后），并描述可观测的、特定区域的运动模式，而不直接编码严重程度标签，从而防止标签泄漏。

核心贡献

1. TraMP-LLaMA 框架： 一个多模态系统，能够同时输出定量严重程度评分和结构化文本报告，为评估提供可检查的面部运动证据。
2. 解耦训练策略： 一种新型的指令微调方法，通过阻断语言生成梯度来更新运动编码器和融合模块，在保持评分准确性的同时实现生成式可解释性。
3. PFED5+ 数据集： PFED5 的增强版，包含专家引导的片段级运动描述，实现了首次针对证据驱动型报告生成的监督训练。

结果
实验在 PFED5+ 上进行，采用联合多表情训练设置（在单个模型中训练所有五种临床动作）。

• 严重程度预测： TraMP-LLaMA 达到了最先进的性能，优于包括 QAFE-Net、TraMP-Former 和基础 VideoLLaMA3 在内的竞争基准。具体而言，在联合设置下，其 Spearman 秩相关系数比所有竞争方法至少提高了 4.39%。通过交叉融合引入轨迹线索带来了显著增益，尤其是在“静坐休息”（Sit at rest, +10.40%）和“闭眼挤压”（Squeeze eyes, +9.76%）等动作中。
• 报告生成： TraMP-LLaMA 在所有指标（BERTScore, ROUGE-L, BLEU-4, CIDEr）上均超越了基础 VideoLLaMA3 及其他通用 VLM（如 Chat-UniVi, LLaVA-Video）。消融研究证实，解耦训练策略（阻断文本梯度）至关重要，因为启用这些梯度会导致评分相关性降低且训练不稳定。
• 消融发现： 研究验证了使用视觉、轨迹和融合 Token 的组合作为 LLM 条件化处理能获得最佳的语义对齐。研究发现，对于整体评分相关性而言，使用全局平均池化（GAP）进行时间聚合比使用逐帧序列更为有效。

意义与局限性
论文声称 TraMP-LLaMA 解决了临床 FEQA 中一个关键的空白，即从“黑盒”评分转向提供透明、可审计且基于证据的评估。通过将评分与特定的可见运动证据联系起来，该框架支持纵向比较和评分者分析。

然而，作者也对其局限性保持了审慎的态度：

• 作为一个生成式 VLM，该模型可能会偶尔产生关于特定区域细节的幻觉，特别是在运动线索细微或被遮挡时。
• PFED5+ 数据集规模相对较小，且在严重程度水平上存在不平衡，报告监督受限于单参考注释和评分者间的差异性。
• 尽管各项指标有所提升，但作者指出，格式偏差和不支持的区域描述仍可能发生，这尽管改善了基于重叠度的指标，但仍可能限制其直接的临床可用性。