技术摘要：基于线性判别树集成模型的可解释多模态分类

1. 问题陈述

融合了文本、音频和视觉流的多模态情感与行为分类系统面临着预测准确性与可解释性之间的关键权衡。当前最先进的模型，特别是基于 Transformer 的架构（如 MulT），虽然实现了高准确率，但却存在“黑盒”特征。它们的分布式表示和深度非线性使得很难为单个特征分配有意义的重要性权重，从而阻碍了它们在临床情感监测和教育评估等对信任度敏感领域的部署。

现有的可解释替代方案（如标准决策树）往往缺乏处理复杂多模态任务所需的准确性。此外，基于树模型的标准特征重要性指标通常会对旨在歧视负类（多数类）的节点产生偏差，无法准确突出与正类（目标类）相关的线索。目前缺乏一个统一的框架来系统地比较不同类型的树集成模型，同时将类判别投影和改进的重要性指标整合到多模态数据中。

2. 方法论

作者提出了一个基于树集成模型的创新框架，通过四个核心组件平衡了准确性与可解释性：

2.1 线性判别节点投影

其核心创新是在树集成（决策树、随机森林和 AdaBoost）的每个节点中插入线性判别分析（LDA）投影器。与通过非凸优化或 PCA 实现最小化不纯度的标准斜决策树不同，这些节点利用 LDA 来寻找最大化类间方差与类内方差之比的超平面。这创造了“线性判别树”（LDT）、“线性判别森林”（LDF）和“线性判别 AdaBoost”（LDAB）变体。

2.2 上下文集成与特征编码

为了处理高维多模态数据，该框架采用了分而治之的策略：

• 上下文集成： 评估了三种在融合前对模态特定标记进行编码的方案：K-means 聚类、基于特征值的二元层次聚类以及多义项（multi-sense）聚类。后者旨在比标准 K-means 更忠实地保留语义距离。
• 特征编码： 将话语转换为诸如话语句子向量、词袋模型（BoW）和 n-gram 词袋（具体为二元语法/bigrams）等表示形式，以注入序列顺序信息。
• 欠采样： 使用凝聚最近邻（Condensed Nearest Neighbour）和 Near-Miss 等技术来解决类别不平衡问题。

2.3 改进的特征重要性 (FI)

本文引入了一种旨在优先考虑正类的改进特征重要性指标。标准的重要性主要由拒绝负实例的节点所主导。提出的指标根据路由到正确分支的正例盈余对信息增益 ($G_j$) 进行重加权：
$$G'_j = G_j \cdot \frac{N_{jrp} - N_{jlp}}{N_{jrp} + N_{jln}} \cdot N_j$$
其中 $N_{jrp}$ 是右分支中的正例计数，$N_{jlp}$ 是左分支中的正例计数，$N_{jln}$ 是左分支中的负例计数。该公式提升了正例占主导地位的节点的权重，从而改善了标记检测。

2.4 评估指标

除了标准的准确率和 F1 分数外，作者还定义了一个 改进 F1 (F1-mod) 指标。当负类显著大于正类时（比例 $m \ge 4$），该指标对假阳性的惩罚较轻，从而在不平衡场景下提供更现实的性能评估。

3. 主要贡献

1. 集成模型中的 LDA 节点投影： 本研究将先前仅限于单棵树或特定上下文的 LDA 节点投影扩展到了随机森林和 AdaBoost 集成模型（LDT, LDF, LDAB）。这是首次在统一的多模态流水线中对这些变体进行系统比较。
2. 聚焦正类的特征重要性： 开发了一种改进的特征重要性指标，专门提升有助于正类检测的节点权重，解决了标准指标偏向于拒绝负类的偏差问题。
3. 上下文集成方案： 对 K-means、基于特征值的层次聚类和多义项聚类进行了对比分析，证明了方案的选择对准确性和可解释性都有显著影响。
4. 统一框架： 一个集成了上下文编码、特征编码和树集成模型的完整流水线，在保持高可解释性的同时，实现了与 Transformer 相当的准确率。

4. 实验结果

该框架在三个数据集上进行了评估：IEMOCAP（情绪识别）、CMU-MOSI（情感分析）以及一个自定义的多模态数学数据集。

• 准确率 vs. Transformers： 所提出的集成模型达到了与不可解释的 Transformer 基准（MulT）相竞争的准确率和 F1 分数。具体而言，LDF 在 IEMOCAP（快乐类）上的准确率为 86.3%，F1 为 83.5%，在 F1-mod 指标上超过了主要的解释性基准（IMR）17.8 个百分点。
• 准确率 vs. 可解释基准： 所提模型一致优于可解释多模态路由（IMR）基准，在准确率上比 IMR 高出 3.0%。
• 可解释性： 改进的特征重要性显示出与人类标注者显著更高的吻合度，优于默认的特征重要性。在 IEMOCAP 上，吻合度从 43.2%（默认）上升到 62.2%（改进型）；在 CMU-MOSI 上，从 32.1% 上升到 46.7%。改进后的指标成功识别了具有情感显著性的词汇（如 "awesome", "wedding"），而默认指标则经常选择停用词。
• 消融实验： 移除上下文集成或特征编码会导致性能大幅下降（F1 下降高达 29%），证实了这些组件的必要性。在节点层面使用 PCA 或 Fisher-ICA 替换 LDA 会降低性能，验证了类判别投影的特定效用。

5. 意义与主张

本文声称，通过使用 LDA 节点投影和改进的重要性指标增强树集成模型，可以弥合高准确性的深度学习与临床及教育应用所需透明度之间的差距。

• 可解释性： 该框架提供了人类可理解的决策驱动线索解释，包括标准注意力机制模型无法轻易提供的跨模态概念关联。
• 故障诊断： 通过专注于正类指标，改进的特征重要性有助于模型故障诊断和可操作的行为指导。
• 权衡解决： 结果表明，通过使用 LDA 节点投影和改进的重要性指标增强树集成模型，可以在保持决策树可解释性的同时，达到与 Transformer (MulT) 相当的准确率，挑战了“高水平的多模态融合必须依赖不透明深度学习架构”的观点。

作者承认了局限性，包括由于每个节点都要拟合 LDA 而导致的训练时间增加，以及数据集对英语母语人群的偏差。未来的工作建议将该框架扩展到多分类设置，并通过稀疏性约束来降低训练成本。