Improving Detection of Rare Nodes in Hierarchical Multi-Label Learning

技术摘要：改进层次化多标签学习中稀有节点的检测

问题陈述
层次化多标签（Hierarchical Multi-Label, HML）分类面临着一个持久的挑战：使模型能够在层级结构中更深、更细粒度的层级上做出预测。这种困难源于某些类别（节点）天然的稀有性，以及层级约束——即子节点几乎总是比其父节点更不频繁。因此，标准模型往往无法预测稀有的细粒度节点，而这些节点对于科学洞察（例如，检测深海图像中的稀有物种或医学领域中的稀有基因产物）至关重要。

现有的处理 HML 不平衡的方法通常依赖于基于观测值的重采样（例如，对稀有观测值进行过采样）。作者认为这是次优的，因为这存在过度强调与稀有子节点共同标注的常见父节点的风险。此外，将整个观测值视为单一单元无法解决层级结构内单个节点特有的不平衡问题。此外，标准损失函数未能充分考虑模型的不确定性，而这对于识别哪些节点在训练期间需要更多关注至关重要。

方法论
作者提出了一种用于神经网络的加权损失目标，该目标结合了两个不同的组件来解决节点级不平衡和不确定性问题，并基于相干层次化多标签分类神经网络（C-HMCNN）框架构建。

1. 节点级不平衡加权：
   与其根据观测值的频率进行加权，该方法根据单个节点及其后代的频率分配权重。

• 重缩放： 为了防止常见节点获得接近于零的权重（这会消除其信息梯度），作者引入了一个最小权重参数 ($\tilde{w}_0$)。
• 应用： 权重仅应用于节点的正向标注 ($y_i=1$)，而负向标注保持不加权（权重为 1）。这鼓励模型学习稀有节点，同时不会完全忽略常见节点。

2. 通过不确定性量化进行的焦距加权（Focal Weighting）：
   受 Focal Loss 的启发，该组件强调模型集成表现出高不确定性的节点。作者利用模型集成 ($\Theta$) 来量化不确定性，探索了几种指标：

• 二元贝叶斯模型平均 (bBMA)： 使用集成均值预测的方差，并针对二元置信度进行了调整。
• 门控边缘不确定性 (GMU)： 一种基于信噪比的指标，它在捕捉模型预测间方差的同时，结合了一个置信度门控。
• 认知不确定性 (Epistemic Uncertainty)： 通过集成中模型预测之间的 Kullback–Leibler (KL) 或 Jensen-Shannon (JS) 散度来衡量。
• 实现： 焦距项计算为 $(U_0 + U(\Theta(X))^k)$，其中 $U$ 是不确定性度量，$U_0$ 是最小门控，$k$ 是指数因子。该项在计算时不带梯度，以防止集成崩溃。

最终的损失函数 ($L_{focal}$) 将不平衡加权项、焦距加权项以及用于满足层级约束的 C-HMCNN 标准“最大约束损失” ($L_{MC}$) 相乘。

核心贡献

1. 不平衡加权： 本文证明，在 HML 任务中，在节点层面定义不平衡权重（独立于观测分布）比基于观测值的重采样更有效。研究表明，特定的最小权重参数 ($\tilde{w}_0$) 对于平衡召回率和精确度之间的权衡至关重要。
2. 焦距加权： 作者将不确定性量化的概念引入 HML 背景。他们提供的证据表明，将不确定性项（特别是 bBMA 和 GMU）纳入损失函数可以显著提高对稀有节点的检测能力。
3. 全面评估： 研究在 16 个基因产物数据集（FUN 和 GO 层级结构）和一个底栖图像数据集（BenthicNet-E）上评估了这些方法，涵盖了树状结构和有向无环图 (DAG) 结构。

实验结果

• 基因产物数据集： 提出的节点级加权（配合 $\tilde{w}_0 = 0.25$）与基准模型（None, LPROS, HROS-PD）相比，在特定数据集上将召回率提高了高达五倍。虽然这有时会带来精确度的权衡，但整体 F1 分数显示出统计学上的显著提升。
• 焦距加权： 当与不平衡加权结合时，焦距项（bBMA 和 GMU）进一步提高了 F1 分数和召回率。焦距加权的性能随集成规模的正向扩展，这表明更大的集成能提供更可靠的不确定性估计。
• 认知不确定性： 与最初的假设相反，认知不确定性度量（KL/JS 散度）的表现不如 bBMA 和 GMU。作者认为这可能是因为在训练良好的网络中，偶然不确定性（aleatoric uncertainty）在总不确定性中占主导地位。
• 视觉模型 (BenthicNet-E)： 当编码器并非最优（存在噪声或随机初始化）或训练数据有限时，该方法表现出的收益最为显著。随着编码器变得完全训练充分且数据充足，相对增益有所减少，尽管对稀有节点的改进仍然存在。
• 组合方法： 将提出的加权方法与 LPROS（一种重采样方法）结合使用，在基因产物数据集上进一步提高了 F1 和精确度，表明存在协同效应。然而，这种组合在视觉数据集上的表现并不强。

意义与主张
本文声称，其方法能够实现对层级结构深处稀有节点的持续检测，这是一个由于自然数据不平衡而被标准 HML 模型经常忽视的问题。其意义在于将焦点从“稀有观测值”转向“稀有节点”，从而避免了强化常见父节点的陷阱。作者断言，对于编码器欠佳（如噪声或数据有限）的挑战性 HML 任务，其方法特别有效。他们得出结论，虽然随着完美编码器和充足数据的出现，其收益会递减，但该方法仍是提高现实世界中不平衡层级设置下召回率和 F1 分数的稳健策略。