Improving Detection of Rare Nodes in Hierarchical Multi-Label Learning

技術要約：階層的多ラベル学習における希少ノード検出の改善

問題提起
階層的多ラベル（HML）分類は、モデルが階層のより深く、より粒度の細かいレベルで予測を行うことを可能にするという、持続的な課題を抱えている。この困難さは、特定のクラス（ノード）の自然な希少性に起因しており、階層的な制約として、子ノードは親ノードよりも頻度が低くなることがほとんどである。その結果、標準的なモデルは、希少で詳細なノードの予測に失敗することが多い（例：海底画像における希少種の検出や、医学領域における希少な遺伝子産物の検出）。

HMLの不均衡に対する既存のアプローチは、観察に基づくリサンプリング（例：希少な観察結果のオーバーサンプリング）に依存することが多い。著者らは、これが最適ではないと主張している。なぜなら、希少な子ノードと共注釈（co-annotated）されている一般的な親ノードを過度に強調してしまうリスクがあるからである。さらに、観察全体を単一の単位として扱うことは、階層内の個々のノードに固有の不均衡に対処できない。加えて、標準的な損失関数はモデルの不確実性を十分に考慮しておらず、これはトレーニング中にどのノードにより注意を向けるべきかを特定する上で極めて重要である。

手法
著者らは、ノードレベルの不均衡と不確実性に対処するために、2つの異なるコンポーネントを組み合わせた、ニューラルネットワークのための重み付き損失目的関数を提案している。これは、C-HMCNN（Coherent Hierarchical Multi-Label Classification Neural Network）フレームワークに基づいている。

1. ノード単位の不均衡重み付け:
   観察の頻度に基づいて重みを付けるのではなく、本手法では個々のノードとその子孫の頻度に基づいて重みを割り当てる。

• 再スケーリング: 一般的なノードがほぼゼロの重みを受け取ること（これにより、それらの情報的な勾配が失われること）を防ぐため、著者らは最小重みパラメータ（$\tilde{w}_0$）を導入している。
• 適用: 重みはノードの正の注釈（$y_i=1$）にのみ適用され、負の注釈は重み付けされない（重み1）。これにより、一般的なノードを完全に無視することなく、希少なノードの学習を促進する。

2. 不確実性定量化によるフォーカル重み付け:
   Focal Lossに着想を得たこのコンポーネントは、モデルのアンサンブルが高い不確実性を示すノードを強調する。著者らは、アンサンブル（$\Theta$）を利用して不確実性を定量化し、以下のいくつかの指標を検討している。

• バイナリ・ベイズ・モデル平均化 (bBMA): バイナリの信頼性に調整された、アンサンブルの平均予測の分散を使用する。
• ゲート付きマージン不確実性 (GMU): モデル予測間の分散を取り入れつつ、信頼性のゲートを組み込んだ信号対雑音比に基づく指標。
• エピステミック不確実性（認識的不確実性）: アンサンブル内のモデル予測間のカルバック・ライブラー（KL）またはイェンセン・シャノン（JS）ダイバージェンスを介して測定される。
• 実装: フォーカル項は $(U_0 + U(\Theta(X))^k)$ として計算される。ここで、$U$ は不確実性の尺度、$U_0$ は最小ゲート、$k$ は指数因子である。この項は、アンサンブルの崩壊を防ぐために勾配なしで計算される。

最終的な損失関数（$L_{focal}$）は、不均衡重み付け項、フォーカル重み付け項、およびC-HMCNNで使用される階層的制約を満たすための標準的な「最大制約損失（max constraint loss）」（$L_{MC}$）を乗算する。

主な貢献

1. 不均衡重み付け: 著者らは、不均衡の重み付けを（観察分布とは独立して）ノードレベルで定義することが、HMLタスクにおいて観察ベースのリサンプリングよりも効果的であるという証拠を提示している。また、特定の最小重みパラメータ（$\tilde{w}_0$）が、再現率（recall）と適合率（precision）のトレードオフをバランスさせるために極めて重要であることを示している。
2. フォーカル重み付け: 著者らは、HMLの文脈に合わせて不確実性定量化の概念を適応させている。不確実性項（特にbBMAおよびGMU）を損失関数に組み込むことが、希少ノードの検出を大幅に改善することを示す証拠を提示している。フォーカル重み付けの性能はアンサンブルのサイズに対して正の相関を示しており、これは、より大きなアンサンブルがより信頼性の高い不確実性推定を提供することを示唆している。
3. 包括的な評価: 本研究は、16の遺伝子産物データセット（FUNおよびGO階層）と、樹状構造および有向非巡回グラフ（DAG）構造の両方をカバーする底生生物画像データセット（BenthicNet-E）を用いて、これらの手法を評価している。

実験結果

• 遺伝子産物データセット: 提案されたノード単位の重み付け（$\tilde{w}_0 = 0.25$）は、特定のデータセットにおいて、ベースライン（None, LPROS, HROS-PD）と比較して再現率を最大で5倍向上させた。これは時に適合率とのトレードオフを引き起こすが、全体的なF1スコアは統計的に有意な利得を示した。
• フォーカル重み付け: 不均衡重み付けと組み合わせた場合、フォーカル項（bBMAおよびGMU）はF1スコアと再現率をさらに向上させた。フォーカル重み付けの性能はアンサンブルのサイズに応じて正にスケールしており、これは、より大きなアンサンブルがより信頼性の高い不確実性推定を提供することを示唆している。
• エピステミック不確ラーティ（認識的不確実性）: 当初の仮説に反して、エピステミック不確実性の指標（KL/JSダイバージェンス）は、bBMAやGMUと比較して性能が低かった。著者らは、これは、十分に訓練されたネットワークでは偶然的不確実性（aleatoric uncertainty）が全不確実性を支配しているためである可能性を示唆している。
• ビジョンモデル (BenthicNet-E): このアプローチは、エンコーダが不十分（ノイズが多い、またはランダムに初期化されている）である場合や、訓練データが限られている場合に最も大きな恩恵を示した。エンコーダが完全に訓練され、データが豊富になった場合、相対的な利得は減少したが、希少ノードに対する改善は維持された。
• 結合アプローチ: 提案された重み付けをLPROS（リサンプリング手法）と組み合わせることで、遺伝子産物データセットにおいてF1および適合率のさらなる向上が得られた。これは、相乗効果を示唆している。しかし、この組み合わせはビジョンデータセットにおいては強力な性能を示さなかった。

意義と主張
本論文は、そのアプローチが、標準的なHMLモデルが自然なデータの不均衡のためにしばしば無視してしまう、階層の深い位置にある希少ノードの一貫した検出を可能にすると主張している。その意義は、「希少な観察」から「希少なノード」へと焦点を移すことで、一般的な親ノードを強化してしまうという落とし穴を回避することにある。著者らは、本手法が、エンコーダが不十分な場合やデータが限られている場合など、希少ノードの検出が深刻な問題となる困難なHMLタスクにおいて特に効果的であると断言している。結論として、完璧なエンコーダと豊富なデータが存在する場合にその恩恵は減少するものの、本手法は、現実世界の不均衡な階層的設定において、再現率とF1スコアを向上させるための堅牢な戦略であり続けると述べている。