技術要約：線形判別木アンサンブルによる解釈可能なマルチモーダル分類

1. 問題提起

テキスト、音声、視覚ストリームを融合させるマルチモーダルな感情および行動分類システムは、予測精度と解釈性の間の決定的なトレードオフに直面している。現在の最先端モデル、特にTransformerベースのアーキテクチャ（例：MulT）は高い精度を実現しているが、「ブラックボックス」的な特性に悩まされている。それらの分散表現と深い非線形性は、個々の特徴量に意味のある重要度重みを割り当てることを困難にしており、臨床的な感情モニタリングや教育的評価のような信頼性が重視される領域への導入を妨げている。

既存の解釈可能な代替案、例えば標準的な決定木は、複雑なマルチモーダル・タスクに必要な精度を欠くことが多い。さらに、木ベースのモデルにおける標準的な特徴量重要度指標は、負のクラス（多数派クラス）を識別するノードに偏る傾向があり、正のクラス（ターゲットクラス）に関連する手がかりを正確に強調することに失敗している。クラス判別的な投影と修正された重要度指標をマルチモーダルデータに統合しつつ、異なる種類の木アンサンブルのタイプを体系的に比較する統一されたフレームワークは存在しない。

2. 手法

著者は、4つの主要なコンポーネントを通じて精度と解釈性のバランスをとる、木ベースのアンサンブルに基づく新しいフレームメントを提案している。

2.1 線形判別ノード投影

核心となる革新は、木ベースのアンサンブル（決定木、ランダムフォレスト、AdaBoost）内のすべてのノードに線形判別分析（LDA）プロジェクターを挿入することである。非凸最適化やPCAを用いて不純度を最小化する標準的な斜め決定木とは異なり、これらのノードはLDAを利用して、クラス間分散とクラス内分散の比を最大化するハイパープレーンを見出す。これにより、「線形判別木（LDT）」、「線形判別フォレスト（LDF）」、および「線形判別AdaBoost（LDAB）」のバリアントが生成される。

2.2 コンテキスト統合と特徴量エンコーディング

高次元のマルチモーダルデータを扱うために、本フレームワークは分割統治戦略を採用している：

• コンテキスト統合： 融合前にモダリティ固有のトークンをエンコードするために、3つのスキームを評価する：K-meansクラスタリング、固有値ベースの二値階層クラスタリング、およびマルチセンス（multi-sense）クラスタリング。後者の2つは、標準的なK-meansよりも意味的な距離をより忠実に保持することを目的としている。
• 特徴量エンコーディング： 発話は、発話文ベクトル、Bag-of-Words (BoW)、およびBag-of-n-grams（具体的にはバイグラム）などの表現に変換され、シーケンスの順序情報を注入する。
• サブサンプリング： クラス不均衡に対処するために、Condensed Nearest NeighbourやNear-Missなどの手法が使用される。

2.3 修正された特徴量重要度 (FI)

本論文では、正のクラスを優先するように設計された修正された特徴量重要度指標を導入している。標準的な重要度は、負のインスタンスを拒絶するノードによって支配される。提案された指標は、正しいブランチにルーティングされた正のインスタンスの余剰に基づいて、ノードの情報利得（$G_j$）を再重み付けする：
$$G'_j = G_j \cdot \frac{N_{jrp} - N_{jlp}}{N_{jrp} + N_{jln}} \cdot N_j$$
ここで、$N_{jrp}$ は右ブランチにおける正のインスタンスの数、$N_{jlp}$ は左ブランチにおける正のインスタンスの数、$N_{jln}$ は左ブランチにおける負のインスタンスの数である。この定式化は、正のインスタンスが支配的なノードをアップウェイトし、マーカー検出を改善する。

2.4 評価指標

標準的な精度とF1に加え、著者は修正F1 (F1-mod) 指標を定義している。この指標は、負のクラスが正のクラスよりも大幅に大きい場合（比率 $m \ge 4$）、偽陽性を過度に罰することなく、不均衡なシナリオにおけるパフォーマンスをより現実的に評価する。

3. 主な貢献

1. アンサンブルにおけるLDAノード投影： 本研究は、単一の木や特定のコンテキストに限定されていたLDAベースのノード投影を、ランダムフォレストおよびAdaBoostアンサンブル（LDT, LDF, LDAB）へと拡張した。これは、統一されたマルチモーダルパイプラインにおけるこれらのバリアントの最初の体系的な比較である。
2. 正のクラスに焦点を当てた重要度： 標準的な指標が負のクラスの拒絶に偏るという問題を解決するため、正のクラス検出に寄与するノードを特別にアップウェイトする修正された特徴量重要度指標の開発。
3. コンテキスト統合スキーム： K-means、固有値ベースの階層クラスタリング、およびマルチセンスクラスタリングの比較分析を行い、スキームの選択が精度と解釈性の両方に大きな影響を与えることを実証した。
4. 統一されたフレームワーク： コンテキストエンコーディング、特徴量コーディング、および木ベースのアンサンブルを統合し、Transformerと同等の精度を実現しつつ、優れた解釈性を提供する完全なパイプライン。

4. 実験結果

フレームワークは、IEMOCAP（感情認識）、CMU-MOSI（感情分析）、およびカスタムのマルチモーダル数学データセットの3つで評価された。

• Transformerとの精度比較： 提案されたアンサンブルは、非解釈的なTransformerベースライン（MulT）に匹敵する精度とF1スコアを達成した。具体的には、LDFはIEMOCAP（happyクラス）において、精度86.3%、F1 83.5%を達成し、主要な解釈可能ベースライン（IMR）をF1-modにおいて17.8パーセントポイント上回った。
• 解釈可能なベースラインとの精度比較： 提案されたモデルは、一貫して解釈可能なマルチモーダル・ルーティング（IMR）ベースラインを上回り、IMRに対して3.0%の精度向上を達成した。
• 解釈性： 修正された特徴量重要度は、デフォルトの特徴量重要度と比較して、人間のアノテーターとの一致度が大幅に高かった。IEMOCAPでは、一致スコアはデフォルトの43.2%から修正後の62.2%に上昇し、CMU-MOSIでは32.1%から46.7%に上昇した。修正された指標は、「awesome」や「wedding」といった感情的に顕著な単語を正常に特定したが、デフォルトの指標はしばら停止語（stop-words）を選択することが多かった。
• アブレーション研究： コンテキスト統合または特徴量エンコーディングを取り除くと、大幅な性能低下（F1で最大29%）が発生し、これらのコンポーネントの必要性が確認された。ノードレベルでLDAをPCAまたはFisher-ICAに置き換えると性能が低下し、クラス判別的な投影の具体的な有用性が検証された。

5. 意義と主張

本論文は、木ベースのアンサンブルがLDAノード投影と修正された重要度指標によって拡張されることで、ディープラーニングの高い精度と、臨床および教育的応用において必要とされる透明性の間のギャップを埋めることができると主張している。

• 解釈性： フレームワークは、標準的なアテンションベースのモデルが容易に提供できない、クロスモーダルな概念の関連性を含む、意思決定を駆動する手がかりの人間が理解可能な説明を提供する。
• 故障診断： 正のクラスのインジケーターに焦点を当てることで、修正された特徴量重要度は、モデルの故障診断や実行可能な行動ガイダンスを支援する。
• トレードオフの解消： 結果は、高い精度を持つマルチモーダル融合には不透明なディープラーニングが必要であるという概念に異を唱え、Transformer（MulT）と同等の精度を維持しながら、決定木の解釈性を維持することが可能であることを示唆している。

著者は、各ノードでのLDA適合によるトレーニング時間の増加や、英語圏の北米人口へのデータセットの偏りといった限界も認めている。今後の課題として、フレームワークを多クラス設定に拡張することや、スパース制約を通じてトレーニングコストを削減することが提案されている。