技術要約: CONFER

問題提起

マルチモーダル感情認識（MER）は、伝統的に、正解ラベルとして自己報告によるバレンス（価数）およびアロウザル（覚醒度）のスコアに依存している。しかし、本論文は、これらのラベルが個人の評価習慣、認知バイアス、記憶の歪み、および実験コンテキストに起因する、本質的に信頼性の低い「弱い観測（weak observations）」であると主張している。さらに、既存の手法はクロスモーダルな衝突（cross-modal conflict）、すなわち異なるモダリティ（顔、音声、生理学的信号など）からの予測間の不一致を見落としがちである。

従来のアプローチは、注意機構やゲーティングを通じてモダリティの異質性に対処しているが、どのモダリティが特定のサンプルに対して他方に影響を与えるべきかを決定することなく、融合重みによって衝突を強制的に統一してしまう。同様に、弱ラベル手法は、グローバルな統計量や信頼度スコアに基づいて監視の信頼性を推定するが、モダリティ固有の予測間のペアワイズな一致や衝突を活用できていない。この断絶により、情報の受け渡しを効率的にオーケストレーションし、ノイズの多い自己報告からロバストに学習することが妨げられている。

手法: CONFER フレームワーク

著者らは、CONFER（Conflict-Aware Evidence Negotiation for Regime-Calibrated Weak Supervision：レジーム校正された弱監視のための衝突認識型エビデンス交渉）を提案する。これは、モダリティのエキスパートを動的な交渉グラフ内のノードとしてモデル化する、統合されたグラフベースのフレームワークである。本フレームワークは、主に以下の3つのステージで動作する。

1. モダリティ・エキスパートの構築

各モダリティは、独立したエキスパートとして扱われる。

• 表現: エンコーダが時間窓を埋め込みへと写像する。コンストラクタは、グローバル平均プーリング、スパースなトップ-$k$アテンション、および時間的分散を用いて、これらを試行レベルの表現へと集約する。
• エビデンス生成: 各エキスパートは、予測的信念（$\mu$）と、境界ベースの不確実性（$u$）のスコアを生成する。ここで、不確実性は予測が決定境界に近づくにつれて増加する。
• 実行時信頼性: 信頼性（$c$）は、過去のOut-of-Fold（OOF）パフォーマンスと現在のサンプルの不確実性を組み合わせることで推定される。これにより、信頼性は静的なものではなく、サンプル固有のものとなる。

2. 衝突認識型エビデンス交渉

エキスパートは、動的なグラフを介して相互作用し、反復的に衝突を解決する。

• ノードの状態: 予測的信念、不確実性、および実行時信頼性によって定義される。
• 適合性とエッジの重み: ペアワイズの適合性（$A_{mn}$）は、不確実性によって正規化された予測の不一致に基づいて計算される。自信のあるエキスパート間の不一致が大きい場合、適合性は低くなる。
• 非対称なメッセージパッシング: 適合性は、受信者固有の方向性を持つエッジの重み（$\gamma_{m \leftarrow n}$）に変換される。これにより、信頼できる送信者が信頼性の低い受信者に影響を与えることが可能になる一方で、受信者自身の信頼性が、受け取った情報に対してどの程度譲歩するかを決定する。
• 反復: プロセスは2ラウンド（$\mu^{(0)} \to \mu^{(1)} \to \mu^{(2)}$）実行され、ピアによる支持に基づいた集約によって信念が更新される。

3. レジーム校正型弱監視

交渉の結果は、損失関数を校正するために、サンプルを3つの**レジーム（regimes）**のいずれかに分類する。

• コンセンサス（合意）: 高い一致と残留する衝突の少なさ。
• ディセント（不一致）: 交渉後も持続する不一致。
• アンビギュイティ（曖昧性）: 全体的な不確実性の高さ。
• サンプル重み付け: 推定されたレジームの確率は、各サンプルの弱ラベル損失への寄与度（重み $\omega_i$）を決定する。「コンセンサス」レジームのサンプルはフルウェイトを受け取るが、「ディセント」および「アンビギュイティ」のサンプルは、モデルが信頼性の低い監視に過学習することを防ぐために、ダウンウェイト化される（ただし破棄はされない）。

フレームワークは、(A) 初期信念のためのエンコーダのトレーニング、(B) 信頼性の事前分布とレジーム係数を推定するためのOOF校正、(C) 交渉モジュールと予測リードアウトの結合最適化、という3つのフェーズで訓練される。

主な貢献

1. 統合フレームワーク: CONFERは、モダリティの信頼性推定、クロスモーダル交渉、および弱ラベル校正を、単一のグラフベースのアーキテクチャに統合している。
2. 動的交渉メカニメント: 不確実性を考慮した適合性を、信頼性に導かれた非対称なメッセージパッシングへと変換する手法を導入しており、これによりクロスモーダルな衝突が、エキスパートの調整と監視の信頼性推定の両方を導くことができるようになる。
3. レジームベースの校正: コンセンサス、ディセント、アンビギュイティというレジームを定義することで、すべてのラベルを一律に信頼できる、あるいは信頼できないと扱うのではなく、サンプル固有の衝突解決に基づいて、弱ラベルの寄与を動的に調整する。

実験結果

著者らは、AMIGOS、MAHNOB-HCI、およびDEAPの3つのベンチマークを用いて、被験者依存の10分割交差検証および厳格なLeave-One-Subject-Out (LOSO) プロトコルの両方でCONFERを評価した。

• 性能: CONFERは競争力のある結果を達成し、特に厳格なLOSO評価において、AMIGOS-V (Valence) で 0.873 の精度および 0.879 のF1、MAHNOB-V で 0.854 の精度を記録し、Late Fusion、TFN、MISA、および各種エキスパートルーティング（MoE）手法といったベースラインを上回った。
• 堅牢性: モデルは、合成的な弱ラベルの破損に対して優れた堅牢性を示した。30%の対称的なラベル破損条件下において、CONFERは0.723の精度を維持し、ベースラインを大幅に上回った。
• 衝突分析: アブレーション研究により、交渉、送信者信頼性、または受信者の譲歩を取り除くと性能が低下することが確認された。分析によれば、交渉は高衝突サンプルにおいて最大の利得（5.4〜8.9ポイント）をもたらし、正しい予測を妨げるよりも、誤った予測を修正する頻度がはるかに高い。
• 監視の検出: 推定された衝突レジーム（コンセンサス、ディセント、アンビギュイティ）は、予測エントロピーよりも信頼性の低いラベルを検出する上で効果的な指標であることが示された。

意義と主張

本論文は、クロスモーダルな衝突は単なるエラーの源ではなく、有用な情報信号であることをCONFERが示していると主張している。クロスモーダル間の交渉を明示的にモデル化することにより、フレームワークは以下を実行できる。

1. モダリティの調整: 一様な融合を強制するのではなく、相対的な信頼性と適合性に基づいて、エキスパートの予測を選択的に更新する。
2. 監視の信頼性推定: クロスモーダルな衝突の解決（あるいは解決の欠如）を利用して、サンプルごとに自己報告されたラベルの信頼性を校正する。

著者らは、自身のアプローチが、特に自己報告による感情状態の固有の信頼性の低さや、感覚データの異質性を扱うマルチモーダルな設定において、弱監視から学習するためのより堅牢なメカニズムを提供すると結論付けている。