技術要約：RHEA – 堅牢なマルチモーダル属性グラフ・クラスタリングのための信頼性調和型再構成および割り当て

1. 問題提起

マルチモーダル属性グラフ（MAG）は、関係構造（リレーショナル構造）の上で、異種属性（例：テキストと画像）を持つノードを表現しており、コミュニティ発見や製品セグメンテーションといったタスクの基盤となります。既存のマルチモーダル・グラフ・クラスタリング手法は、属性がクリーンかつ完全である場合には優れた性能を発揮しますが、属性がノイズを含んでいたり、破損していたり、欠落していたりする実世界の条件下では、著しく性能が低下します。

現在の手法における核心的な限界は、モダリティの信頼性がすべてのノードにおいて一様であるという暗黙の仮定にあります。実際には、信頼性はノード固有です。あるノードに対しては画像が破損している一方で、別のノードではテキストが不完全であるといった状況が起こり得ます。既存の手法は、個々のノードレベルでの信頼できるモダリティと信頼できないモダリティを区別できないため、ノイズによって汚染された、あるいは欠損データを補完できない融合表現へと繋がってしまいます。さらに、教師なし設定においては、この信頼性を推論するためのラベルが存在しないため、「いかにして教師なしでノード固有のモダリティ信頼性を推定するか」という根本的な課題が生じます。

2. 手法：RHEA

著者らは、属性ホモフィリー（属性同質性）——近傍ノードは類似した意味的属性を共有する傾向があるという観察——の原理を活用して、信頼性を推定しクラスタリングを導くフレームワークであるRHEA（Reliability-Harmonized rEconstruction and Assignment：信頼性調和型再構成および割り当て）を提案しています。

2.1 近傍コンセンサスによる信頼性推定

RHEAは、完全な教師なしの状態で、ノード固有のモダリティ信頼性場 $\rho_{i,m} \in [0, 1]$ を推定します。

• メカニズム: 各ノード $i$ とモダリティ $m$ について、そのモダリティにおけるノードの埋め込みと近傍ノードの埋め込みとの間のコサイン類似度に基づき、イントラモダル（内モダリティ）な近傍一致スコア $a_{i,m}$ を計算します。
• 信頼性場: これらの一致スコアは、温度パラメータ $\tau$ を用いたソフトマックス関数を使用して、各ノードにおけるモダリティの確率分布へと変換されます。近傍と一致しているモダリティには高い信頼性が割り当てられ、近傍から逸脱しているモダリティには低い信頼性が割り当てられます。

2.2 信頼性を考慮した表現学習

信頼性が推定された後、RHEAは表現を適応的に再構成し、融合します。

• 再構成: モダリティが欠落しているか、またはその信頼性スコアが閾値 $\gamma$ を下回る場合、観測された信頼できるデータを持つ近傍ノードの埋め込みを集約することで、表現を再構成します。これにより、欠損または破損した信号の伝播を防ぎます。
• 信頼度推定: 再構成の信頼度スコア $c_i$ は、利用可能な近傍の数とそれらの埋め込みの分散に基づいて計算されます。これは絶対的な信頼性の尺度として機能します。
• 適応的融合: 最終的な融合埋め込み $z_i$ は、推定された信頼性 $\rho_{i,m}$ によって決定される重み付けされたモダリティ固有の埋め込みの加重和です。もしモダリティが再構成された場合は、再構成された埋め込みが使用され、そうでなければ元の観測された埋め込みが保持されます。

2.3 信頼性を考慮したクラスタリング

クラスタリング段階では、信頼性情報を用いて、**最適輸送（Optimal Transport: OT）および割り当て蒸留（Assignment Distillation）**を通じてクラスタ割り当てを最適化します。

• 信頼性を考慮したOT: ノード埋め込みとクラスタ・プロトタイプ間の輸送コストが計算されます。決定的なのは、輸送計画の行周辺量（row marginals）が再構成信頼度 $c_i$ によって重み付けされる点です。これにより、再構成が不確実なノードが輸送計画に寄与する質量を減少させ、最終的な割り当てへの影響を抑えることができます。
• 近傍コンセンサス割り当て蒸留（NCRC）: 割り当てをさらに正則化するために、グラフ上で $L$ ホップにわたってソフトなクラスタ割り当てを伝播させます。この近傍コンセンサス・ターゲットは、直接的な証拠が弱いノードに対して、局所的に一貫したクラスタ割り当てを促進するようにシャープ化され、蒸留目的関数として使用されます。

2.4 最適化

モデルは、以下の結合目的関数を最小化することによってエンドツーエンドで訓練されます。

1. クラスタリング損失 ($L_{clu}$): 最適輸送コスト。
2. 蒸留損失 ($L_{ncrc}$): 近傍コンセンサス割り当て損失。
3. 補助的な対照学習損失: トポロジーに依存しない不変性を保持するためのグラフウォーク対照損失 ($L_{nbr}$)、およびモダリティ固有の表現を融合埋め込みに整列させるためのクロスモーダル整列損失 ($L_{mod}$)。

3. 主な貢献

本論文は、主に3つの貢献を特定しています。

1. 価値ある洞察: 著者らは、ノード固有のモダリティ信頼性が、堅牢なマルチモーダル属性グラフ・クラスタリングにおける欠落した要素であることを特定しました。彼らは、属性ホモフィリーの下で、グラフの近傍が教師なしでの信頼性推定のための証拠を提供することを実証しています。
2. 新規手法: 共有された近傍コンセンサス信頼性信号が、以下のプロセスを同時にガイドする統一フレームワークとしてRHEAを提案しています。
   • グラフベースのモダリティ再構成。
   • 適応的なマルチモーダル融合。
   • トポロジーを考慮した最適輸送クラスタリング。
3. 最先端の性能: 広範な実験により、既存の手法に対する一貫した改善が示されており、属性の品質が悪化するにつれてその差はより顕著になります。

4. 実験結果

RHEAは、5つの属性条件（標準（クリーン）、画像破損、画像欠落、テキスト破損、テキスト欠落）の下で、4つのMAGベンチマーク（RedditS, Toys, Grocery, Amazon）を用いて評価されました。

• 標準設定: RHEAは、すべてのデータセットおよびすべての指標（NMI, ACC, ARI, F1）において、強力なベースラインであるDGFやDMGCを上回り、最高の性能を達成しました。
• 摂動に対する堅牢性: 破損または欠落したモダリティの下でも、RHEAは一貫してすべてのベースラインを上回りました。性能の差は、摂動の深刻さが増すにつれて拡大しました。例えば、RedditSデータセットにおいて画像欠落が80%の場合、RHEAはNMI 0.729を維持しましたが、次点のメソッド（DGF）は0.647まで低下しました。
• 信頼性検出: 学習された信頼性場は、合成的に注入された破損を正確に検出できることが示され、すべてのデータセットにおいてAUROCが継続的に0.95を超えました。
• アブレーション研究: 再構成モジュールを取り除くと欠落条件下で最大の性能低下が発生し、信頼性ゲーティングを取り除くと破損条件下で最大の低下が発生しました。これは、再構成が欠損データを扱い、ゲーティングが破損したデータにおけるノイズ注入を防ぐことを裏付けています。

5. 意義と主張

本論文は、堅牢なマルチモーダル表現学習のために、ノード固有のグラフ誘導型信頼性をモデル化することの重要性をRHEAが示していると主張しています。信頼性を、グローバルな特性としてではなく、ノードごとに変化する潜在変数として扱うことで、フレームワークは局所的な構造的コンテキストを用いて信頼できない観測値を効果的に修復できます。

著者らは、現在のMAGクラスタリング手法に蔓延している「クリーンなデータの仮定」に対する解決策としてRHEAを位置付けています。彼らは、局所的な構造的コンテキストが、信頼できない観測を特定するための効果的な信号を提供し、データ品質が不均一な場合でも堅牢なクラスタリングを可能にすると論じています。最後に、現在の手法は近傍が類似した属性を共有するという仮定に依存していることを認め、今後の課題として、低ホモフィリーおよびヘテロフィリー（異質性）グラフへのフレームワークの拡張について述べています。