技術要約：コミュニティ誘導型ラベル精緻化と漸進的対照学習によるロバストなグラフニューラルネットワーク

1. 問題提起

グラフニューラルネットワーク（GNN）は、半教師ありノード分類において非常に効果的であるが、ラベルノイズの影響を大きく受ける。GNNに固有のメッセージパッシング機構は、誤った教師信号をグラフ構造全体に伝播させ、隣接するノードの表現を汚染し、汎化性能を低下させる。

既存のロバストなGNN手法は、主に以下の2つの制限に直面している：

1. 局所的なバイアス： ほとんどのラベル修正戦略は、局所的なホモフィリー（近傍情報）に大きく依存しており、グローバルな構造情報を見落としている。これにより、複雑なグラフ構造における局所的なノイズ信号からの干渉を受けやすくなっている。
2. 対照学習の不安定性： グラフ対照学習において、ノイズを含む教師信号は表現の整列を歪ませる可能性がある。学習の初期段階でノイズを含むラベルを直接組み込むと、モデルが誤った教師信号を学習してしまい、さらにメッセージパッシング機構がノイズの拡散を促進させてしまう。

さらに、グラフデータ内のコミュニティはしばしば強い意味的一貫性を示す（同一コミュニティ内のノードは類似したラベルを持つ傾向がある）が、現在の手法では、ノイズ軽減をノードレベルからコミュニティレベルへと昇華させる試みはほとんど行われていない。

2. 手法：CG-GNN

著者らは、コミュニティ誘導型のラベル精緻化と漸進的対照学習を統合したフレームワークであるCG-GNNを提案する。このアーキテクチャは、以下の3つのコアコンポーネントで構成される：

A. グラフ拡張と伝播パスの最適化

ラベルの疎性とノイズの伝播に対処するため、本フレームワークはまずグラフ構造を強化し、伝播パスを最適化する：

• グラフ拡張： 未ラベルのノードは、特徴量の類似性（GCN埋め込みのコサイン類似度）に基づいてラベル付きノードと接続される。これらの潜在的な関連重みを最適化するために、エッジ再構成損失が使用され、拡張された隣接行列 $\hat{A}$ が作成される。
• ノイズ検出： デュアルエンコーダ戦略を用いて、以下の2つのメカニズムによりノイズを含むノードを特定する：
  1. 損失ベース： 学習損失が小さいノードを選択する（クリーンなラベルが先に学習されると仮定）。
  2. ホモフィリーベース： 近傍の合意事項とラベルが矛盾するノードを検出するための近傍投票メカニズムを使用する。
     これら2つの基準の交点に基づき、ノードはクリーンな集合（$V_c$）とノイズを含む集合（$V_n$）に分割される。
• エッジの枝刈り（Pruning）： ノイズの伝播を抑制するため、特定されたノイズを含むノードに接続されたエッジを動的に枝刈りする。この決定は、予測の不確実性と構造的不一致を組み合わせたノイズリスクスコアに基づく。

B. コミュニティ認識型ノイズ補正

CG-GNNは、ラベルをノードごとに補正するのではなく、コミュニティ（Louvainアルゴリズムによって検出）を精緻化の基本単位として扱う。

• エントロピー誘導戦略： フレームワークは、各コミュニティ内におけるラベル分布の情報エントロピーを計算する。
  • 低エントロピー（高純度）： 一貫したラベルを持つコミュニティは、信頼できる情報を保持するために高い補正閾値を受け取る。
  • 高エントロピー（低純度）： 異質なラベルを持つコミュニティは、一貫した意味的表現の形成を促進するために低い閾値を受け取る。
• 適応的補正：
  • 大きなコミュニティ（$N_{cm} \ge N_{min}$）の場合、コミュニティベースの補正が適用される。ノイズを含むノードは、その表現の類似性が合意となるノード（コンセンサスノード）の閾値を超えている場合、コミュニティの多数決ラベルへと再ラベル付けされる。
  • 小さなコミュニティの場合は、データ不足による不安定性を避けるため、代わりに近傍ベースの補正が使用される。

C. 段階的対照学習

ノイズに汚染されることなくラベルの意味論を活用するために、2段階の対照学習スキームが採用される：

1. 教師なしステージ（ウォームアップ）： 学習の初期エポックにおいて、モデルは教師なし対照学習を実行する。これは、ラベルを使用せずに、2つのビュー（独立したエンコーダによって生成）間の同一ノードの表現を整列させる。これにより、潜在的にノイズを含む教師信号にさらされる前に、ロバストなトポロジカル構造を学習することが可能になる。
2. 教師ありステージ： ウォームアップ後、モデルは教師あり意味的対照学習へと移行する。ここでは、高信頼度の精緻化されたラベル（コミュニティ補正モジュールから得られるもの）を使用して、ポジティブペア（同一クラス）とネガティブペア（異なるクラス）を構築し、クラス内の凝集性とクラス間の分離性を高める。

D. 全体目的関数

モデルは、以下のマルチタスク損失関数を用いて訓練される：
$$L_{total} = \alpha \cdot L_{rec} + L_{pred} + \lambda \cdot L_{contrast}$$
ここで、$L_{pred}$ はノイズを含むノードに低い重みを割り当てる重み付き予測損失、$L_{rec}$ はエッジ再構成損失、$L_{contrast}$ は教師なしおよび教師あり対照学習を組み合わせたものである。

3. 主な貢献

1. コミュニティレベルのノイズ統治： 本論文は、ラベルノイズの扱いをノードレベルからコミュニティレベルへと昇華させる手法を導入している。グローバルな構造的一貫性を活用することで、コミュニティのエントロピーとサイズに基づいた差別化されたノイズ補正を行う。
2. 漸進的対照学習： 教師なしの構造学習から教師ありの意味学習へと移行する、段階的な学習フレームワークを設計した。これにより、重要な初期最適化段階におけるノイズによる混乱を軽減する。
3. 構造的ノイズの抑制： 構造レベルでのノイズ伝播経路を能動的に抑制するために、エッジの枝刈りメカニズムを導入した。
4. 実証的検証： 広範な実験により、本フレームワークが様々なノイズ設定下で最先端の手法を一貫して上回ることが示された。

4. 実験結果

著者らは、4つのベンチマークデータセット（Cora, Citeseer, PubMed, Amazon Photo）を用いてCG-GNNを評価した。

• ノイズ設定： 実験は、一様ノイズ（ランダムなラベル反転）およびペアノイズ（意味的に類似したクラスへの反転）の条件下で行われ、ノイズ率は最大40%に達した。
• ベースライン： 標準的なGCNおよび、Co-teaching, GRACE, NRGNN, RTGNN, ERASE, GTAを含む9つのロバストなベースライン手法と比較された。
• パフォーマンス：
  • CG-GNNは、すべてのデータセットおよびノイズ構成において、最高または2番目に高い分類精度を達成した。
  • 特に、高いノイズ率および限られたラベルデータ（例：PubMedおよびPhotoにおけるラベル率1%）のシナリオにおいて、優れた安定性を示した。
  • アブレーション研究により、いずれのコンポーネント（グラフ拡張/枝刈り、ノイズ補正、または対照学習）を取り除いても、大幅な性能低下を招くことが確認された。
  • **可視化（t-SNE）**では、CG-GNNがベースラインと比較して、より明確なクラスタリング構造と鋭いクラス境界を持つノード埋め込みを生成していることが示され、ノイズが存在する場合でも意味的構造がより良く保持されていることが示された。

5. 意義と主張

本論文は、CG-GNNが（コミュニティを介した）グローバルな構造情報を取り入れることで、既存のロバストなGNN手法における決定的なギャップを埋めるものであると主張している。その意義は以下の点にある：

• ノイズ伝播の緩和： エッジを枝刈りし、コミュニティレベルでラベルを精緻化することで、フレームワークは誤った教師信号がグラフ全体を汚染することを効果的に阻止する。
• 学習の安定化： 漸進的な対照学習戦略により、モデルは意味的なラベルに適合しようとする前にロバストなトポロジカル特徴を学習することができ、ノイズへの早期過学習を防ぐ。
• 汎用性： 本フレームワークは、多様なグラフ規模とノイズタイプに対して強いロバスト性を示しており、高品質なアノテーションが不足している現実世界のアプリケーションに適している。

著者らは、本手法が効果的である一方で、今後の課題として、ラベルノイズと構造的ノイズの両方が同時に発生するシナリオにも対応できるようフレームワークを拡張することを目指すと結論付けている。