Beyond Looking Up, Try Looking Around: Harmonizing Global Structure and Local Consistency in Optimal Transport for Short Text Clustering

技術要約：最適輸送におけるグローバル構造とローカルな一貫性の調和：短文クラスタリングに向けて

問題提起
短文クラスタリングは、膨大なデジタル通信を整理するために極めて重要であるが、既存の手法は信頼性の高い擬似ラベルを生成する上で大きな課題に直面している。Optimal Transport（OT：最適輸送）に基づく現行のアプローチは、サンプルとクラスター間の分布におけるグローバルな構造を考慮することで、貪欲な戦略（greedy strategies）よりも優れた結果をもたらす。しかし、これらの手法は**サンプル間の意味的一貫性（sample-to-sample semantic consistency）**を無視しているという決定的な限界を抱えている。その結果、意味的に類似したサンプルであっても、候補となるクラスターへの輸送コストが曖昧であったり類似していたりする場合、異なる擬似ラベルが割り当てられてしまうことがある。この不一致は、特に境界が不明瞭な特徴空間においてノイズの多い擬似ラベルを導入し、モデルの最適化を誤らせ、結果としてクラスタリング性能を低下させる原因となる。

手法
本論文では、グローバルな構造情報とローカルな意味的一貫性を調和させるために設計された新しいフレームワークであるCAOT (Consistency-Aware Adaptive Optimal Transport) を提案する。このフレームワークは、以下の3つのコアモジュールで構成されるExpectation-Maximization (EM) 反復ループ内で動作する。

1. 意味的類似性構築モジュール (SSCM):

   • このモジュールは、インスタンスレベルの意味関係を捉える。まず、拡張されたテキストビューに対して**対照学習（contrastive learning）**を採用して、サンプル表現の識別性を高め、明確な特徴空間を確保する。
   • 次に、新しいインスタンスレベル・アテンション・ネットワーク（$G_h$）を訓練し、アテンション類似度行列（$S_{att}$）を生成する。このネットワークは、現在の擬似ラベルによって特定された同一クラスター内のサンプルに対して高いアテンション重みを割り当てるように最適化され、それによってサンプル間の本質的な意味的一貫性をモデル化する。

2. 擬似ラベル生成モジュール (PGM):

   • これはCAOTの核心となる革新部分である。標準的なOTがサンプルとクラスター間の距離のみに基づいて輸送コストを最小化するのに対し、CAOTは学習された意味的類似度行列（$S = S_{cos} + S_{att}$）を最適化目的関数に統合する。
   • 最適化問題は以下のように定義される：
     $$\min_{Q,b} \langle Q, -\log(P^{(0)}) \rangle + \varepsilon_1 H(Q) + \varepsilon_2 \Psi(b)^T \mathbf{1} - \varepsilon_3 \langle S, QQ^T \rangle$$
   • 項 $\langle S, QQ^T \rangle$ は、意味的に類似したサンプルの輸送ベクトルが整列することを促す正則化項として機能し、それらが同一の擬似ラベルを受け取ることを保証する。
   • 項 $\Psi(b)$ は、標準的なOTの硬い一様性制約を調整可能なペナルティに置き換え、クラス不均衡の様々な程度に適応することを可能にする。
   • 解は、テイラー展開とラグランジュ乗数を用いた反復手法によって得られる。

3. 教師ありガイダンスモジュール (SGM):

   • CAOTによって生成された信頼性の高い擬似ラベルは、Mステップにおいてクラスタリング・ネットワーク（$G_p$）およびエンコーダ（$\Phi$）を更新するための教師信号として機能し、予測確率を生成されたラベルに適合させる。

主な貢献

• 新しいOT定式化: 本論文は、サンプルとクラスター間のグローバル構造に加え、サンプル間の意味的一貫性を明示的に組み込んだ最初のOTベースの短文クラスタリング手法であるCAOTを導入する。
• インスタンスレベル・アテンション・メカニズム: サンプル間の意味関係を動的に捉えてモデル化するための専用のアテンション・ネットワークを提案し、これらを輸送プロセスに統合する。
• 適応的な不均衡処理: 定式化にはターゲット分布に対する柔軟なペナルティ項が含まれており、厳格な制約なしに、クラス不均衡の程度が異なるデータセットに適応できる。
• エンドツーエンドのフレームワーク: 表現学習、意味的一貫性モデリング、およびクラスタリング割り当てを、統一されたEMフレームワーク内で共同に最適化する。

実験結果
著者らは、バランス型、不均衡型、および極端に不均衡なシナリオを含む8つのベンチマーク・データセット（AgNews、StackOverflow、Biomedical、および各種GoogleNewsやTweetのサブセットを含む）を用いて広範な実験を行った。

• 性能: 提案手法は、大部分の指標（AccuracyおよびNMI）において、最先端のベースライン（RSTC、SCPCL、FNSCC、SCCLを含む）を上回った。特筆すべきは、StackOverflowデータセットにおいて、最良のベースラインと比較して5.01%の精度向上を達成したことである。
• 表現の質: クラス内凝集度（intra-cluster compactness）とクラス間分離度（inter-cluster separability）に関する可視化および定量的分析により、CAOTが既存のOT手法よりも優れた特徴空間を学習していることが示された。
• アブレーション研究: 意味的一貫性項または対照学習コンポーネントを除去すると、性能が大幅に低下し、グローバルな構造とローカルな一貫性の両方の必要性が検証された。
• 効率性: 大規模なデータセットにおいてミニバッチで動作することにより、既存のOT手法（RSTCなど）よりも計算上の優位性を示し、スケーラビリティを確保した。
• 汎用性: 本フレームワークは長文テキスト・データセット（例：20Newsgroups）や画像クラスタリング・タスク（STL-10、CIFAR）にも正常に拡張され、クロスドメインの適用可能性を示した。

意義と主張
本論文の主要な意義は、既存のOT手法におけるローカルな意味的一貫性に関する「盲点」に対処することにあると主張されている。意味的に類似した近傍の擬似ラベルの誤割り当てを修正することで、CAOTはより信頼性の高い教師信号を提供し、クラスタリングの質を大幅に向上させる。著者らは、本手法がハイパーパラメータの変動に対して堅牢であり、クラス不均衡のための手動のハイパーパラメータ調整を必要とせずに、短文を超えた長文ドキュメントや画像を含むクラスタリング・タスクに対する一般的なソリューションを提供すると断言している。再現性を促進するため、コードは公開されている。