Dual-Attention Convolution Experts for Sparse Tensor Completion

技術要約：疎なテンソル補完のためのデュアルアテンション畳み込みエキスパート

問題提起
テンソル分解（TF）は、レコメンデーションシステムや時空間予測などのアプリケーションに見られる、高次元で疎なデータから欠損したエントリーを復元するための基本的なツールです。しかし、既存のアプローチは主に2つの課題に直面しています。

1. 複雑な相互作用のモデリング: 従来の線形または多重線形分解手法は、潜在因子間の高度に非線形なクロスモード相互作用を捉えることが困難です。ニューラルTF手法（MLPベースまたはCNNベース）は非線形モデリング能力を提供しますが、CNNベースのアーキテクチャは潜在因子間の微細な相互作用を捉えきれず、過学習や硬直した表現の絡まり合い（entanglement）に悩まされることがあります。
2. データの疎性: 深刻なデータの疎性は、ディープニューラルネットワークが利用可能な学習信号を制限します。既存のソリューションは補助情報（例：類似度行列、ソーシャルネットワーク）に依存することが多いですが、補助データが信頼できない場合や特定のシナリオに特化している場合、ノイズを導入する可能性があります。

手法：DCGC
著者らは、疎な条件下で非線形な相互作用をロバストにモデリングするために設計された、ニューラルTFフレームワークである**Dual-Attention Convolution Expert Networks with Group-Level Contrastive Learning (DCGC)**を提案しています。このアーキテクチャは、3つのコアコンポーネントで構成されています。

1. 埋め込みと二次相互作用:

   • モデルは離散的なインデックスを潜在因子行列（$U, P, W$）へと写像します。
   • 標準的な線形アプローチとは異なり、DCGCは潜在因子間のペアワイズ・アダマール積（例：$u_i \odot p_j$）を計算することで、明示的に二次的なクロス特徴量を構築します。これらの相互作用ベクトルは、元の埋め込みと結合され、統一された2D表現（$H_{emb}$）を形成します。

2. デュアルアテンションとゲーティングを備えた混合畳み込みエキスパート:

   • 混合エキスパート（MoE）: MMoEに着想を得た本モデルは、潜在因子の重み付き非線形整列を行うために、複数の畳み込みエキスパート（$C$）を採用しています。これにより、異なるエキスパートがヘテロな潜在パターンに特化できる一方で、パラメータを共有することで過学習を抑制します。
   • デュアルアテンション機構: 重要な情報を動的に優先させるため、モデルはエキスパートの出力から2種類のアテンションスコアを計算します。
     • エキスパート・アテンション（$A_{exp}$）: 個々の畳み込みチャネル（エキスパート）の重要性を重み付けします。
     • フィーチャー・アテンション（$A_{fea}$）: チャネル内の整列された特徴要素の重要性を重み付けします。
       これらは加法的に融合されて値の埋め込みを調整し、モデルが重要なエキスパートと重要な特徴の両方に集中できるようにします。
   • パーソナライズド・ゲーティング: アテンションの偏り（一部のエキスパートが支配的になる現象）や、観測が疎な因子の軽視に対処するため、パーソナライズド・ゲーティングが入力依存のルーティング重みを生成します。これにより、負荷分散において標準的なドロップアウト戦略を上回る、疎な相互作用へのモデリング能力の再配分を実現します。

3. グループレベル対照学習（GLCL）:

   • データの疎性を緩和するために、信頼性の低い補助データに頼ることなく、DCGCは自己教師ありの対照学習戦略を導入しています。
   • グルーピング: 観測されたトリプレットは、元のテンソル値に基づいて、明確なフィードバックレベル（例：高、中、低）に分類されます。
   • 対照目的関数: モデルは、同一のフィードバックレベル内にあるポジティブサンプルを集約し、より低いフィードバックレベルからのネガティブサンプルを分離します。
   • 損失関数: InfoNCE損失が補助タスクに適用され、表現空間において、同一のフィードバックレベルを持つサンプルをクラスター化し、異なるレベルを持つサンプルを分離するように促します。これにより、疎なセンサーやユーザーの潜在因子の学習を安定させるための高品質な自己教師あり信号を提供します。

主な貢献

1. 新規アーキテクチャ: デュアルアテンション機構とパーソナライズド・ゲーティングを備えた混合畳み込みエキスパートネットワークを提案し、微細な非線形クロスモード相互作用のモデリングを可能にしました。
2. 自己教師ありによる疎性緩和: フィードバックレベルの一貫性を利用して自己教師あり信号を生成する、効率的なインバッチ・グループレベル対照学習（GLCL）戦略を開発し、信頼性の低い外部補助データへの依存を軽減しました。
3. 実証的検証: 5つの実世界のデータセット（交通予測およびレコメンデンド）を用いた広範な実験により、最新のTF手法（CoATF, HOCTCなど）に対する一貫した優位性と、特化したGNNベースの手法に対する競争力のある性能を実証しました。

実験結果
著者らは、5つのデータセット（交通：GZspeedおよびPEMS、レコメンデーション：Movielens-100k, Movielens-1M, AmazonBeauty）でDCGCを評価しました。

• パフォーマンス: DCGCは、交通データセットにおいてRMSE/MAEで3.34%–5.06%、レコメンデーションデータセットにおいてRMSEで1.44%–3.56%、MAEで**1.32%–7.43%**の改善を示し、最良のベースラインを上回りました。
• 比較: 本手法は、従来の線形手法（P-Tucker）や最近のニューラル手法（CoSTCo, MDMTF, HOCTC）を大幅に上回りました。また、コールドスタート用に設計されたGNNベースの手法（LightGCN, MetaHINなど）に対しても競争力のある性能を維持しました。
• アブレーション研究:
  • デュアルアテンション機構を削除するか、単一のアテンションブランチに置き換えると、パフォーマンスの低下が見られ、エキスパートと特徴の両方の重要性をモデリングする必要性が確認されました。
  • パーソナライズド・ゲーティングを標準的なドロップアウトに置き換えると、特に高度に疎なシナリオ（AmazonBeautyなど）においてエラー率が高まり、エキスパートの負荷の偏りが発生しました。
  • GLCLをバニラの対照学習に置き換えるか、あるいは完全に削除すると、パフォーマンスが低下し、フィードバックレベルによるグルーピングの有効性が検証されました。
• 効率性: モデルは、少ない畳み込みチャネル数や削減されたランクにおいても競争力のある性能を維持しており、アテンション機構が効率的なパラメータ使用を可能にしていることを示しています。

意義と主張
論文は、DCGCがテンソル補完における「複雑な非線形相互作用の捕捉」と「極端なデータの疎性への対処」という二重の課題を解決することを主張しています。微細な混合エキスパートとデュアルアテンション機構を統合することで、DCGCは過度なパラメータ増大を招くことなく、堅牢な非線形モデリングを実現します。さらに、グループレベル対照学習（GLCL）戦略は、データの分布から直接自己教師あり信号を注入する新しい方法を提供し、外部の補助データに伴うノイズなしに疎性を緩和します。著者らは、DCGCを時空間およびレコメンデーションの両ドメインにおける、堅牢で汎用的な疎テンソル補完フレームワークとして位置付けています。

限界
著者らは、今後の課題として以下の2つの限界を認めています。

1. 現在のデュアルアテンションモジュールは、エキスパートと特徴のスコアに対して単純な加法的な融合を使用しており、相補的な情報を完全には捉えきれていない可能性があるため、より適応的な融合メカニズムが示唆されています。
2. GLCL戦略は、事前定義されたフィードバック間隔に依存しています。将来的には、データの分布や相互作用の密度に基づいた適応的な区間構築を探索できる可能性があります。