🤖 AI

Subspace Clustering on Incomplete Data with Self-Supervised Contrastive Learning

本論文は、マスクされたビューとSimCLR形式の対照学習を活用して、不完全なデータのクラスタリングを効果的に行うための堅牢な埋め込みを生成する自己教師あり学習フレームワークであるContrastive Subspace Clustering (CSC) を提案し、複数のベンチマークデータセットにおいて既存の手法を凌駕する性能を示す。

原著者： Huanran Li, Daniel Pimentel-Alarcón

公開日 2026-02-03

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Huanran Li, Daniel Pimentel-Alarcón

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

膨大な図書室を整理しようとしている場面を想像してみてください。ただし、一つ問題があります。すべての本からランダムにページが失われているのです。 第1章がごっそり抜けているものもあれば、中盤が欠けているもの、あるいは表紙に近い状態のものまであります。あなたの目標は、物語の全貌を読むことができなくても、これらの本をジャンル（サイエンス・フィクション、歴史、ミステリーなど）に基づいて分類することです。

この論文が取り組んでいるのが、まさにこの問題です。これは**不完全データにおける部分空間クラスタリング（Subspace Clustering on Incomplete Data）**と呼ばれます。

著者たちが考案した新しい手法、**CSC（Contrastive Subspace Clustering）**が、どのようにこのパズルを解くのかを、簡単な比喩を用いて説明します。

1. 問題点：「壊れたパズル」

従来のデータ分類手法は、通常、データを分類する前に、まず欠損しているページを埋めようとします（例：失われたテキストを推測して補完する）。しかし、論文ではこれは良くない考えだと主張しています。もし欠落したページを推測し間違えると、その推測によって物語のトーンが変わってしまい、ミステリー小説を誤ってサイエンス・フィクションの山に入れてしまう可能性があるからです。

さらに、従来のメソッドは、図書室が巨大になったり、欠落しているページがあまりに多かったりすると、非常に動作が遅くなり、混乱してしまいます。

2. 解決策：「影絵遊び」ゲーム

著者たちは、欠落したページを推測する代わりに、**「影絵遊び」**というゲームを提案しています。

欠落したページがある本を想像してください。そこに、異なる2つの角度から光を当てます。

ビューA： あなたが手でランダムにいくつかのページをさらに隠します。
ビューB： あなたがもう片方の手で、別のセットのランダムなページを隠します。

たとえ両方のビューが不完全で、かつ互いに異なって見えたとしても、あなたは心の底では、これらが同じ本であることを知っています。

3. トレーニング：「パターンを認識する脳」を教える

著者たちはデジタルな「脳」（ディープニューラルネットワーク）を作り、このゲームを教え込みました。

ルール： 「もし、ある本の異なる2つのビューを見たとき、たとえ欠落したページのために見た目が大きく異なっていても、それらが同じものであると認識しなければならない。」
ペナルティ： 「もし、異なる本の2つのビューを見たときは、それらを心の中で遠ざけなければならない。」

これは**対照学習（Contrastive Learning）と呼ばれます。脳は、欠落した部分を無視し、そこにある部分だけに集中して、その本の「本質」や「雰囲気（バイブス）」を見つけ出す方法を学びます。つまり、どのページが欠けていても変わることのない、その本の指紋（フィンガープリント）**を学習するのです。

4. 結果：「雰囲気」による分類

この脳がスキルを習得すれば、もう欠落したページを埋める必要はありません。

新しい、不完全な本を脳に見せます。
脳は、見える部分に基づいて、瞬時にその本の**指紋（エンベディング）**を作成します。
これらすべての指紋を取り出し、標準的な分類ツール（似たものを引き寄せる磁石のようなもの）を使って、本をグループ分けします。

脳が欠落したページにもかかわらず「雰囲気」を認識することを学んだため、本は正しい山（サイエンス・フィクションはサイエンス・フィクション、歴史は歴史）へと正しく分類されます。

なぜこれが画期的なのか？

推測不要： 失われたデータを捏造するために時間を浪費しません。持っているデータのみを活用します。
スピード： 一度学習すれば、新しいデータをほぼ瞬時に分類できます。従来のメソッドは、新しいアイテムごとに重い数学的計算を行う必要がありました。
堅牢性（ロバストネス）： データが非常に乱れていたり、欠落が非常に多かったりする場合でも（テストでは最大90%の欠落でも）、機能します。

実証

著者たちは、有名な画像データセット（手書き数字や顔など）や複雑な衛星画像（ハイパースペクトルデータ）を含む、6つの異なる「図書室（データセット）」でテストを行いました。

結果： 彼らの手法（CSC）は、従来の方法や他の現代的なAI手法を一貫して上回りました。
結論： データが壊れていたり不完全であったとしても、部分的なビューから「同一性」を認識するようにコンピュータを教えれば、壊れた部分を直すことなく、混沌とした状況を完璧に分類できるのです。

要するに、**「壊れたパズルのピースを直そうとするのではなく、ピースが散らばっていても、それらがどのような絵を形作っているかを認識する方法を学ぶ」**ということです。

技術要約：不完全データに対する自己教師あり対照学習を用いた部分空間クラスタリング

問題定義

部分空間クラスタリングは、低次元の部分空間の和に存在する高次元データ点を分割することを目的としている。遺伝子発現解析、ハイパースペクトルイメージング、推奨システムなどの領域で効果的であるが、既存の手法は主に完全な観測データを前提としている。現実世界のシナリオでは、遮蔽、センサーの故障、またはリソースの制約により、データが不完全であることが多い。ペアごとのアフィニティや行列分解に依存する従来のアプローチは、欠損値に対して苦戦し、ナイーブな補完を用いた場合には最適ではない結果をもたらしたり、大規模なデータセットに対してスケーラビリティに欠けたりすることが多い。さらに、多くのディープラーニングベースの部分空間クラスタリング手法も完全な入力を想定しており、観測されたエントリーに過学習したり、偏った補完戦略を必要としたりする。

手法：対照的サブスペースクラスタリング (CSC)

著者らは、ラベルや明示的なデータの再構成を必要とせず、不完全なデータからロバストな埋め込みを学習するために設計された自己教師ありフレームワークである対照的サブスペースクラスタリング (Contrastive Subspace Clustering: CSC) を提案している。

コアフレームワーク

パイプラインは、学習と推論の2つの主要なステージで動作する。

ランダムマスキングによるデータ拡張:
各部分的に観測されたサンプル $y_i = M_i \odot x_i$ （ここで $M_i$ はバイナリマスク）に対し、元の不完全なサンプルに2つの互いに素なランダムマスク（ $M_i^a$ および $M_i^b$ ）を適用することで、2つの互いに素な拡張ビュー $y_i^a$ と $y_i^b$ を生成する。これらのビューは、対照学習のためのポジティブペアとして機能する。
対照学習 (SimCLRスタイル):
共有ディープニューラルネットワーク（バックボーン） $f_\theta$ が両方の拡張ビューを処理し、潜在表現 $h_i^a$ と $h_i^b$ を生成する。これらはヘッド $g_\phi$ を介して潜在空間へと投影される。モデルは、正規化温度スケール交叉エントロピー (NT-Xent) 損失を用いて訓練される。この目的関数は、同じサンプルの2つのビューの埋め込みを近づけ、異なるサンプルの埋め込みを遠ざける。これにより、ネットワークは欠損エントリーが存在する場合でも、基礎となる部分空間構造を捉える不変な特徴を学習することを促される。
推論とクラスタリング:
学習後、投影ヘッドは破棄される。訓練されたバックボーン $f_\theta$ は、元の不完全なサンプルを潜在空間へと埋め込む。これらの埋め込みは、最終的なクラス割り当てを復元するために標準的な疎部分空間クラスタリング (Sparse Subspace Clustering: SSC) アルゴリズムへと入力される。特筆すべきは、本手法は欠損データを再構成するのではなく、学習された表現を直接クラスタリングすることである。

主な貢献

不完全データに対する新しいフレームワーク: CSCは、欠損データを含む部分空間クラスタリングのために、対照的自己教師ありフレームワークを適用した初めての手法である。これは、ランダムマスキングを解決すべき問題としてではなく、データ拡張戦略として扱う。
欠損に対するロバスト性: マスクされたビュー間の不変性を学習することにより、本手法は個々の特徴値が欠落している場合でも部分空間構造を捉え、2段階の補完手法によって導入されるアーティファクトを回避する。
スケーラビリティ: アフィニティ行列の構築によりサンプルの数に対して二次的にスケールする最適化ベースの手法とは異なり、CSCは推論においてフォワードパスを利用するため、ほぼ瞬時のクラスタリングと大幅に削減された計算需要を実現する。
モジュール性: 本アプローチは表現学習とクラスタリングアルゴリズムを分離しており、学習された埋め込みを任意の標準的なクラスタリング手法（k-means、スペクトラルクラスタリング、またはSSCなど）で使用できる。

実験結果

著者らは、標準的なコンピュータビジョンデータセット（MNIST, COIL20）およびハイパースペクトルイメージング (HSI) データセット（IndianPines, Pavia University, Salinas）を含む6つのベンチマークデータセットでCSCを評価した。

ベースラインとの性能比較: CSCは、古典的な手法（EWZF-SSC, GSSC, MSCなど）およびディープラーニングベースのベースライン（DSC, MAE, DMFMC）の両方を一貫して上回った。
- MNIST において、CSCは平均精度においてすべてのベンチマークを15%以上上回った。
- Pavia および IndianPines (HSIデータセット) において、それぞれ5%以上および6%以上の改善が観察された。
- 高い欠損率（低いサンプリング率 $\rho$ ）を持つデータセットにおいて、CSCは安定した性能を維持したが、古典的な手法およびMasked Autoencoders (MAE) は、特に高いノイズ条件下で著しい性能低下を示した。
アブレーション研究:
- モデルの深さ: ネットワークの深さを増すと、ある一点まで（深さ5付近でプラトーに達する）精度が向上し、モデルの表現力の恩ธ์益が示された。
- 残差接続: 残差接続戦略（Full, Block, または None）の選択は性能に軽微な影響を与え、大規模なデータセットでは「No Residual」がわずかに優れた性能を示した。
- ノイズへのロバスト性: CSCは、低・高ノイズの両方のレジームにおいてMAEと比較して優れたロバスト性を示し、サンプリング率が中程度から低い場合（ $\rho \approx 0.5$ ）でも低いクラスタリング誤差を維持した。

意義と主張

論文は、CSCが欠損データが存在する状況下での部分空間クラスタリングに対して、スケーラブルでロバスト、かつラベルフリーなソリューションを提供すると主張している。その意義は以下の通りである：

補完のボトルネックの克服: 明示的な再構成を避けることで、高欠損率のシナリオにおいて部分空間の幾何学的構造の歪みを引き起こしがちな補完ステップを回避する。
効率性: 単純なフォワードパスによる推論能力により、本手法は従来の最適化ベースの部分空間クラスタリング手法よりも大幅に効率的である。
汎用性: 本フレームワークは、ドメイン固有のアーキテクチャ変更（バックボーンの選択を除く）を必要とせず、標準的な画像や高次元のハイパースペクトルデータを含む多様なデータモダリティに適用可能である。

著者らは、部分空間クラスタリングは、特に高次元領域において依然として困難な課題であるが、提案された対照的アプローチは、ストリーミングやマルチビューの設定における将来の研究への強力な基礎を提供するものであると結論付けている。