技術概要：画像クラスタリングのための GSEC

問題定義

画像クラスタリングは、事前知識の構築と活用を通じて、ラベル付けされていない画像データを明確なグループに分割することを目的としています。近年のアプローチは、内在的なデータ事前知識のみに依存する手法から、CLIP などのビジョン・ランゲージモデルを介した外部意味記述の利用へと移行していますが、依然として重大な限界が存在します。

1. 適応性の限界: 既存の手法は、通常、WordNet などの定義済み語彙を用いたマッチングベースの技術に依存しています。この制約されたマッチング空間は、複雑な視覚的意味と固定された語彙セットとの間の強制された整合性が意味的不整合を引き起こす可能性があるため、適応性を制限します。
2. 分散の軽視: 現在の戦略は、意味的事前知識を導入して性能を向上させるために、主にバイアスの低減に焦点を当てています。しかし、分散の低減の重要な役割を見落としていることが頻繁にあります。機械学習理論において、推定誤差はバイアス、分散、およびノイズの共同効果から生じます。したがって、堅牢で安定したクラスタリングを達成するためには、分散への対処が不可欠です。

手法：GSEC フレームワーク

著者は、バイアスと分散を同時に低減するように設計されたフレームワークであるGSEC（Generative Semantic Guidance and Bi-Layer Ensemble に基づく画像クラスタリング）を提案します。

1. 生成意味ガイダンス（バイアス低減）

マッチングベースの意味的事前知識の限界を克服するため、GSEC は**マルチモーダル大規模言語モデル（MLLM）**を用いて適応的な意味記述を生成します。

• プロセス: 画像埋め込みはまずクラスタリングされます（例：K-means 法）。各クラスタからの代表画像が、構造化された自然言語記述（例：「この画像には [属性] を特徴とする [対象] が含まれています」）を生成するためのプロンプトと共に、MLLM（具体的には Llama-3.2-Vision-11B）に入力されます。
• 埋め込み合成: 生成されたテキスト記述はクラス埋め込みとしてエンコードされます。各画像について、画像とクラステキスト間のコサイン類似度によって決定される重みを用いて、すべてのクラス埋め込みの加重平均から特定のテキスト埋め込みが導き出されます。これにより、固定された語彙に起因する意味的不整合を回避する、豊かで適応的な意味的事前知識が作成されます。

2. 二層アンサンブル（分散低減）

分散を軽減するため、GSEC は 2 段階のアンサンブル戦略を導入します。

• 内部層アンサンブル: この層は、BatchEnsembleを使用して、クロスモーダル情報（画像とテキスト）を統合します。これは、重みを共有するがメンバー固有の低ランク変調パラメータを利用する 2 つの独立したブランチ（画像とテキスト）で構成されます。この層は、画像とテキスト表現を双方向的に整合させるためにクロスモーダル相互蒸留損失を採用し、安定したトレーニングを確保するために信頼度損失とバランス損失も併用します。
• 外部層アンサンブル: 内部層が収束した後、整合メカニズムが採用されます。タスクエンコーダは、連結された画像とテキストの埋め込みを入力として受け取ります。外部層は、その予測と内部アンサンブルの平均出力との間の交差エントロピー損失を最小化することで、このエンコーダを最適化します。この整合により、最終的なクラスタリング結果が、内部層からの堅牢なマルチモーダルガイダンスとタスクエンコーダの包括的な推論の両方を統合することが保証されます。

主要な貢献

本論文は、3 つの主要な貢献を概説しています。

1. 生成意味ガイダンス: MLLM を用いて適応的な意味記述を生成するバイアス低減戦略であり、マッチングベースの手法に内在する意味的不整合を効果的に克服します。
2. 二層アンサンブル機構: 内部アンサンブルが BatchEnsemble を通じてマルチモーダルデータを統合し、外部アンサンブルが内部予測を外部出力と整合させる分散軽減フレームワークであり、全体の堅牢性と安定性を向上させます。
3. 包括的な実証的検証: GSEC が最先端の手法を上回ることを示す広範な実験と、両方の誤差成分の同時低減を確認する具体的なバイアス - 分散分解分析。

実験結果

著者は、CIFAR-10、CIFAR-100、STL-10、ImageNet-10、ImageNet-Dogs、Food101、StanfordCars、OxfordPets、FGVC Aircraft、Country211、および ImageNet-1K を含む11 のベンチマークデータセットで GSEC を評価しました。

• 性能: GSEC は、6 つのベンチマークデータセットにおいて、単一モーダルおよびマルチモーダルアプローチを含む18 の最先端手法を上回りました。大規模なImageNet-1Kデータセットでは、4 つの主要なマルチモーダル手法を凌駕し、精度（62.5%）、NMI（81.3%）、ARI（52.8%）において最良の結果を達成しました。
• バイアス - 分散分析: 画像特徴のみ、マッチングベースのテキスト、生成テキストを使用する構成との比較実験により、以下のことが明らかになりました。
  • アンサンブル戦略は分散を効果的に低減します。
  • 生成テキストガイダンスはバイアスを低減しますが、分散を導入する可能性があります。
  • GSECはバイアスと分散の両方を同時に低減し、優れており、より安定した性能をもたらします。
• アブレーション研究: 結果は、生成意味埋め込み（G-Text）が、CLIP-ViT-B/32、RN50、RN101、RN50x4 などのさまざまなバックボーンにおいて、一貫してマッチングベースの埋め込み（M-Text）を上回ることを確認しました。同様に、二層アンサンブル戦略は、二層線形アーキテクチャに対して一貫して性能向上をもたらしました。

意義と主張

本論文は、GSEC が、先行研究でしばしば軽視されてきた画像クラスタリングにおけるバイアスと分散の二重の課題に対処することで、重要な進展を表すと主張しています。制約されたマッチングベースの意味的事前知識から生成意味ガイダンスへと移行することで、この手法は複雑な視覚的意味により効果的に適応します。さらに、二層アンサンブルの導入は明示的に分散低減を標的とし、より堅牢なクラスタリングフレームワークを実現します。著者は、これらの 2 つの要因を共同で最適化することが、高性能な画像クラスタリングを達成するために不可欠であると仮定しており、この主張は分解分析と多様なデータセットにおける優れた結果によって裏付けられています。