AnomalyMatch: Discovering Rare Objects of Interest with Semi-supervised and Active Learning

技術要約：AnomalyMatch

問題提起
大規模な画像データセットにおけるアノマリー（稀で異常な外れ値）の特定は、天文学およびコンピュータビジョンにおける極めて重要な課題である。EuclidやVera C. Rubin Observatoryのような次世代観測装置は、前例のないボリューム（数十億個の銀河）のデータを放出することになるが、希少な天体（データセットの0.1%未満であることが多い）に対するラベル付きの例の不足により、従来の教師あり機械学習の手法は実行不可能となっている。既存のアプローチには大きな障壁が存在する。すなわち、教師なし手法は高次元の画像データの複雑さに苦戦することが多く、一方で教師あり手法は、多くの希少な形態に対して存在しない大量のラベル付きデータセットを必要とする。市民科学（シチズン・サイエンス）の取り組みも貴重ではあるが、一貫したアノマリーの基準を定義することに課題があり、現代のサーベイによる膨大なデータ量を手動で検査する規模にも達していない。核心となる問題は、最小限の初期ラベル付きデータを利用しながら、豊富なラベルなしデータを活用し、かつ専門家の人間によるフィードバックを取り入れて検出を洗練させることができる、スケーラブルで効率的なフレームワークを開発することである。

手法：AnomalyMatch
著者らは、アノマリー検出を極端に不均衡な二値分類問題（「正常」対「アノマリー」）として扱うために設計された、半教師ありアノマリー検出フレームワークであるAnomalyMatchを提示する。この手法は、主に3つのコンポーネントで構成されている。

1. 半教師あり学習 (FixMatch): コアとなる学習戦略は、FixMatchアルゴリズム（Sohn et al. 2020）を適応させたものである。これは、少量のラベル付きデータ（$D_L$）と大量のラベルなしデータ（$D_U$）を利用する。モデルはEfficientNetバックボーン（具体的にはEfficientNetLite0）に基づいており、以下の組み合わせ損失関数を用いて学習される。

   • 教師あり損失: ラベル付きセットに対する標準的なクロスエントロピー。
   • 教師なし損失: ラベルなしデータに適用される一貫性正則化。弱く拡張された画像を使用して、高信頼度の擬似ラベル（モデルの信頼度が閾値 $\tau=0.95$ を超える場合）を生成する。これらの擬似ラベルは、同じ画像の強く拡張されたバージョンに対するモデルの予測を罰するために使用される。
   • 不均衡への対処: フレームラークは、深刻なクラス不均衡に対処するために、重み付きランダムサンプラーによるオーバーサンプリングを採用しており、希少なアノマリーサンプルが学習中に適切に表現されるようにしている。

2. アクティブラーニング・ループ: ラベル付きアノマリーの不足を軽減するため、AnomalyMatchは反復的なヒューマン・イン・ザ・ループ・プロセスを組み込んでいる。初期学習の後、モデルはラベルなしプールをスコアリングする。ユーザーインターフェース（GUI）により、ドメインエキスパートは以下のことが可能となる。

   • 高スコアの候補を視覚的に検査する。
   • 真のアノマリーを検証し、偽陽性（例：不良CCDやデフォーカス領域などの撮像アーティファクトと真のアノマリーの区別）を修正する。
   • 検証されたサンプルを用いて、ラベル付き学習セットを反復的に拡張する。
   • 拡張されたセット上でモデルを再学習させる。

3. スケーラブルな実装: システムは高性能向けに構築されており、単一のGPUで数億枚の画像を処理できる。多様な入力形式（PNG, JPEG, TIFF, FITS）をサポートし、天文学のデータストレージ規格（HDF5, Zarr）およびESA Datalabsプラットフォームと統合されている。ipywidgetsで構築されたGUIは、Jupyter Notebook内でのインタラクティブな探索を容易にする。

主な貢献

• 新規パイプライン: FixMatch（深刻なクラス不均衡に合わせて簡素化）、EfficientNet、およびアクティブラーニングを組み合わせた半教師ありアノマリー検出パイプラインを提供し、ラベル付きデータの必要性を大幅に削減した。
• インタラクティブなGUI: 専門家が直接的なバックエンド操作なしに、アノマリーの選択を反復的にガイドし、モデルの誤りを修正し、性能を洗練させることを可能にするユーザーフレンドリーなインターフェース。
• 統合: 確立された天文学ツール（Astropy正規化、FITSサポート）のシームレスな統合と、ESA Datalabsエコシステム内へのデプロイメント。
• 包括的なベンチマーク: 極めて限定的な初期ラベル（5〜10個のアノマリー）を用いた条件下での、多様なデータセット（miniImageNet, GalaxyMNIST, Galaxy Zoo 2）に対する広範な評価。
• スケーラビリティ: 大規模なサーベイに適した、数日以内に1億枚の画像を分析できる実装。

実験結果
フレームワークは、深刻なクラス不均衡の下で3つのデータセットを用いて評価された。

• miniImageNet: 特定のオブジェクトクラス（例：Hourglass, Guitar）をアノマリーとして扱う（データの1%）。わずか5個のラベル付きアノマリーから開始して、AnomalyMatchは平均 AUROC 0.96 および AUPRC 0.82 を達成した。3回のアクティブラーニング・サイクル後、ランク付けされた上位1%の画像において 76%の精度 を達成した。
• GalaxyMNIST: あるクラスをアノマリーとして扱う、銀河形態のデータセット（データの25%）。10個のラベル付きアノマリーから開始して、システムは平均 AUROC 0.89 および AUPRC 0.77 を達成した。上位1%の精度は 94% に達した。
• Galaxy Zoo - The Galaxy Challenge: 「奇妙な（odd）」分類を含む約65,000個の銀河のサブセット。確立された Astronomaly ソフトウェアと比較して、AnomalyMatchは平均 AUROC 0.83 で同等の性能を達成した。著者らは、性能がソフトラベル・データセットにおける「アノマリー」の定義（投票者比率のカットオフ）に敏感であることを指摘している。

アブレーション研究

• 初期ラベル: 初期ラベル数（100個から1000個へ）を増やしても収穫逓減が見られ、最小限の初期ラベルであっても性能指標は堅牢に保たれた。
• 学習イテレーション: アクティブラーニング・サイクルあたりの最適な学習イテレーション数は、約 100 であることが判明した。長い学習サイクル（250〜500イテレーション）は、初期のラベル付きデータへの過学習を招き、全体的な検出効率を低下させた。

意義と主張
本論文は、天文学のようなラベルの欠乏が深刻な領域において、AnomalyMatchが卓越した有用性とスケーラビリティを提供すると主張している。半教師あり学習とアクティブラーニングを組み合わせることで、本フレームワークはドメインエキスパートが単なる統計的な外れ値ではなく、科学的に興味深いアノマリーを定義し、検出することを可能にする。著者らは、本手法がラベルなしデータを効果的に活用して手動レビューの負担を軽減し、データ豊かな空のサーベイの時代における実用的なツールであることを強調している。結果は、ラベル付きデータが本質的に稀である分野において、人間の専門知識と効率的な機械学習を組み合わせた特化したアプローチが、アノマリー検出を進展させる鍵であることを裏付けている。結論として、本手法は非常に効果的であるが、さらなる堅牢性を高めるために、今後の研究では説明可能なAI、マルチモーダルなデータ統合、およびラベル付けエラーの影響を探求すべきであるとしている。