技術要約: SLAM-AGS

1. 問題提起

計算細胞学（Computational cytology）は、がん検出におけるディープラーニングの適用を阻害する2つの決定的な課題に直面しています：

1. 信頼性が低くコストのかかるインスタンスラベル: ギガピクセル規模のホールスライド画像（WSI）に対して、パッチレベルの網羅的なアノテーションを取得することは極めて高価です。その結果、完全教師あり学習はしばしば実行不可能です。
2. 極端に低いウィットネス率（Witness Rates）: 細胞学のWSIにおいて、陽性パッチ（異常細胞を含むパッチ）と全パッチの比率は、しばしば1%未満となります。このような極めて低いウィットネス率では、スライドレベルのラベルのみに依存する標準的な弱教師あり学習法は、負のインスタンスに支配されてしまいます。これは、過学習、希少な陽性に対する汎化性能の低下、およびモデルが陽性のバッグと負のバッグを区別できなくなるモデル崩壊を引き起こします。

複数インスタンス学習（MIL）はスライドレベルのラベル付けのための標準的な解決策ですが、インスタンスレベルの識別が弱教師ありであり、陽性信号が疎である場合には苦戦します。さらに、自己教師あり学習と弱教師あり学習の目的関数を組み合わせた既存のマルチタスク事前学習手法は、多くの場合、**勾配の競合（gradient conflicts）**に悩まされ、学習を不安定化させ、弱教師あり学習の恩恵を制限してしまいます。

2. 手法: SLAM-AGS

著者らは、スライド陰性パッチとスライド陽性パッチの両方の表現学習を共同で最適化し、かつ学習プロセスを安定させるために設計されたフレームワークであるSLAM-AGS（Adaptive Gradient Surgeryを用いたスライドラベル認識マルチタスク事前学習）を提案しています。

2.1. マルチタスク事前学習の目的関数

本フレームワークは、パッチをスライドレベルのラベルに基づいて分類するWeakSupConのアプローチを適応させたものです：

• スライド陰性パッチ（教師あり類似性）: 健康な（陰性の）スライドからのパッチは、既知の共有の負のラベルを持つものとして扱われます。モデルは、これらの負のインスタンスの表現を特徴空間内でコンパクトにするよう、Supervised Contrastive (SupCon) ロスから派生した**類似性損失（Similarity Loss）**を最適化します。
• スライド陽性パッチ（自己教師ありコントラスティブ）: 陽性のスライド（正常細胞と異常細胞が混在している可能性がある）からのパッチは、ラベルなしとして扱われます。モデルは、これらのパッチに対してSimCLRコントラスティブ目的関数を最適化し、ラベルフリーで堅牢な視覚的特徴を学習します。

総損失は、これら2つの目的関数の和となります：$L = L_{Similarity} + L_{SimCLR}$。

2.2. 適応型勾配手術（Adaptive Gradient Surgery）

異種混合の目的関数を組み合わせることによる不安定さに対処するため、SLAM-AGSはPCGradアルゴリズムに基づく適応型勾配手術を統合しています：

1. 競合解決: タスク間の勾配のコサイン類似度が負である場合（競合を示唆する場合）、アルゴリズムは各タスクの勾配を、もう一方のタスクの勾配の法平面上に投影します。これにより、破壊的な干渉を除去します。
2. 勾配再スケーリング: 本研究における重要な革新は、勾配再スケーリングステップです。標準的な投影は有効な勾配の大きさを減少させ、収束を遅らせる可能性があります。SLAM-AGSは、元の結合勾配のノルム（$\|g_{sum}\|$）と、投影された勾配のノルム（$\|g_{pc}\|$）を計算します。投影されたノルムが小さい場合、元の更新の大きさを維持するために勾配を再スケーリングします：
   $$g_{pc} \leftarrow g_{pc} \cdot \frac{\|g_{sum}\|}{\|g_{pc}\|}$$
   これにより、競合する方向は除去される一方で、学習信号の全体的なスケールが維持されます。

2.3. ダウンストリーム・パイプライン

学習済みエンコーダは、**アテンションベースの複数インスタンス学習（MIL）**アグリゲータ（具体的にはPAMIL）に統合されます。これにより、以下が可能になります：

• バッグレベルの予測: スライド全体の分類（例：悪性度検出）。
• インスタンスレベルの検索: アテンションスコアを用いて、陽性のバッグ内から最も異常なパッチを特定し、抽出すること。

3. 実験設定

• データセット: May-Grünwald-Giemsa/Pappenheim染色WSIを特徴とする、骨髄細胞学データセット[14]。
• シミュレーション: コントロールされたウィットネス率でのMIL設定をシミュレートするために、「リンパ球」（多数派クラス）を「正常」とラベル付けし、7種類の少数派細胞タイプを「異常」クラスに統合しました。正常なバッグに異常なインスタンスを注入することで、ターゲットとなるウィットネス率を**10%、5%、1%、0.5%**に設定しました。
• ベースライン: 本手法は、弱教師あり学習、SimCLR、WeakSupCon、および勾配再スケーリングを行わないSLAM-AGSのバリアントと比較されました。
• 指標:
  • バッグレベル: F1スコア。
  • インスタンスレベル: Recall@400（アテンションスコアによってランク付けされた上位400個のパッチのうち、正しく特定された主要なインスタンスの数）。

4. 主な結果

実験の結果、SLAM-AGSは、特にウィットネス率が低下するにつれて、既存の手法を大幅に上回ることが示されました：

• バッグレベルの分類 (F1スコア):
  • ウィットネス率 10% および 5% において、SLAM-AGSは最高のスコア（それぞれ97.1% および 96.0%）を達成し、弱教師あり学習（53.4%）およびWeakSupCon（84.6%）を上回りました。
  • ウィットネス率 0.5% において、その優位性は最も顕著でした。SLAM-AGSは 66.4% を達成しましたが、弱教師あり学習、SimCLR、およびWeakSupConはすべてランダムに近い性能（~50%）へと崩壊しました。
• インスタンスレベルの検出 (Recall@400):
  • SLAM-AGSは、すべてのウィットネス率において60%以上の検出率を維持しました（例：0.5%のWRで65.3%）。
  • 競合する手法（SimCLR、WeakSupCon）は、低いウィットネス率においてランダムに近いレベル（~40-45%）まで低下し、主要な異常インスタンスを効果的に特定できていませんでした。
• アブレーション研究: 「SLAM-AGS w/o rescaling（再スケーリングなし）」のバリアントは、大幅に低い性能（例：0.5% WRでF1 46.0%）を示し、勾配再スケーリングのコンポーネントが最適化の安定化と学習信号の保持に不可欠であることを裏付けました。

5. 意義と主張

本論文は、陽性信号が極めて疎である計算細胞学において、SLAM-AGSが堅牢なソリューションを提供することを主張しています。その核心的な意義は、以下の点にあります：

1. 勾配の干渉が主要なボトルネックであること: 疎な陽性ラベルを伴うマルチタスク事前学習において、自己教師あり学習と弱教師あり学習の間の競合する勾配は、学習を不安定化させる可能性があります。
2. 適応型手術が安定性を可能にすること: 勾配投影と大きさ保存型の再スケーリングを組み合わせることで、本フレームワークは、教師あり目的関数と自己教師あり目的関数が互いに干渉するのではなく、補強し合うことを可能にします。
3. 極限の疎性における性能: 本手法は、標準的な弱教師あり学習や自己教師あり学習が失敗する、ウィットネス率が 0.5% という極めて低い領域においても、安定した事前学習と優れたダウンストリーム性能を実現します。

著者らは、勾配の競合を緩和し、更新を再スケーリングすることが、希少な陽性監督があるシナリオにおける堅牢な表現学習にとって極めて重要であると結論付けています。また、インスタンスレベルの検索は安定しているものの、バッグレベルのF1スコアは最低のウィットネス率において依然としてわずかに低下しており、今後は特定されたインスタンスレベルの信号をより良く活用するためのMILアグリゲータの改善に焦点を当てるべきであると述べています。

再現性: 著者らは、完全な実装および評価フレームワークを https://github.com/Ace95/SLAM-AGS でオープンソースとして公開しています。