技術的サマリー：結合非定常性下における継続的セグメンテーション

問題定義

本論文は、密な予測タスク、特にセマンティックセグメンテーションにおける継続的学習（CL）の重要なギャップに取り組む。既存の CL 研究は、クラス増加、ドメインシフト、データ不足などの要因をしばしば個別に扱うが、現実世界の構造化予測システム（例：自動運転、医療画像診断）は結合非定常性に直面する。この設定では、セマンティッククラス、入力分布、および教師ありデータの可用性が同時に時間とともに変化する。

著者らは、これを学習セッションの系列 $\{S_t\}_{t=0}^T$ として形式化し、各セッション $t$ は結合分布 $D_t(x, y)$、クラス集合 $C_t$、および極めて制限されたラベル付きサンプル予算 $N_t \ll N_0$ によって特徴づけられる。重要なのは、$D_t \neq D_{t-1}$、$C_t \neq C_{t-1}$ であり、以前に観測されたクラス - ドメインの対は再出現しない点である。本論文は、既存の CL 手法がこれらの結合シフトにさらされた場合、破滅的な忘却、不安定な適応、および少数ショット教師ありデータへの急速な過学習に苦しむことを示している。単純な微調整は、既存知識の保持と新概念への適応のバランスを取ることに失敗し、SAM（Segment Anything Model）のような基盤モデルを含む多様なアーキテクチャにおいて、顕著な性能低下を引き起こす。

手法：JASCL

これらの課題に対処するため、著者らはJASCL（Jointly Anchored and Stabilized Continual Learning：結合的にアンカーおよび安定化された継続的学習）を提案する。これは 2 つの中核メカニズムを組み合わせたフレームワークである。

1. 勾配適応型安定化（GAS）

GAS は、分布ドリフト下での不安定性と過学習を軽減するために設計されたパラメータ単位の正則化メカニズムである。

• メカニズム: 確率的摂動を実装し、そのスケールは勾配の二乗の逆数によってスケーリングされる。パラメータ $\theta_i$ に対して、ノイズスケールは $G_i = (\partial L / \partial \theta_i)^2$ から導出される。摂動は $\tilde{\theta}_i = \theta_i + \tilde{G}_i \xi_i$ であり、ここで $\xi_i \sim \mathcal{N}(0, 1)$ である。
• 根拠: 大きな勾配を持つパラメータ（学習に積極的に寄与している）は最小限のノイズを受け取り、安定性を維持する。小さな勾配を持つパラメータ（過学習している可能性のある領域や平坦な領域にある）はより高いノイズを受け取り、可塑性と探索を促進する。
• 理論的基盤: 著者らはベイズ事後近似分析を提供し、フィッシャー情報が不均一な場合、GAS が等方性ノイズや静的正則化手法（EWC や重み減衰など）と比較して、真の事後分布に対するより低いカルバック・ライブラー（KL）ダイバージェンスを達成することを示している。また、不均一な曲率下では、敵対的平坦化手法（SAM など）と比較して、よりtightな PAC-ベイズ汎化 bound と低い期待損失増加を提供する。

2. プロトタイプアンカー型教師あり学習（PAS）

PAS は、半教師あり平均教師フレームワークにおいて豊富なラベルなしデータを活用し、疑似ラベルを検証して誤差伝播を抑制する。

• メカニズム: クラスプロトタイプは、特徴空間内のラベル付きサンプルから計算される。ラベルなし入力に対して、教師ネットワークによって疑似ラベルが生成される。疑似ラベルは、以下の 2 つの条件を満たす場合にのみ保持される。
  1. 信頼性: 予測確率が閾値 $\tau_{conf}$ を超えること。
  2. プロトタイプ整合性: 特徴表現と対応するクラスプロトタイプとのコサイン類似度が閾値 $\tau_{sim}$ を超えること。
• 理論的基盤: 著者らは疑似ラベル誤差の動力学をモデル化し、そのようなフィルタリングなしでは、半教師あり学習が教師あり学習に対して漸近的な改善を提供しないことを証明している。PAS を用いる場合、漸近的誤差は受け入れられた疑似ラベルの精度に対して厳密に減少する。理論的分析は、PAS が、特にメモリバンクに固有の誤差蓄積を回避することにより、信頼性のみの方法、整合性ベースの方法、またはメモリバンクベースの方法よりも高い精度を達成することを示している。

総損失関数は、ラベル付きデータに対する教師あり交差エントロピーと、PAS によって検証された疑似ラベルのみに対して計算される整合性損失を組み合わせる。

主要な貢献

本論文は、4 つの主要な貢献を概説している。

1. 結合非定常性の形式化: 著者らは、結合したクラス、ドメイン、および教師ありデータのシフトを含む現実的な継続的セグメンテーション設定を定義し、これらの条件下における既存手法の根本的な失敗モードを露呈させた。
2. 勾配適応型安定化（GAS）: 勾配スケーリングされた確率的摂動を通じて安定性と可塑性のバランスを取る新しい正則化戦略であり、分布ドリフト下での堅牢な適応を可能にする。
3. プロトタイプアンカー型教師あり学習（PAS）: 信頼性と特徴空間プロトタイプ整合性の両方を用いて疑似ラベルを検証する半教師ありメカニズムであり、誤差伝播を効果的に軽減する。
4. 包括的な実証評価: クラス増加、ドメイン増加、少数ショット、および半教師ありの諸領域にわたる広範な実験により、先行手法に対する一貫した改善を実証した。

結果

著者らは、3D 医療画像（Med JASCL-Disjoint、Med JASCL-Mixed、Med Semi-Supervised-JASCL）および 2D 自然風景（Natural-JASCL、Semi-Supervised Natural-JASCL）にまたがる 5 つの困難なベンチマークで JASCL を評価した。

• 性能向上: JASCL は、クラス増加手法（MiB、PIFS）、ドメイン増加手法（MDIL）、少数ショット学習者（NC-FSCIL、C-FSCIL）、および半教師ありアプローチ（NNCSL、UaD-CE）を含む広範なベースラインを一貫して上回った。
• アーキテクチャへの堅牢性: この手法は、U-Net、DeepLabv3+、MedFormer、SwinUNetr、および大規模に事前学習された Segment Anything Model（SAM）を含む多様なバックボーンにおいて優れた汎化性能を示した。注目すべきは、SAM や他の基盤モデルがこれらのベンチマークで顕著な忘却に苦しんだのに対し、JASCL はそれらの性能を向上させた点である。
• 少数ショットおよび半教師ありの有効性: 極端なデータ不足（例：クラスあたり 5 ショット）および深刻なドメインシフト（例：CT から MRI へ）のシナリオにおいて、JASCL はベースラインが崩壊する状況でも性能を維持した。PAS によるラベルなしデータの取り込みは、特に半教師あり医療ベンチマークにおいて性能を大幅に向上させた。
• 計算効率: このフレームワークは、メモリバッファや複雑な補助的学習パスを必要としないため、バニラなトレーニングと比較して計算オーバーヘッドは無視できるレベルである。

意義と主張

本論文は、JASCL が理想化された継続的学習シナリオと、動的構造化予測システムの複雑な現実との間のギャップを埋めると主張している。結合非定常性を形式化することにより、著者らは既存の手法がクラス、ドメイン、および教師ありデータの同時進化を処理することに失敗していることを浮き彫りにしている。

この研究の意義は以下の点にある。

• 失敗モードの露呈: ベンチマークは、大規模な基盤モデルさえも結合シフト下で破滅的な忘却に陥りやすいことを明らかにし、事前学習のみが継続的学習を解決するという仮定に挑戦している。
• 原理的な解決策: 提案されたメカニズム（GAS と PAS）は、それぞれ安定性 - 可塑性のジレンマと疑似ラベルの信頼性に対する理論的に裏打ちされたアプローチを提供する。
• 実世界への適用性: 結果は、検証されたラベルなしデータが、リソース制約のある環境（例：注釈が限られた医療画像診断）における継続的学習を可能にし、再トレーニングコストを削減し、スケーラビリティを向上させることを示唆している。

著者らは、JASCL が多様な設定で堅牢性を示す一方で、極端なドメインシフト（例：急激な CT から MRI への遷移）や少数ショット領域における小さな解剖学的構造の処理において、依然として大幅な改善の余地があるとの結論に至っている。彼らは、この研究を、ロボット工学や医療画像診断のような動的環境において堅牢で適応的な知能システムを配備するための一歩として位置づけている。