技術的サマリー：DeCoDrift — クローズドループ基盤セグメンテーションにおけるデコーダ結合の安定化

問題定義

セグメンテーション Anything モデル（SAM）などの基盤セグメンテーションモデルは、あるイテレーションで予測されたマスクが次のイテレーションのプロンプトとして機能する反復パイプラインにおいて、ますます展開されています。これにより、クローズドループの力学系が形成されます。先行研究は入力側の堅牢性（例えば、プロンプト感度、破損耐性）に焦点を当ててきましたが、これらの反復フィードバックループにおけるデコーダの内部動作は未調査のままです。

本論文は、「デコーダ結合ドリフト」と呼ばれる以前は見落とされていた故障モードを特定しています。この現象において、マスクデコーダのクロスアテンションは、イテレーションを通じてターゲット物体との整合性を徐々に失います。この不一致は誤差を累積させます：予測されたマスク（$M_t$）のわずかな不正確さが、シフトしたプロンプト（$p_{t+1}$）を生成し、それがデコーダのクロスアテンションを変化させ、 subsequent なマスクのさらなる劣化を引き起こします。ここで扱われる中心的な問いは、「この反復ドリフト中に SAM のデコーダ内部で何が起き、再学習なしに推論時に介入できるか？」というものです。

手法

1. 計装と指標

著者は、SAM の 2 層構造のマスクデコーダを、最終自己アテンション、トークンから画像へのクロスアテンション、画像からトークンへのクロスアテンション、および最終トークンから画像へのアテンションという 4 つの特定のアテンション部位で計装しました。これらの内部信号に基づき、監視に正解ラベルを依存しないデコーダアテンションとターゲット間の結合を定量化する 10 の指標を導出しました：

• 正解ラベル不要信号： アテンションアンカードリフト（AAD）、時間的結合安定性（TCS）、プロンプトドリフトエネルギー（PDE）、アテンションエントロピー（AE）、および自己 - クロス相関（SCA）。
• 正解ラベル依存（分析用）： クロスアテンションマスク整合性（CAMA）、気晴らし漏れ率（DLR）、因果的結合低下（CCD）、および複合プロンプト - 画像結合スコア（PICS）。

2. 力学系分析

反復プロンプティングプロセスは、離散時間力学系として形式化されます：$p_{t+1} = \Phi_\theta(I_t, p_t)$。

• 安定性分析： 著者は、フィードバックループが漸近的に安定であるのは、ヤコビアン $\rho(J_t)$ のスペクトル半径が 1 未満である場合のみであることを証明しています。$\rho(J_t) \geq 1$ の場合、誤差は幾何学的に増大し、観測されるドリフトとして現れます。
• 近傍安定化： これに対抗するため、標準的な更新を、近傍演算子から導出された正則化された更新に置き換えることを提案しています。この更新は、現在の予測を初期アンカー（$p_0$）と直前のプロンプト（$p_{t-1}$）と混合し、実質的にシステムのスペクトル半径を低減し、誤差増幅を有界にします。

3. DeCoDrift フレームワーク

分析に基づき、著者はトレーニング不要の推論時安定化フレームワークであるDeCoDriftを導入しました。これは 4 つの構成要素からなります：

1. アテンション誘導プロンプト抽出： 生マスクのモーメントを使用する代わりに、プロンプト（重心/バウンディングボックス）は、デコーダ自身のアテンションマップを空間的事前分布として用いて抽出され、抽出を注目領域へ偏らせます。
2. 近傍アンカー正則化： 抽出されたプロンプトは、導出された閉形式解を用いて正則化され、新しいプロンプトを固定アンカーと直前のプロンプトと混合することで、無制限のドリフトと振動を防ぎます。
3. デコーダ対応候補選択： 複数の候補マスクが生成される場合、選択基準は単に IoU を最大化するのではなく、信頼性、連続性、不確実性、発散、および漏れをトレードオフするように修正されます。
4. ソフトオブジェクト永続性： 一時的に遮蔽されたり不安定になったりするオブジェクトを保持するメカニズムであり、AAD/TCS 閾値とアンカーベースの回復を用いて、ハードフィルタリングを置き換えます。

主要な貢献

1. デコーダ結合フレームワーク： 基盤モデルのデコーダを体系的に計装し、正解ラベルなしでアテンション - ターゲット結合を定量化する指標を定義する初の試み。
2. 実証的特徴付け： 体積電子顕微鏡（MitoEM）データを用いた実証により、標準的な反復プロンプティングは、オラクルアンカー付きの上限と比較して、体系的なアテンションドリフト、高まったプロンプトエネルギー、および劣化した時間的安定性に苦しむことを示しました。
3. 力学分析： プロンプトフィードバックループを力学系として形式化し、近傍アンカー正則化が実効ヤコビアンを有界にし、システムを安定化することを証明しました。
4. トレーニング不要安定化： 再学習、重み変更、追加データなしにセグメンテーション品質と安定性を向上させる DeCoDrift の導入。

実験結果

実験は、10 の体積スライスと 133,452 組のデコーダ呼び出しを用いて、MitoEM データセット（ラットの皮質ミトコンドリア）で行われました。

• 結合指標： 標準的な反復プロンプティング（手法 A）は、オラクル（手法 B）と比較して、有意に高いアテンションアンカードリフト（AAD）と低い時間的結合安定性（TCS）を示しました。具体的には、TCS はオラクルの 0.995 から反復では 0.847 に低下し、ステップあたりのアテンションの 15% のシフトを示しています。
• 安定化性能： DeCoDrift（A-Stab）は、オラクルに対する TCS のギャップの**76.4%と AAD のギャップの27.9%**を埋めました。
• セグメンテーション品質： DeCoDrift は、短い距離（≤10 スライス）において、標準的な反復ベースラインに対してエンドツーエンドの交差率（IoU）を37.7%（相対）向上させました。
• アブレーション： 近傍正則化コンポーネントが安定性の主要な貢献者であることが特定され、単独で AAD を 18% 削減し、TCS を 12.2 ポイント増加させました。
• 実行時間： このフレームワークは、A5000 GPU 上で、イテレーションあたりのオブジェクトあたり約 4.1 ms（4.9%）のオーバーヘッドを追加します。

意義と主張

本論文は、デコーダ内部の力学は単なる診断的なものではなく、クローズドループ使用における基盤モデルを安定化させるための実行可能な信号を提供すると主張しています。主要な知見は以下の通りです：

• 結合の解離は体系的である： 反復プロンプティングは、出力マスクのみからは誤差が蓄積するまで見えない、ターゲットからアテンションがドリフトする体系的な故障モードを誘発します。
• 内部信号は品質を予測する： 結合が制御されている場合、AAD や TCS などの指標はセグメンテーション品質を強く予測します（ピアソン/スピアマン相関係数 $|r| > 0.95$）。
• 安定性対適応性： DeCoDrift は、推論中に正解ラベルアンカーを必要とすることなく、近傍正則化を通じてドリフトを有界にすることで、スライス間適応に必要な柔軟性を維持しつつ「絶妙なバランス」を達成します。
• 一般化可能性： 著者は、基盤モデルを反復的に問い合わせるあらゆるシステム（例えば、連鎖思考プロンプティング、反復拡散）が同様のドリフトを示す可能性があり、そのフレームワークはアーキテクチャに依存しないことを示唆しています。

著者は限界について謙虚であり、評価が現在単一の主要データセット（MitoEM）に制限されており、オラクルアンカー付き手法は単に上限として機能することに言及しています。DeCoDrift はループの動的な部分を安定化させますが、静的結合（因果的依存）は重み変更なしには変更しにくいことを認めています。