🧬 biology

KHiM-Mamba: Injecting Pathology Knowledge into Mamba via Hidden-State Modulation for Whole Slide Image Analysis

KhiM-Mambaは、病理学的知識とLLM由来のセマンティックな記述を統合してMambaの隠れ状態を調整することで、無関係な情報の蓄積を防ぎ、多様な診断タスクにおいて最先端の性能を達成する、全スライド画像解析を強化する新しいマルチインスタンス学習アーキテクチャである。

原著者： Qixiang Zhang, Yi Li, Tianqi Xiang, Haonan Wang, Mengjiao Wei, Bo Xu, Xiaomeng Li

公開日 2026-08-18

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Qixiang Zhang, Yi Li, Tianqi Xiang, Haonan Wang, Mengjiao Wei, Bo Xu, Xiaomeng Li

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ⚕️ これは査読を受けていないプレプリントのAI生成解説です。医学的助言ではありません。この内容に基づいて健康上の判断をしないでください。免責事項の全文を読む

現代の医学の世界において、病理学者の最も重要な道具は、生命と疾患の細胞構造を明らかにするまで拡大された、人間の組織の微小なサンプルを含むガラススライドである。今日、これらのスライドは巨大なデジタル画像へとスキャンされるが、それらはあまりに巨大で数十億ものピクセルを含んでおり、人間の目が一度に全体を把握するにはあまりに膨大である。医師がこれらのデジタル風景をナビゲートするのを助けるため、科学者たちは、疲れを知らない助手として機能する人工知能システムを開発してきた。これらのシステムは、巨大な画像を数千の小さく扱いやすい断片に分割し、各断片における細胞の質感や形状を分析し、それから全体的な診断を組み立てようとする。課題はその規模の大きさとノイズにある。一つのスライドには数百万の細胞が含まれているかもしれないが、診断の鍵を握るのはわずかに散在するクラスター（集団）だけであり、残りは健康な組織や無関係な背景である。もしコンピュータが膨大な量の不要な情報に気を取られてしまうと、隅々に隠された決定的な手がかりを見逃してしまう可能性がある。

研究者たちは、この巨大なデジタルスディを扱うために、人間の脳が時間の経過に伴う情報のシーケンスを処理する方法に触発された、新しいタイプの人工知能アーキテクチャに目をつけた。この技術は、長いシーケンスの中で以前に見たものを記憶し、前進しながら何をメモリに保持し続けるかを決定することに長けている。しかし、香港と重慶の研究チームは、これらのシステムがどのように使用されているかにおける欠陥を発見した。彼らは、AIモデルがスライドをスキャンする際、ピクセルがどのように見えるかに完全に依存していることを見出した。もしスライドが少し異なる色の染料で染色されていた場合（これはラボではよくある変動である）、モデルは混乱し、無害な色の変化を重大な医学的手がかりとして扱ってしまう可能性がある。これにより、システムは無関係な詳細をメモリに蓄積してしまい、診断に必要な決定的な証拠を希薄化させてしまうのである。これを解決するために、研究者たちは、AIのメモリプロセスに実際の医学的知識を直接注入する新しい手法を導入し、システムがノイズを無視して真に重要なことに集中するように教え込んだ。

香港科技大学と重慶大学の研究者を中心とするチームは、「KHiM-Mamba」と呼ぶシステムを開発した。AIがスライドをスキャンする際に何を記憶するかをAI自身に判断させるのではなく、彼らは病理学の言語で書かれたガイドブックを与えたのである。このガイドブックには、異なる種類の組織が健康的または疾患がある場合にどのような外観をしているかという具体的な記述が含まれている。AIがスライドの一つの小さな断片から次の断片へと移動する際、このガイドブックを参照して、どの情報をメモリに保存する価値があり、どれを破棄すべきかを決定する。大量の本の山を整理している司書が、保持すべき本のリストと無視すべき本のリストを手渡された状況を想像してほしい。その司書は、もはやどの本が重要かを推測する必要はなくなる。この場合、「司書」はAIであり、「本」は画像の小さなパッチであり、「リスト」は大規模言語モデルによって提供される医学的知識である。

研究者たちは、AIがスライドの診断を助けるために言語を使用しようとする従来の試みは、しばしば間接的すぎると指摘した。それらの手法は、分析が始まる前にどのスライドを見るかを選択したり、分析後に最終的な答えを確認したりするために言語を使用していた。今回の新しいアプローチは、AIの思考の核心的なメカニカズムを変更しているという点で異なっている。それは、メモリシステムの内部的な「書き込み」および「読み取り」プロセスを修正するものである。AIが新しいメモリを書き込むとき、医学的知識は、単なる色や質感といった誤解を招きやすいものではなく、疾患に関連する特定の形状やパターンに焦点を当てるよう指示する。AIが決定を下すためにメモリから情報を読み取るとき、知識は、これまでに蓄積された最も関連性の高い証拠を検索するように導く。これにより、システムは単なる視覚的なバリエーションに惑わされることなく、医学的に意味のあるつながりに基づいてスライドの表現を構築することを確実にする。

これを実現するために、チームはスライドの各部分に対して適切な医学的記述を生成するスマートなシステムを作成した。単一のスライドには多くの異なる種類の組織が含まれているため、一般的な記述では不十分である。このシステムは、強力な言語モデルを使用して、組織の小さなパッチを見て、それがどのような種類の組織であるかを特定し、その組織が健康的または疾患がある場合にどのような外観であるべきかについて、正確で詳細な記述を生成する。もしシステムが組織の種類について確信が持てない場合は、間違いを避けるために、より広範で安全な記述に退く。この動的なプロセスにより、AIは解決しているパズルのあらゆるピースに対して、可能な限り正確で具体的なガイダンスを受け取ることができる。

この手法の結果は、様々な種類のがんや患者の転帰を含む11の公開データセットを用いてテストされた。新しいシステムは、既存の最良の手法を一貫して上回る性能を示した。AIが乳がんの異なるサブタイプを区別しなければならないタスクにおいて、それは従来のどのモデルよりも高い精度を達成した。組織サンプルに基づいた患者の生存期間を予測する際、それはより信頼性の高いリスク評価を提供し、患者を高リスク群と低リスク群にうまく分離した。おそらく最も重要なことは、このシステムが、異なる染色技術を使用している異なる病院のスライドでテストされた際にも堅牢であることを証明したことである。他のモデルはこれらの変動に苦しみ、色が少し変わるだけで失敗することが多かったが、新しいシステムは高いパフォーマンスを維持した。これは、AIを単なる視覚的パターンではなく、医学的知識に根ざさせることで、スライドの外見ではなく、疾患そのものを見ることを学習したことを示唆している。

また、この研究は、医学においてラベル付けされた例が乏しいという一般的な問題である、学習するためのデータが非常に少ない場合にシステムがどの程度うまく機能するかについても調査した。AIが学習のためにわずか8つまたは16の疾患例を見せられたテストにおいて、この新しい手法は競合他社を大幅に上回った。これは、システムに注入された医学的知識が強力な基盤として機能し、最小限のトレーニングデータであっても効果的に学習できることを示している。研究者たちはまた、この知識の層を追加しても、システムが遅くなったり、標準的なコンピュータハードウェアで実行できないほど大きくなったりしないことを確認した。システムは高速かつ効率的なままであり、数千の画像パッチを数秒で処理することが可能であった。

人工知能が医学画像を処理する方法を再考することで、本研究は、視覚的データと明示的な医学的知識を組み合わせることが、より信頼性が高く正確な診断ツールを生み出すことを実証した。研究者たちは、膨大なノイズの多い問題を解決するための鍵は、単にコンピュータを大型化することではなく、コンピュータに「何を見るべきか」を教えることであると示した。このアプローチは、計算病理学における新たな道を提示しており、そこでの目標は、不要なものをフィルタリングして重要なものを強調することで、医師を支援し、最終的な診断が可能な限り強力な証拠に基づいたものにすることである。

技術要約: KHiM-Mamba

問題提起

計算病理学における全スライド画像（WSI）解析は、通常、複数インスタンス学習（MIL）として定式化される。ここでは、スライドはパッチに分解され、「スライドエンコーダ」がパッチ特徴量を集約してスライドレベルの表現を生成する。このプロセスであるスライドエンコーディング・ダイナミクスは極めて重要である。なぜなら、診断的な証拠は離れた組織領域に分散していることが多いためである。

近年、選択的状態空間モデル（SSM）、特にMambaが、長いシーケンスを線形計算量でモデル化できる能力により、このタスクのための効率的なアーキテクチャとして台頭している。しかし、著者らは既存のMambaベースのMIL手法における根本的な限界を指摘している。それは、選択的な状態遷移において視覚的特徴のみに依存している点である。大規模なWSIでは、診断に決定的な領域が、膨大な無関係な情報（例：染色性の変化、背景組織）に囲まれている。そのため、純粋に視覚駆動型のダイナミクスでは、状態の更新を誤分配する可能性がある。これにより、進化する隠れ状態がタスクに無関係な証拠を蓄積し、長いスキャン軌道の中で重要な診断的手がかりを希釈させてしまう。

Vision-Language Model（VLM）ベースのMIL手法も存在するが、それらは通常、言語を外部のアドオン（例：パッチ選択や補助的な監督のため）として扱うにとどまり、コアとなるエンコーディング・ダイナミクスには統合していない。その結果、純粋な視覚的状態遷移という限界は未解決のまま残されている。

手法: KHiM-Mamba

著者らは、Mambaのコアとなる選択的状態空間メカニズムに、病理学的知識の事前分布を直接注入するフレームワークであるKHiM-Mamba（Knowledge-aware Hidden-state Modulation）を提案する。このアーキテクチャは、主に2つのコンポーネントで構成される。

1. 知識を考慮した隠れ状態変調（KHiM）

KHiM-Mambaは、言語を周辺的な信号として使用するのではなく、言語由来の知識を用いて隠れ状態の進化を制御するようにSSMレイヤーを再設計している。

メカニズム: 標準的なMambaの再帰には、情報の隠れ状態（ $h_t$ ）への書き込みと読み出しを制御する入力投影（ $B_t$ ）および出力投影（ $C_t$ ）行列が含まれる。
変調: 著者らは、低ランク変調メカニズムを導入しており、言語埋め込み（ $e_t$ $e_{t}$ ）がMLPを介して係数ベクトル（ $\alpha_B, \alpha_C$ $α_{B}, α_{C}$ ）を生成する。これらの係数は、元の投影行列に追加される低ランク増分（ $\Delta B_t, \Delta C_t$ $Δ B_{t}, Δ C_{t}$ ）を作成するために使用される。
- 書き込み変調（ $\tilde{B}_t$ ）: 進化する隠れ状態に「どのような」視覚的証拠を組み込むかをガイドし、診断に関連する特徴の蓄積を促すと同時に、無関係な特徴を減衰させる。
- 読み出し変調（ $\tilde{C}_t$ ）: 蓄積された文脈的証拠の「何」をパッチ表現を豊かにするために取り出すかをガイドし、出力が診断的に意味のあるパターンを強調するようにする。
結果: これにより、SSMの時系列的な減衰挙動を変えることなく「書き込み・読み出し」のダイナミクスを再形成し、選択的メカニズムを「診断認識型」にする。

2. ローカル適応型語彙検索モジュール

変調のための効果的な言語事前分布を提供するために、著者らは固定されたグローバルなプロンプトを避けるモジュールを設計した。

プロセス:
1. 概念生成: LLMに対し、タスク定義をプロンプトとして与え、タスクに関連する組織概念（例：特定の腫瘍型）とその微細な形態学的記述を生成させる。
2. 信頼度ゲート付きルーティング: 各パッチについて、Vision-Language Model（CONCH）がパッチの画像埋め込みと概念テキスト埋め込みの間の類似度を計算する。
3. 適応的割り当て: 特定の組織概念に対する類似度が閾値を超え、かつ他の概念に対するマージンが十分である場合、そのパッチには微細な組織特異的言語が割り当てられる。そうでなければ、ノイズとなる事前分布の導入を避けるため、粗い病理学的記述へとフォールバックする。
成果: これにより、モジュレーション信号は意味的に精密になり、多様な組織組成に対して堅牢となる。

主な貢献

限界の特定: 本論文は、既存のMambaベースのMIL手法が、純粋に視覚駆動型の状態遷移によって長いWSIシーケンス内で無関係な証拠を蓄積してしまうこと、および既存のVLM-MIL手法は、コアとなるエンコーディング・ダイナミクスに介入しないためこの問題に対処できていないことを明らかにしている。
アーキテクチャの革新: KHiM-Mambaは、Mambaを静的なバックボーンとして使用するのではなく、知識の事前分布を直接選択的状態遷移（書き込みおよび読み出し行列）に注入することで、WSI解析のためにMambaの内部モデル・ダイナミクスを再形成した最初の研究として提示される。
ローカル適応型語彙検索: LLMを介して、パッチに対して微細な組織特異的言語を動的に割り当てることで、多様なダウンストリームタスクに対して精密なモジュレーション信号を提供するモジュールを提案している。
実証的性能: 広範な実験により、複数のタスクとデータセットにおいて最先端（SOTA）の性能を実証している。

実験結果

著者らは、4つのタスク（がん亜型分類、生存予測、ドメイン適応、およびFew-shot学習）にわたる11の公開ベンチマークでKHiM-Mambaを評価した。

がん亜型分類:
- BRACSデータセット: 微細な7クラスのタスクにおいてSOTAの精度（0.5874）およびAUC（0.8746）を達成し、3クラスのタスクでも最高の結果を出し、それぞれ以前の最高値を約1.77%および2.41%上回った。
- TCGA-BRCA: 精度0.9330、AUC 0.9559を達成し、従来の最高精度を1.97%、AUCを1.01%向上させた。
生存予測:
- 6つのTCGAサブセット（BLCA, BRCA, KIRC, KIRP, LUAD, STAD）で評価。KHiM-Mambaは平均C-Index 0.7394を達成し、以前の最高モデル（2DMamba）を**2.31%**上回った。
- カプラン・マイヤー曲線は、高リスク群と低リスク群の間の顕著に鋭い分離を示し、ログランク検定の $p$ 値も著しく低かった（例：LUADでは $2.63 \times 10^{-6}$ ）。
ドメイン汎化（クロスセンター）:
- CAMELYON16で学習し、CAMELYON17（5つの独立したセンター）でテスト。KHiM-Mambaは平均AUC 0.9184を達成し、以前の最高モデル（TransMIL）を**2.27%**上回り、染色やスキャナーの差異に対する堅牢性を示した。
Few-shot学習:
- TCGA-NSCLCの8-shotおよび16-shot設定において、KHiM-Mambaは平均精度83.11%、AUC **93.03%**を達成し、他のMILおよびVLM-MIL手法を大幅に上回った。これは、言語によるモジュレーションによる強力な帰納バイアスを示唆している。
効率性:
- モデルは約220万個のパラメータを持ち、線形計算量を維持している。5,000個のパッチといった長いシーケンスであっても、他のMambaベースの手法（PAMや2DMambaなど）と同等か、より高速な推論時間を実現している。

重要性と主張

本論文は、KHiM-Mambaが、純粋な視覚的特徴の集約を超えたアプローチをとることで、計算病理学における根本的なギャップを埋めるものであると主張している。診断的知識を用いて隠れ状態の進化を明示的に制御することにより、モデルは証拠の蓄積を病理学的に意味のある領域へと導き、無関係な背景ノイズを効果的にフィルタリングすることができる。

著者らは、彼らの手法が既存のスキャニング戦略（例：グルーピング、階層的スキャニング）に対して**直交的（orthogonal）**であり、それらと組み合わせることが可能であることを強調している。その重要性は、言語条件付きのモジュレーションによるコアな状態空間メカニズムの制御が、汎化性能、ドメインシフトへの堅牢性、およびデータが乏しいシナリオにおける性能を向上させる強力な帰納バイアスとなることを示した点にある。これは、医療画像のための知識誘導型状態空間モデルを設計するための新しい視点を提供するものである。