🤖 machine learning

DynImmune-BERT: Dynamic Immune Repertoire Modeling with Neural ODE Driven Continuous Transformers

本論文は、静的な言語モデルが持つ免疫学的変化の時系列表現における限界に対処するため、Neural ODEと特化したアテンション機構を活用することで、患者の免疫状態予測を向上させるべく縦断的なT細胞受容体レパートリーのダイナミクスを効果的に捉える新しい連続時間モデルであるDynImmune-BERTを導入するものである。

原著者： Rong Fu, Yongtai Liu, Xiaowen Ma, Haoyu Zhao, Shuo Yin, Yiqing Lyu, Long Zhang, Wangyu Wu

公開日 2026-07-21

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Rong Fu, Yongtai Liu, Xiaowen Ma, Haoyu Zhao, Shuo Yin, Yiqing Lyu, Long Zhang, Wangyu Wu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたの体を、活気に満ちたハイテク都市として想像してみてください。そこには、絶えず変化する巨大なセキュリティ部隊、すなわち免疫系が存在します。この軍隊は、T細胞と呼ばれる数百万ものユニークな兵士たちで構成されており、各兵士はウイルスやがんといった異なる脅威を識別するために設計された特定のIDバッジ（T細胞受容体）を携行しています。都市が侵入者に直面すると、正しいバッジを持つ兵士たちが戦闘のために急速に増殖し、他の兵士たちは待機状態に入ります。この兵士の集まりとIDバッジの全集合が、あなたの「免疫レパートリー」と呼ばれます。

科学者たちは、人が内部で何が起きているのかを理解するために、長年これらのIDバッジを読み取ろうと試みてきました。もし特定のバッジが突如として大量に出現していれば、それは感染症の兆候かもしれません。もしバッジが消失していれば、脅威が去ったことを意味するかもしれません。しかし、従来のほとんどのコンピュータプログラムは、これらの免疫軍を「静止したフォトアルバム」のように扱っていました。彼らは患者の血液の単一のスナップショットを撮り、バッジを数え、推測を行っていました。問題は、生命は写真ではなく、映画であるということです。免疫系は絶えず変化しており、兵士たちは不規則なタイミングで到着し、去り、そして再び現れます。疾患の物語を真に理解するには、単一のフレームを見るのではなく、映画全体を観る必要があるのです。

ここで、DynImmune-BERTと呼ばれる新しい研究が登場します。研究者たちは、あなたの免疫軍の単一のスナップショットを見るだけでなく、時間の経過とともに流れる映画全体を観るスマートなコンピュータモデルを構築しました。免疫系を静的な部品のバッグとして扱うのではなく、不規則な定期検診の間も進化し続ける、生き生きとした呼吸する旅としてモデル化したのです。

彼らがどのようにこれを行い、何を発見したのかを以下に示します。

「静的な」写真の問題点

サッカーの試合を、最終スコアだけを見て理解しようとしている場面を想像してみてください。誰が勝ったかは分かりますが、ドラマは見逃してしまいます。例えば、最初の1分に決められたゴールや、2分目に負傷した選手、あるいは最後の逆転劇などです。従来のモデルは、免疫データに対してこれと同様のことを行っていました。彼らは患者の血液サンプルを「シーケンスのバッグ（袋）」として要約し、サンプルが「いつ」採取されたか、あるいは特定の免疫細胞が訪問間にどのように変化したかという情報を無視していました。これにより、がんのような疾患に対して体がどのように反応しているかという極めて重要な手がかりを見落としていたのです。

解決策：タイムトラベルする探偵

著者たちは、患者の免疫履歴を連続的で流れる物語として扱うシステム、DynImmune-BERTを作成しました。機能させるための巧妙なトリックは以下の通りです。

「スムージー」のような時間（Neural ODEs）:
現実の世界では、患者は完璧に規則的な間隔で血液サンプルを提供することはありません。2週間経過していることもあれば、3ヶ月経過していることもあります。従来のコンピュータは、この「ギザギザした」タイムラインに苦戦します。DynImmune-BERTは、**Neural Ordinary Differential Equation (Neural ODE)**と呼ばれる数学的ツールを使用します。これは、2回の採血の間にある空白を滑らかに埋めることができる、タイムトラベルする探偵のようなものです。これは単なる推測ではなく、免疫の物語を数学的に「流動」させ、データが収集されなかった週の間に軍隊がどのように変化したかを予測します。
「消失の演出」（Event-Aware Restarts）:
特定の免疫兵士（クローン）が血液サンプルから消えることがあります。古いモデルでは、コンピュータはその兵士が単に小さくなっただけだと誤解してしまうかもしれません。しかし実際には、その兵士は完全に姿を消し、後に再び現れた可能性があります。DynImmune-BERTは「イベント認識型（event-aware）」です。もし兵士が消え、その後再び現れた場合、モデルは「リセットボタン」を押します。モデルはlow-rank meta-adapter（小さく効率的なヘルパー）を使用して、新しい章が始まったことを認め、その兵士の状態を即座に再初期化します。これにより、モデルが数学的に迷子になるのを防ぎます。
「VIPと群衆」（Hybrid Supervision）:
免疫軍には、非常に声が大きく数も多い「VIP」の兵士（優占クローン）がいますが、一方で、数千もの希少な兵士たちも存在し、彼らが特定の疾患の秘密を握っている場合があります。古いモデルは、しばしばVIPだけに焦点を当てるか、あるいはノイズに圧倒されてしまいました。DynImmune-BERTは、**ハイブリッド輸送目的関数（hybrid transport objective）**を使用します。これは、2種類の異なるマイクロフォンを持っているようなものです。一つは騒がしいVIPの声をはっきりと聞き取るために調整されており、もう一つは希少な兵士たちの囁きを聞き取るのに敏感なものです。これにより、モデルは最も人気のある細胞だけでなく、全員から学習することができます。
「近隣監視」（Bounded Attention）:
数千もの免疫細胞がある場合、コンピュータがすべての細胞を他のすべての細胞と比較することは不可能です（それはあまりにも低速になります）。代わりに、モデルは「限定された近隣領域（bounded neighborhood）」を構築します。ある細胞に対して、モデルはその最も近い隣人、つまりシーケンスや存在量が似ている細胞のみを見ます。これは、街全体に電話をかけるのではなく、すぐ隣の家とだけ話す近隣監視のように、計算を高速かつ効率的に保ちます。

彼らが発見したこと

研究者たちは、肺がんおよび**甲状腺がん（THCA）**の患者のデータを用いて、新しいモデルをテストしました。彼らはDynImmune-BERTを、多くの既存の「静的な」モデルや、より単純な時間ベースのモデルと比較しました。

結果: 内部テスト（同じデータを使用して自身のモデルの異なるバージョンを比較したもの）において、DynImmune-BERTは肺がんでAUC 0.982、甲状腺がんでAUC 0.984を達成しました。（AUC 1.0は完璧なスコアであり、これらは非常に高い数値です）。
比較: 文献にあるDeepTCRやBertTCRといった有名なモデルと比較した場合、DynImmune-BERTはより高いスコアを示しました。しかし、著者らは、他の研究が異なるデータセットやルールを使用しているため、これらの比較は注意が必要であると慎重に述べています。彼らは、内部テストにおいて、「時間」と「イベント」の特徴を加えることが、最後のサンプルのみを見るモデルやすべてを平均化するモデルよりも、精度を大幅に向上させたという事実こそが、真の証明であると強調しています。
注意点: このモデルは、患者の繰り返される血液サンプルがある場合に最も効果を発揮します。希少ながんを持つ非常に小さな患者グループ（一部のグループは20人未満）に対してテストを行った際、結果には「広い不確実性」が見られました。これは、モデルが有望ではあるものの、あらゆる種類の癌に対して確実に機能するかどうかを確認するには、さらなるデータが必要であることを意味しています。

なぜ重要なのか

DynImmune-BERTは、私たちの免疫系が疾患とどのように戦うかを真に理解するためには、スナップショットを撮るのをやめ、映画を観る必要があることを示唆しています。現実世界の医療受診の不規則なタイミングを尊重し、免疫細胞の「消失と再出現」という性質を扱うことで、このモデルはがんの状態を予測するためのより正確な方法を提供します。

著者らは、このモデルは強力な新しいツールではあるものの、まだ「魔法の杖」ではないと結論付けています。特に希少疾患については慎重な解釈が必要であり、病院で使用できるようになる前に、より大きな集団でのさらなるテストが必要です。しかし、現時点では、コンピュータに「時間の流れ」を理解させることで、免疫系の物語をかつてないほど鮮明に見ることができるということを、このモデルは証明しています。

技術要約: DynImmune-BERT

1. 問題提起

適応免疫レパートリー、特にT細胞受容体（TCR）配列には、免疫学的摂動に伴うクローン増殖、収縮、消失、および再出現に関する時間的な信号が含まれている。静的なレパートリー言語モデルは、サンプルを「配列のバッグ（bag of sequences）」として効果的に要約できるものの、縦断的データに固有の不規則なサンプリング間隔、シーケンシング深度の変動、およびクローンの存在パターンの動態を十分に表現できていない。

レパートリー解析のための既存のディープラーニング手法（例：DeepTCR、BertTCR）は、一般に単一サンプル内のクローンタイプを集計するか、サンプルを独立して比較する。これは、生物学的な実態（疎で、ヘビーテイルであり、イベント駆動型のダイナミクスを持つこと）と、通常は時間依存性のない計算表現との間のミスマッチを生じさせる。さらに、TCRデータには以下の特有の課題が存在する：

組成的な性質: クローン頻度はシーケンシング深度によって制約を受ける。
ゼロ過剰性: 生物学的な消失、限定的なサンプリング深度、または技術的なセンサリングにより、多くのクローンはほとんどの時点において不在である。
不規則性: 縦断的研究は、不均一な時間間隔を伴いながら数週間から数ヶ月にわたる。
イベントの不連続性: クローンの誕生と死は、すべての潜在状態が単一の連続的なベクトル場の下で滑らかに進化するという仮定に違反する。

対処すべき核心的な問題は、クローンの存在イベント、組成の安定性、および高存在量・低存在量両方のクローンからの教師信号を維持しながら、患者レベルの免疫状態（具体的にはがん検出）を予測するために、対象者の不規則なTCR軌跡をどのようにエンコードするかである。

2. 手法: DynImmune-BERT

DynImmune-BERTは、Neural Ordinary Differential Equations (Neural ODEs) と連続的Transformerによって駆動される連続時間レパートリーモデルである。本モデルは、免疫レパートリーを進化する患者の軌跡として扱う。

2.1 深度適応型組成状態初期化

シーケンシングデータの組成的な性質とゼロカウントの不安定性を処理するために、モデルは**深度適応型中心対数比（Depth-Adaptive Centered Log-Ratio: CLR）**初期化を採用している：

擬似カウント: $\epsilon(t) = \kappa / (N(t) + \kappa)$ という深度適応型擬似カウントを使用する。ここで $N(t)$ はシーケンシング深度である。これにより、低深度の観測がより強く正則化される。
安定化: 初期状態 $y_c(t)$ は、サポートセット上で中心化された相対頻度の対数比として計算される。これにより、存在量を安定させ、連続時間のダイナミクスを可能にする。
存在ゲート: バイナリインジケーター $I_c(t)$ が、クローンが観測されている（リード数が0より大きい）か、あるいは不在であるかを追跡する。

2.2 有界近傍構築

数千のクローンを含むレパートリーにおける計算複雑性を管理するため、モデルは各クローン $c$ に対して有界アテンション近傍 $N_c(t)$ を構築する。この近傍はサイズ $B$ に制限され、以下の3つのコンポーネントで構成される：

高存在量近傍: 高いリードカウントを持つクローン。
埋め込み近傍: フォーカルなクローンに最も近い配列埋め込みを持つクローン。
希少クローンのテール: 希少なクローンタイプが無視されないようにするための、サンプリングされた低存在量の候補。
これにより、アテンションを全ペア比較から、存在量、配列類似性、および希少性の探索を保持した局所的な集約へと削減する。

2.3 イベント認識型連続ダイナミクス

モデルの核となるのは、不規則な観測間を伝播するNeural ODEである：
$\frac{dy_c(t)}{dt} = I_c(t) \cdot F_\theta(y_c(t), e_c, N_c(t), s(t), t)$

ゲート付きダイナミクス: 存在ゲート $I_c(t)$ は、不在のクローンがベクトル場 $F_\theta$ （連続的Transformer）の下でドリフトすることを防ぐ。
イベント認識型状態再起動: クローンが不在から存在へと遷移する（再出現する）とき、連続的な進化は中断される。低ランクメタアダプター $\Delta_\phi$ が、その配列埋め込みと時間に基づいて再出現するクローンタイプの状態を初期化し、続いてCLR制約を復元するための再中心化ステップが行われる。これにより、滑らかな補間を強制することなく、クローンの誕生/再出現の不連続性を処理する。

2.4 ハイブリッド輸送監督

支配的なクローンと希少なクローンの両方を監督するために、モデルはハイブリッド輸送目的関数を使用する：

支配的クローン: 上位のクローンに対してエントロピー最適輸送（ $S_\lambda$ ）を用い、確率分布を一致させる。
希少クローン: テール部分のクローンに対してスライス・ワッサースタイン距離（ $SW_L$ ）を用い、拡散した分布を扱う。
総損失: クロスエントロピー、ハイブリッド輸送損失、時間的正則化、およびスペクトル正則化を組み合わせる。

3. 主な貢献

軌跡定式化: 本論文は、免疫レパートリー分類を、観測時間、リードカウント、シーケンシング深度、およびクローンの存在が明示的な変数となる、患者レベルの軌跡問題として定式化した。
イベント認識型連続Transformer: 安定化された組成状態、有界近傍アテンション、Neural ODEによる暗黙的積分、および再出現するクローンタイプを再起動するための低ランクアダプターを組み合わせた、新しいアーキテクチャを導入した。
包括的な評価フレームメント: 本研究は、文献に報告されているベースラインと、内部で制御された時間的比較を分離している。小規模な外部コホートに対しては不確実性を報告し、キャリブレーションと閾値診断を追加し、潜在的なクローン軌跡とアテンション近傍を可視化している。

4. 結果

評価は、肺がんおよび甲状腺がん（THCA）のデータセット、および17種類のがんに対する外部検証を用いて行われた。

内部の時間的比較: マッチした患者レベルのスプリットにおいて、DynImmune-BERTは最高の性能を達成した。
- 肺がんAUC: 0.982（Latent ODEコントロールの0.963、およびTime-aware Transformerの0.949と比較）。
- THCA AUC: 0.984（Latent ODEコントロールの0.969と比較）。
  アブレーション研究により、Neural ODEコアが精度向上の主要な要因であり、イベント処理と適応型擬似カウントがランダムシードに対する堅牢性を向上させたことが示された。
外部検証: 外部コホート（例：THCA, GBM, Lung）において、モデルは高い精度を示したが（例：Lungで0.957）、20症例未満のサブセットでは広い不確実性区間を示し、より大きな検証セットの必要性を浮き彫りにした。
文献との比較: 提供された表において、DynImmune-BERTは静的なベースライン（例：BertTCR, DeepLION2）よりも高いAUCを報告しているが、著者らはこれらが異なるプロトコルを持つクロススタディ比較であることを指摘しており、直接的なヘッドトゥヘッドの優位性ではなく、先行する性能範囲の文脈として解釈されるべきであるとしている。
計算コスト: フルモデルは約122.4Mのパラメータを必要とし、単一GPUで1エポックあたり3.8分、推論レイテンシは1 subjectあたり13.5 msである。

5. 意義と主張

本論文は、縦断的なレパートリー構造が利用可能であれば、イベント認識型の時間的モデリングが強力な静的エンコーダを補完できると主張している。DynImmune-BERTの意義は、以下の能力にある：

疎で不規則な生物学的データと、メカニズム的な滑らかさを仮定しない連続的な数学的モデリングの間の溝を埋めること。
静的なモデルが見落としがちな「クローンの消失と再出現」を明示的に扱うフレームワークを提供すること。
集計的な分類指標とともに、ダイナミックな挙動を調査することを可能にする診断スイート（軌跡の可視化、キャリブレーションプロット、閾値の安定性）を提供すること。

著者らは、小規模な外部コホートやプロトコルの違いにより慎重な解釈が必要であることを認め、控えめな立場を維持している。彼らは、本手法が繰り返し測定されるレパートリーが存在する場合に最も有用であり、学習された軌跡が、解釈可能な免疫イベント（HLA、治療など）との対応関係を確認するために臨床メタデータを用いた前向きな検証を必要とすることを強調している。