OmniCT: Towards a Unified Slice-Volume LVLM for Comprehensive CT Analysis

OmniCT は、スライス駆動の局所的特徴とボリューム駆動の空間的表現を統合し、臨床的有用性を高めるための新たなパラダイムを確立する、CT 画像の包括的解析に向けた統一されたスライス - ボリューム LVLM です。

要約

OmniCT: 医師の「目」と「脳」を一つにした CT 画像の天才解説者

この論文は、医療用 CT スキャン（体の断面画像）を分析するための新しい AI「OmniCT（オムニ CT）」を紹介しています。

これまでの AI は、CT 画像を見る際に「2 次元の断面（スライス）」しか見られないか、「3 次元の立体（ボリューム）」しか見られないかのどちらかでした。しかし、実際の医師は、**「微細な病変を見つける鋭い目（2D）」と「臓器全体のつながりや広がりを理解する立体感覚（3D）」**の両方を同時に使っています。

OmniCT は、この「2 つの視点」を一つに統合した、世界初の万能な CT 分析 AI です。

以下に、難しい専門用語を使わず、身近な例え話で解説します。

---

1. 従来の AI の悩み：「パズル」か「地図」か？

CT 画像は、パンを何枚も重ねたような「スライス（断面）」の集合体です。

• 従来の「2D 型 AI」：一枚一枚のパンの断面を詳しく見て、「ここに小さなシミがある！」と見つけるのは得意ですが、「そのシミがパンのどこにあり、隣のスライスとどうつながっているか」がわからず、立体感が欠けていました。
  • 例え： 地図の「1 ページだけ」を見て、その場所が山の上なのか谷なのか、全体像がわからない状態です。
• 従来の「3D 型 AI」：パンの山全体を立体的に把握できますが、「1 ページごとの細かいシミ」を見逃してしまったり、画像の解像度が粗すぎて、小さな病変を見つけられませんでした。
  • 例え： 全体図は見えるけれど、拡大鏡がないので、紙の小さな文字が読めない状態です。

医師は「小さな病変（2D）」と「臓器の広がり（3D）」の両方を同時に理解する必要があります。OmniCT は、この**「2D の鋭さ」と「3D の広がり」を両立させた**のが最大の特徴です。

2. OmniCT の 3 つの「超能力」

OmniCT がなぜこんなに優秀なのか、3 つの工夫（技術）で説明します。

① 空間の連続性を高める「SCE」：パンの山を「ブロック」で見る

• 仕組み： 隣り合った数枚の断面画像を「1 つのブロック」のようにくっつけて、AI に見せます。さらに、3 次元の「位置情報（上・下・左・右・奥）」を AI の頭に注入します。
• 例え： 単にバラバラの写真を並べるのではなく、「立体パズル」を組み立ててから、AI に見せています。これにより、AI は「このシミは 1 枚目にあるけど、2 枚目では消えている」といった、画像の連続性を自然に理解できるようになります。

② 臓器ごとの意味を深める「OSE」：重要な場所を「拡大鏡」で見る

• 仕組み： 体には心臓、肺、肝臓など多くの臓器があります。OmniCT は、まず「どの臓器が写っているか」を自動で特定し、その部分だけを**「拡大して詳しく見る」**ように設計されています。
• 例え： 広い公園（体全体）を歩く際、「花壇（臓器）」だけを見つめて、その中の小さな虫（病変）を探すようなイメージです。重要な場所には時間をかけ、そうでない場所は素通りする「賢い視線」を持っています。

③ 最強のテスト場「MedEval-CT」：170 万件の「模擬試験」

• 仕組み： AI を評価するために、これまでになかった巨大なテストデータセットを作りました。170 万件以上の質問と答え、7 つの異なる医療タスク、13 の臓器を網羅しています。
• 例え： 従来の AI 評価は「簡単なクイズ」だけでしたが、OmniCT は**「医師国家試験レベルの、あらゆる難易度の模擬試験」**で鍛え上げ、評価されました。これにより、本当に臨床現場で使えるかどうかが厳しくチェックされています。

3. 結果：医師のパートナーとして

実験の結果、OmniCT は既存のどの AI よりも優れていました。

• 2D のテストでも 3D のテストでも、トップクラスの成績を収めました。
• 心臓や肺だけでなく、膵臓や食道など、見つけにくい小さな臓器の病変も正確に捉えることができました。
• 単に「病変がある」と言うだけでなく、**「どの臓器のどの部分に、どのような病気が広がっているか」**を、医師が理解できる言葉で説明できます。

まとめ

OmniCT は、「2D の拡大鏡」と「3D の全体図」を一つに融合させた、医療 AI の新しい基準です。

これまでは「2D 型 AI」と「3D 型 AI」を別々に使わないといけなかった医師も、OmniCT 一つで、**「微細な病変の発見」と「病気の全体像の把握」**を同時にこなせるようになります。これは、医療現場における AI の活用が、単なる「補助」から「不可欠なパートナー」へと進化することを示す、大きな一歩です。

---

プロジェクトの場所：
この研究は浙江大学とアリババグループ（DAMO アカデミー）によって行われ、コードは GitHub で公開されています。
🔗 GitHub リンク

技術概要

OmniCT: CT 画像解析のための統合スライス・ボリューム LVLM に関する技術要約

本論文は、コンピュータ断層撮影（CT）画像の臨床的解釈における課題を解決し、スライス（2D）とボリューム（3D）の両方の視覚情報を統合的に理解する大規模視覚言語モデル（LVLM）「OmniCT」を提案しています。

1. 背景と課題 (Problem)

CT 画像は心臓、肺、肝臓、大腸など重要な臓器をカバーし、病変のスクリーニングやステージングに不可欠な情報源です。臨床診断では、以下の 2 つの異なる視点からの理解が求められます。

• スライス駆動（局所的特徴）: 数ミリ単位の結節や病変の境界など、個々のスライスレベルの詳細な特徴の把握。
• ボリューム駆動（空間的表現）: 腫瘍の浸潤範囲や臓器間の解剖学的関係など、3 次元空間的な文脈の把握。

既存の LVLM は、この 2 つの視点を統合できていません。

• スライス駆動モデル: 2D 事前学習の恩恵を受け、一般化性能は高いが、スライス間の空間的一貫性を欠き、3D 構造を正しく理解できない。
• ボリューム駆動モデル: 3D 構造を明示的に捉えるが、微細な病変の検出感度が低く、スライス入力との互換性が低い。
  この「スライスとボリュームの分断」が、医療用 LVLM の臨床応用における大きなボトルネックとなっています。

2. 提案手法：OmniCT (Methodology)

OmniCT は、2D モデルの効率性と一般化能力を維持しつつ、3D モデルの空間構造認識能力を統合したユニファイド・LVLM です。その核心は、以下の 2 つの主要モジュールと新しい評価基盤にあります。

2.1 空間的一貫性強化 (Spatial Consistency Enhancement: SCE)

スライスとボリュームの表現ギャップを埋めるためのモジュールです。

• ボリューム・スライス構成 (VSC): 隣接するスライスをチャンネル方向に構造的に結合し、局所的に一貫したボリューム単位（例：3 つのスライスを 1 つのユニットとして再構成）を作成します。これにより、スライス間の空間的遷移を保持します。
• 3 軸位置エンコーディング (Tri-axial Positional Embedding, TPE): 再構成されたユニットに対して、深度（Z）、高さ（Y）、幅（X）の 3 方向に正弦波位置エンコーディングを注入し、3D 空間的知覚を視覚表現に追加します。
• MoE ハイブリッド投影 (Mixture of Experts Hybrid Projection, MHP): スライス入力とボリューム入力の両方を効率的に処理し、LLM の表現空間に整合させるための専門家混合（MoE）機構です。スライスとボリュームの特性に応じて動的にルートing することで、冗長性を削減しつつ特徴を統合します。

2.2 臓器レベルの意味強化 (Organ-level Semantic Enhancement: OSE)

臨床診断が臓器レベルで行われるという要件に基づき設計されたモジュールです。

• 解剖学的領域の局在化: TotalSegmentator などのセグメンテーションモデルを用いて、特定の臓器（心臓、肺、肝臓など 117 構造）の領域を特定し、対応する視覚トークンを抽出します。
• 適応的アグリゲーション: 臓器のサイズやトークン長が異なる問題に対処するため、固定長のトークンに圧縮するアグリゲーション関数を導入します。
  • 拡大効果: 小さな臓器や病変領域の情報を強調。
  • 圧縮効果: 大きな臓器やグローバル領域の冗長性を削減。
    これにより、診断的に重要な領域のセマンティクスを明確にしつつ、グローバルな文脈を保持した表現を生成します。

2.3 学習戦略

• 事前学習: SCE と MHP を用いて、画像とテキストのクロスモーダルアライメントを学習。
• インストラクション・チューニング: 投影層と LLM 全体を最適化し、医療タスクへの適応を強化します。

3. 主要な貢献 (Key Contributions)

1. CT 画像のための統合 LVLM パラダイム:
   スライスとボリュームの表現のギャップを埋め、3D 空間的事前知識を注入しつつ 2D アライメントの効率性を維持する初の統合モデルです。
2. 表現の強化 (SCE と OSE):
   空間的に一貫性があり、臨床的に意味のある表現を実現するための新しいアーキテクチャ要素を設計しました。
3. MedEval-CT の提案:
   CT 画像解析のための最初の包括的な評価フレームワークです。
   • MedEval-CT-Dataset: 170,280 の 3D ボリュームと 327,063 の 2D スライスからなる、170 万件以上の VQA サンプルを含む最大規模のデータセット。
   • MedEval-CT-Bench: 7 つの臨床タスク（自由回答、多肢選択、レポート生成など）と 13 の臓器にわたるバランスの取れたベンチマーク。
   • MedEval-CT-Factory: 入力形式の標準化から多様な評価指標（統計的、意味的、LLM ベース）までを統一的に処理する評価ツールキット。

4. 実験結果 (Results)

OmniCT は、スライス駆動およびボリューム駆動の両方のベンチマークにおいて、既存の医療 LVLM（HealthGPT, HuatuoGPT, M3D-LaMed, CT-CHAT など）や汎用 LVLM（Qwen2.5-VL, InternVL3, GPT-5 など）を大幅に上回る性能を示しました。

• 2D スライスベンチマーク: 平均スコア 81.45（7B パラメータ版）を達成し、2 位（Lingshu）を 11 ポイント以上上回りました。
• 3D ボリュームベンチマーク: 平均スコア 66.15 を達成し、既存の 3D 専門モデルや汎用モデルを大きく凌駕しました。
• アブレーション研究: SCE と OSE の両方を組み合わせた場合、単独で使用するよりも性能が向上し、特に 3D タスクでの効果が顕著であることを確認しました。
• 臓器別・タスク別性能: 膵臓や食道など解剖学的に困難な小臓器においても、他のモデルが性能低下する中、OmniCT は高い精度を維持しました。また、低レベルの認識から高レベルの臨床推論まで、すべてのタスクレベルで安定した性能を発揮しました。

5. 意義と展望 (Significance)

OmniCT は、医療 AI における「スライス」と「ボリューム」の二項対立を解消し、臨床現場で必要とされる微細な病変検出と大域的な空間推論の両方を満たす新しいパラダイムを確立しました。

• 臨床的実用性: 臓器レベルの意味理解を強化することで、より解釈性が高く、臨床推論に直結する AI 支援を実現します。
• 評価基準の確立: 提案された MedEval-CT は、今後の医療用 LVLM の開発において、公平性、比較可能性、スケーラビリティを担保する標準的な評価基盤となります。
• 将来への道筋: この研究は、医療画像の理解において 2D と 3D を統合的に扱うことの重要性を証明し、より複雑な臨床シナリオへの AI 導入を加速させる基盤となります。

本プロジェクトはオープンソース化されており、GitHub で公開されています。