AnatomiX, an Anatomy-Aware Grounded Multimodal Large Language Model for Chest X-Ray Interpretation

この論文は、既存の手法が抱える解剖学的対応の欠如を解決し、胸部 X 線画像の解釈において解剖学的推論を強化するために、2 段階のアプローチを採用したマルチタスク型マルチモーダル大規模言語モデル「AnatomiX」を提案し、複数のベンチマークで既存手法を 25% 以上上回る性能を示したことを報告しています。

要約

この論文は、**「AnatomiX（アナトミックス）」**という、新しい人工知能（AI）の紹介です。

一言で言うと、**「胸のレントゲン写真を、まるで名医の放射線科医のように、体の『場所』を正しく理解しながら読める AI」**です。

これまでの AI は、写真を見て「ここに病気がありそう」と言えても、「左肺」なのか「右肺」なのかを間違えたり、画像を裏返すとパニックになったりしていました。しかし、AnatomiX はその弱点を克服しました。

以下に、難しい専門用語を使わず、身近な例え話で解説します。

---

1. 従来の AI の問題点：「地図が読めない観光客」

これまでの医療用 AI は、まるで**「外国の観光客」**のようでした。

• 得意なこと： 写真を見て「あ、ここに赤いシミがあるね（病気）！」と指摘するのは得意です。
• 苦手なこと： 「そのシミは『左側の肺』にあるのか『右側の肺』にあるのか？」という場所の理解が苦手でした。

【例え話】
もし、その観光客が「左側の道」と「右側の道」を間違えて、鏡に映った自分を見て「あ、私が左を向いている！」と勘違いしたらどうなるでしょうか？
実際の AI も、画像を左右反転させたり、左右の区別が難しい状況になると、「左は右、右は左」と完全に混乱して、間違った診断を下してしまうことがありました。これは、AI が「形」や「位置の癖」を暗記しているだけで、「体の構造（解剖学）」そのものを理解していないからです。

2. AnatomiX のすごいところ：「地図を先に確認するプロのガイド」

AnatomiX は、この問題を解決するために、**「2 段階の作業」という新しい方法を考え出しました。これは、経験豊富な「プロのガイド」**が観光地を案内する手順に似ています。

ステップ 1：まず「地図（体の構造）」を確認する

普通の AI は、いきなり「病気を探せ！」と指示されると、全体をざっと見て推測します。
でも、AnatomiX はまず、**「体の地図」**を描きます。

• 「ここは心臓、ここは左の肺、ここは右の肺、ここは鎖骨……」と、36 種類の体のパーツを一つずつ正確に見つけ出し、枠で囲みます。
• これを「解剖学感知モジュール（APM）」と呼びますが、要は**「体のパーツを一つずつ、名前を呼んで確認する作業」**です。

ステップ 2：地図を見ながら「病気を診断」する

パーツの場所がハッキリしたら、次に「病気を探す」作業に入ります。

• 「あ、左の肺の枠の中に、白いシミがあるな。これは『左肺の肺炎』だ！」
• 「右の肺には問題がないな。」

このように、**「まず場所を特定し、その上で病気を判断する」**という手順を踏むことで、画像を裏返しても「あ、これは右側の肺だ」と正しく判断できるようになりました。

3. 具体的な成果：「鏡像（ミラー画像）でも正解！」

論文の実験では、面白いテストが行われました。

• テスト： レントゲン写真を左右反転（鏡像）にして、AI に「左の肺の病気はどこ？」と聞きました。
• 従来の AI（RadVLM など）： 「左と右が逆になったから、右側の肺を指して『ここだ！』と間違った答えを出しました。（正解率 0% に近い）
• AnatomiX： 「あ、この写真は反転しているけど、このパーツは『左の肺』の形をしているから、ここが左肺だ」と理解し、正しい場所を指し示しました。

これは、AnatomiX が単に「写真の模様」を覚えているのではなく、「体の仕組みそのもの」を理解していることを証明しています。

4. なぜこれが重要なのか？

医療現場では、「左」か「右」かが命に関わります。

• 「左肺の肺炎」と言われたのに、医者が「右肺」を治療してしまったら大変なことになります。
• 従来の AI は、この「左右の区別」でよく失敗していました。

AnatomiX は、**「体の構造（解剖学）を第一に考える」**という、人間のプロの放射線科医の思考プロセスを AI に組み込んだため、このミスを劇的に減らすことができました。

まとめ

• 従来の AI： 写真の模様を見て「多分ここだ！」と推測する**「勘のいい観光客」**。
• AnatomiX： まず「左肺、右肺、心臓…」とパーツを一つずつ確認し、その上で病気を診断する**「解剖学を熟知したプロのガイド」**。

この AI は、単に「病気を発見する」だけでなく、**「どこにある病気を発見したか」**を正確に説明できるため、医師のサポートや、患者さんへの説明にも非常に役立つことが期待されています。

まるで、AI が「体の地図」を頭に入れて、初めて「病気の場所」を正確に教えてくれるようになったような、画期的な進歩なのです。

技術概要

AnatomiX: 胸部 X 線画像解釈のための解剖学的に根拠のあるマルチモーダル大規模言語モデル

本論文は、胸部 X 線（CXR）画像の解釈において、既存のマルチモーダル大規模言語モデル（MLLM）が抱える「空間推論」と「解剖学的理解」の欠如を解決するための新しいモデル**「AnatomiX」**を提案しています。放射線科医の診断ワークフローに着想を得た、解剖学的に根拠のある（Anatomy-Aware Grounded）アプローチを採用し、画像の左右反転などに対する頑健性を大幅に向上させています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 問題定義 (Problem)

既存の医療用 MLLM（ViviMed, RadVLM, MAIRA-2 など）は、胸部 X 線のレポート生成や視覚的質問応答（VQA）において一定の成果を上げていますが、以下の重大な課題を抱えています。

• 解剖学的理解の欠如: 既存モデルは、画像のテキスト概念と物体を対応付ける「グラウンディング（Grounding）」技術を用いていますが、これは単なる空間的な相関関係の学習に留まっています。
• 空間推論の脆弱性: 画像が左右反転（Left ↔ Right）された場合や、解剖学的な位置関係が逆転した場合、モデルは左右の区別を誤り、病変の位置や解剖学的構造を正しく特定できなくなります（例：左肺の病変を右肺と認識する）。
• 放射線科医のワークフローとの乖離: 放射線科医は、まず特定の解剖学的構造（臓器）を特定・局所化し、その特徴を評価した上で診断を下す「段階的・反復的」なプロセスを踏みますが、既存の MLLM はこれを「単一ステップ」で暗黙的に行おうとしており、失敗しやすいです。

2. 手法 (Methodology)

AnatomiX は、放射線科医の診断プロセスを模倣した2 段階のアプローチを採用しています。

A. アーキテクチャの概要

モデルは主に 2 つのコンポーネントで構成されます。

1. 解剖学知覚モジュール (Anatomy Perception Module: APM)
2. 大規模言語モデル (Large Language Model: LLM)

B. 解剖学知覚モジュール (APM)

入力された CXR 画像から、36 種類の胸郭解剖学的構造（臓器）を特定し、その特徴を抽出するモジュールです。

• 画像エンコーダとデコーダ: 画像をパッチ埋め込みとしてエンコードし、DETR 型のデコーダを用いて、36 個の学習可能な「オブジェクトトークン」から各解剖学的構造の**バウンディングボックス（位置）**を予測します。
• 特徴抽出モジュール: 予測された位置に基づき、画像パッチから各解剖学的構造の詳細な**局所的特徴（Anatomy Tokens）**を抽出します。
• 対照的アライメントと自己類似性損失: 抽出された視覚特徴と、対応する解剖学的領域のテキスト記述（例：「右肺に胸水あり」）を対照的に学習します。
  • 従来の CLIP 型の損失関数は「1 枚の画像に 1 つの正解」と仮定しがちですが、胸部 X 線では複数の病変が同時に存在することが多いため、**自己類似性行列（Self-Similarity Matrix）**を用いたソフトな対照損失（KL 発散）を導入し、複数の解剖学的領域間の重なりや相関を適切に扱えるようにしています。
• 推論時の対照的検索: 学習時にはテキストエンコーダを使用しますが、推論時には事前計算されたベクトルデータベース（VDB）から、最も意味的に類似したテキスト記述を検索し、LLM に入力します。

C. 大規模言語モデル (LLM)

APM からの出力（画像埋め込み、予測されたバウンディングボックス、解剖学的特徴トークン、検索されたテキスト記述）を統合し、ユーザーの指示に基づいてタスクを実行します。

• 特殊トークンの導入: 各解剖学的構造に対応する特殊トークン（<obj_i>）と、空間グラウンディング用のトークン（<box>, <ref> など）を語彙に追加しています。
• LoRA による微調整: 下流タスク（レポート生成、VQA など）に対して、パラメータ効率の良い LoRA（Low-Rank Adaptation）を用いて微調整を行います。

3. 主要な貢献 (Key Contributions)

1. AnatomiX の提案: 胸部 X 線解釈に特化した、解剖学的に根拠のあるマルチモーダル LLM を初めて導入しました。
2. SOTA パフォーマンス: 4 つのグラウンディングタスク（フレーズグラウンディング、解剖学グラウンディング、グラウンディング診断、グラウンディングキャプション）において、既存の SOTA モデルを大幅に上回る性能を達成しました。
3. 多様なタスクでの高い性能: グラウンディングタスクだけでなく、レポート生成、VQA、画像理解タスクにおいても、SOTA または同等の性能を維持しています。
4. 頑健性の検証: 画像の左右反転や放射線マーカーの除去といった過酷な条件下でも、解剖学的な理解に基づいた正確な推論が可能であることを実証しました。

4. 実験結果 (Results)

複数のベンチマーク（MIMIC-CXR, Chest ImaGenome, VinDr-CXR など）を用いた大規模な実験が行われました。

• グラウンディングタスク:
  • 解剖学グラウンディング: 既存モデル（RadVLM など）と比較して25% 以上の性能向上（IoU/mAP）を達成。
  • フレーズグラウンディング: 最大 15% の改善。
  • 左右反転への耐性: 画像を左右反転させた場合、RadVLM は左右を完全に混同し（IoU 0.108）、AnatomiX は高い精度を維持（IoU 0.712）しました。これは、モデルが単なる空間的な相関ではなく、解剖学的構造そのものを認識していることを示しています。
• レポート生成:
  • 自然言語生成（NLG）指標と臨床的指標（RadGraph-F1 など）の両方で、より大きなパラメータを持つモデル（Radialog, MAIRA-2）と同等かそれ以上の性能を示しました。
• アブレーション研究:
  • 解剖学的トークン（ˆOA）、バウンディングボックス（ˆybox）、検索されたテキスト（ˆSt）のすべてが、タスクの性能向上に不可欠であることを確認しました。特に、解剖学的トークンは空間推論に、検索テキストは記述生成に寄与しています。

5. 意義と結論 (Significance)

AnatomiX は、医療用 MLLM 開発における重要な転換点を示しています。

• ドメイン固有の設計の重要性: 単に一般領域の MLLM を医療データで微調整するだけでは、解剖学的な誤解や空間推論の失敗（ハルシネーション）を引き起こす可能性があります。医療分野では、解剖学的構造を明示的にモデル化する「ドメイン固有のアーキテクチャ」が不可欠であることを実証しました。
• 臨床的信頼性の向上: 画像の向きやマーカーに依存せず、解剖学的な知識に基づいて判断できることは、臨床現場での AI の信頼性を高める上で極めて重要です。
• 将来の展望: このアプローチは MRI や CT などの他の医療画像モダリティへの拡張、マルチターン対話への対応、および冗長性の削減による効率化など、今後の研究の基盤となります。

要約すると、AnatomiX は「画像を見る」だけでなく、「解剖学的構造を理解して位置を特定する」という放射線科医の思考プロセスを AI に組み込むことで、胸部 X 線解釈の精度と信頼性を飛躍的に向上させた画期的なモデルです。