MammoWise: Multi-Model Local RAG Pipeline for Mammography Report Generation

本論文は、プライバシーと再現性を確保しつつ、オープンソースの視覚言語モデルと局所的な検索拡張生成（RAG）を活用して、マンモグラフィーのレポート生成および多タスク分類を可能にする拡張可能なローカルパイプライン「MammoWise」を提案し、その有効性を検証したものである。

要約

この論文は、**「MammoWise（マモワイズ）」という新しいシステムについて書かれています。これを一言で言うと、「人工知能（AI）を使って、乳がん検診のマンモグラフィー画像から、医師が書くような専門的な診断レポートを自動で作るための、プライバシーに配慮した『万能キット』」**です。

難しい専門用語を避け、日常の例えを使ってわかりやすく説明します。

1. 背景：なぜこのシステムが必要なのか？

乳がん検診（マンモグラフィー）は、非常に多くの人が受ける重要な検査です。しかし、放射線科の医師は、画像のわずかな変化を見つけて、それを「BI-RADS（ビラッド：乳がんのリスク分類）」や「乳腺の密度」といった専門用語に変換し、長いレポートを書くという、非常に時間がかかる大変な仕事をしています。

最近、AI（画像と言語を同時に理解するモデル）がこれを手伝えるようになりました。しかし、現状には 2 つの大きな問題がありました。

• 問題点 A（クラウド依存）： 多くの高性能 AI は、外部の巨大なサーバー（クラウド）に依存しています。患者さんの画像を外部に送るのはプライバシー（秘密）のリスクが高く、コストもかかります。
• 問題点 B（使いにくい）： 自分でパソコン内で動かせる AI はありますが、そのまま使うと「嘘をついたり（幻覚）」、専門的な報告書が書けなかったりします。

2. MammoWise の正体：何ができるの？

MammoWise は、**「オープンソース（誰でも使える）の AI モデル」を、病院のパソコン（ローカル環境）で安全に動かせるようにする「調理キット」**のようなものです。

• プライバシー保護： 患者さんの画像は病院のパソコンの中で完結し、外部に送信されません。
• 柔軟なアプローチ： 1 つの AI に頼りきらず、状況に合わせて 3 つの異なる「調理法（技術）」を組み合わせられます。

3. 3 つの「調理法」：AI をどう使うか？

MammoWise は、AI にレポートを書かせるために、3 つの段階的なアプローチを試しました。

① プロンプト（指示出し）：「レシピを見ながら作る」

AI に「あなたはベテランの放射線科医です。この画像を見て、レポートを書いてください」と指示を出すだけです。

• 効果： 基本的なレポートは書けますが、細かい分類（BI-RADS などの点数）は、指示の仕方によって当たり外れがあります。

② RAG（検索拡張生成）：「過去の症例集を参照しながら作る」

AI がレポートを書く前に、「類似した過去の症例（画像と診断例のセット）」をデータベースから検索し、それを見ながら書くようにします。

• 例え： 料理をする前に、同じような料理のレシピ本を開いて「あ、この場合はこう書くんだ」と参考にしている状態です。
• 効果： レポートの文章の質が上がり、より自然になります。ただし、分類の精度はケースバイケースです。

③ 微調整（ファインチューニング）：「見習い医師を教育する」

これが一番強力です。AI モデル自体を、特定のデータ（マンモグラフィーの画像と正解のレポート）を使って**「勉強（訓練）」させます**。

• 例え： 単にレシピ本を見せるだけでなく、見習い医師に「この画像はこうだ」と実際に 100 回も 1000 回も練習させて、「勘」を養うようなものです。
• 効果： 分類の精度が劇的に向上しました。特に「BI-RADS 分類」や「石灰化（カルシウム沈着）の発見」などで、専門家のレベルに近づきました。

4. 実験結果：どれが良かった？

研究者たちは、2 つの異なるデータセットと 3 つの異なる AI モデルを使って実験しました。

• レポート作成（文章）： 「指示出し」だけでも、そして「過去の症例参照（RAG）」を加えると、非常に自然で読みやすいレポートが書けました。
• 分類タスク（点数付け）： 文章を書くのは得意でも、正確に「BI-RADS 3」や「4」を当てるのは難しかったです。
• 決定的な差： しかし、**「微調整（勉強）」**を加えた AI は、分類の精度が飛躍的に向上しました。
  • 例：BI-RADS 分類の正解率が、指示出しだけでは約 30% でしたが、勉強させると**約 75%**まで上がりました。

5. 結論：この研究の意義

MammoWise は、**「AI を病院に安全に導入するための青写真」**を提供しました。

• プライバシー： 患者さんのデータは外に出ません。
• コスト： 高価なクラウドサービスを使わず、既存のハードウェアで動きます。
• 実用性： 「指示を出すだけ」でレポートの下書きができ、さらに「少し勉強させる」だけで、医師の診断を正確にサポートできるレベルになります。

まとめ：
このシステムは、AI に「ただのチャットボット」ではなく、**「プライバシーを守りながら、医師のパートナーとして活躍できる賢いアシスタント」**にするための、現実的で拡張性のある方法論を示したものです。これにより、医師の負担が減り、より多くの患者さんが質の高い診断を受けられる未来が期待されます。

技術概要

MammoWise: 乳がん検診 mammography レポート生成のためのマルチモデルローカル RAG パイプライン

本論文は、乳がんスクリーニングにおける mammography（マンモグラフィ）レポートの作成と分類タスクを支援するための、オープンソースのビジョン・ランゲージモデル（VLM）を活用したローカル実行可能なパイプライン「MammoWise」を提案するものです。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 背景と問題定義

乳がんスクリーニングにおけるマンモグラフィ検査は、高頻度で時間的制約が厳しく、文書化（レポート作成）が大量に行われる業務です。放射線科医は、画像の微妙な所見を BI-RADS 分類、乳腺密度、構造化されたナラティブレポートに変換する必要があります。

既存の VLM によるレポート生成アプローチには以下の課題がありました：

• プライバシーとコスト: 多くの高性能なモデルがクローズドでクラウドホスト型であり、患者情報の外部送信や高コスト、再現性の欠如が懸念される。
• 汎用性の低さ: オープンソースの VLM はローカルで実行可能だが、「そのまま」では乳がん専門知識が不足しており、臨床的に不自然な出力（ハルシネーション）を生成するリスクがある。
• 断片化: 既存の研究は特定のタスク（悪性度判定など）に特化したアーキテクチャや、プロプライエタリなモデルに依存しており、レポート生成と多タスク分類を統合した再利用可能なパイプラインが不足している。

2. 提案手法：MammoWise

MammoWise は、Ollama でホストされた任意のオープンソース VLM を使用できる、モジュール化されたローカルパイプラインです。主な機能と構成要素は以下の通りです。

2.1 データと前処理

• データセット: VinDr-Mammo（ベトナム、2 万画像）と DMID（インド、510 画像）の 2 つのデータセットを使用。
• 前処理: 各患者の 4 枚の画像（左右の CC 像と MLO 像）を、放射線科医が確認するレイアウト（上部に CC、下部に MLO）に統合した 1 枚のコンポジット画像に変換。
• RAG 用インデックス: 画像とレポートのペアをマルチモーダル埋め込み（OpenCLIP）に変換し、ChromaDB に格納。

2.2 採用モデル

Ollama で実行可能な 3 つのオープンソース VLM を比較評価：

1. MedGemma: Google 製、医療データ（放射線、病理、皮膚科）でファインチューニング済み（4B パラメータ）。
2. LLaVA-Med: 生体医学データでファインチューニングされた LLaVA ベース（7B パラメータ）。
3. Qwen2.5-VL: 画像からのテキスト抽出と推論に強いモデル（7B パラメータ）。

2.3 適応戦略（3 つのアプローチ）

1. プロンプトエンジニアリング: ゼロショット、フューショット、Chain-of-Thought (CoT) による指示。
2. マルチモーダル RAG (Retrieval-Augmented Generation): 入力画像と類似する画像・レポートのペアをベクターデータベースから検索し、コンテキストとしてプロンプトに追加。これにより、ケース固有の文脈を提供し、ハルシネーションを抑制。
3. パラメータ効率型ファインチューニング (PEFT): 分類タスクの安定化のため、MedGemma に対して QLoRA (Quantized Low-Rank Adaptation) を適用。クラス不均衡を解消するため、ダウンサンプリングとデータ拡張（フリップ、スケーリング等）を行い、2,200 枚のデータセットで学習。

2.4 評価指標

• 分類タスク: BI-RADS（5 段階）、乳腺密度（ACR A-D）、所見（しこり、石灰化、非対称性、疑念）の精度、F1 スコアなど。
• 生成タスク: 生成されたレポートと参照レポートの類似度（BERTScore, ROUGE-L）。

3. 主要な結果

3.1 レポート生成（テキスト生成）

• RAG の効果: VinDr-Mammo において、RAG を使用することでナラティブなレポートの類似度（BERTScore, ROUGE-L）が向上しました。特に BI-RADS 記述や所見の定式化において、プロンプトのみよりも一貫性のある出力が得られました。
• データセット依存性: DMID データセットでは、RAG が必ずしも改善をもたらさず、場合によってはノイズとなり性能が低下しました。これは、既存のレポートが短く密接に紐付いている場合、検索された例が干渉する可能性があるためです。

3.2 構造化ラベルの分類

• プロンプトのみ: 分類タスク（特に BI-RADS）の精度はモデルやプロンプトの組み合わせに大きく依存し、不安定でした（例：VinDr-Mammo で BI-RADS 精度は 0.29 程度）。
• RAG の効果: 分類タスクにおいて RAG は中程度の改善をもたらしましたが、タスクや指標によって一貫した向上は見られませんでした。
• ファインチューニング (QLoRA) の効果: 最も顕著な改善が見られました。MedGemma を QLoRA でファインチューニングした結果、以下の大幅な精度向上が達成されました：
  • BI-RADS 精度: 0.7545
  • 乳腺密度 精度: 0.8840
  • 石灰化 精度: 0.9341
  • これらの結果は、既存の SOTA モデル（MammoCLIP, LLaVA-Mammo など）と同等かそれ以上の性能を示しています。

3.3 結論的な知見

• レポート生成: プロンプト（特にフューショット）と RAG の組み合わせで、臨床的に適切なレポートドラフト作成は可能。
• 分類タスク: 信頼性の高い構造化ラベル（BI-RADS など）の出力には、軽量なファインチューニング（QLoRA）が不可欠であり、プロンプトや RAG 単独では不十分な場合が多い。

4. 主な貢献

1. MammoWise パイプラインの提案: 任意のオープンソース VLM を乳がんレポート生成および多タスク分類に活用できる、ローカル実行可能な統一フレームワーク。
2. マルチモーダル RAG ワークフロー: 画像・テキストベクターデータベースを用いた、ケース固有のコンテキスト提供手法の実装。
3. 体系的な比較評価: プロンプト、RAG、QLoRA ファインチューニングを、複数のモデルとデータセットで比較し、ナラティブ品質と臨床ラベルの両面で評価。
4. ファインチューニングの有効性の立証: パラメータ効率型ファインチューニングが、分類タスクの信頼性を劇的に向上させることを実証。

5. 意義と限界

意義:
MammoWise は、プライバシーを保護しつつ、医療機関でローカルに展開可能な実用的な AI ツールの青写真を提供します。特定のモデルに依存せず、プロンプト、RAG、ファインチューニングを組み合わせることで、リソース制約のある環境でも SOTA レベルの性能を達成できることを示しました。

限界と今後の課題:

• 計算リソースの制約により、より大規模なモデルや高度なプロンプト戦略（Tree-of-Thought など）の検討は限定的でした。
• 使用データセットが 2 つのみであり、ドメインシフトの影響や、実際のスクリーニング環境における較正（Calibration）の検証は今後の課題です。
• 単一の検査画像のみを対象としており、経時的なデータやより豊富な臨床情報との統合は今後の研究対象です。

総じて、本論文はオープンソース VLM を活用した医療 AI の実用化において、プライバシーと性能を両立させるための重要なステップを示すものです。