Domain Fine-Tuning vs. Retrieval-Augmented Generation for Medical Multiple-Choice Question Answering: A Controlled Comparison at the 4B-Parameter Scale

以下は、論文「Domain Fine-Tuning vs. Retrieval-Augmented Generation for Medical Multiple-Choice Question Answering: A Controlled Comparison at the 4B-Parameter Scale.（医療用多肢選択式質問応答におけるドメイン微調整対検索拡張生成：40 億パラメータ規模における統制比較）」の詳細な技術的サマリーです。

1. 問題定義

医療アプリケーション向けに小規模でローカル実行可能な大規模言語モデル（LLM）を展開する実務家は、重要な設計判断に直面します。すなわち、リソースをドメイン微調整（モデル重みへの知識の符号化）に投資すべきか、それとも検索拡張生成（RAG）（推論時の知識注入）に投資すべきかという選択です。

両アプローチは個別に性能向上をもたらすことが知られていますが、同一条件下で直接比較されることは稀です。既存の研究は、基盤アーキテクチャ、評価データセット、検索パイプラインが異なることが多く、固定されたパラメータ予算に対してどの介入が最大の精度向上をもたらすかを判断することを困難にしています。本論文は、以下の特定の問いに答えます：小規模（40 億パラメータ）において、医療用多肢選択式質問応答の精度向上において、微調整と RAG のどちらの戦略が優れているか？

2. 手法

著者は、関心変数を分離するために厳密に統制された2×2 実験デザインを実施しました。

• 実験因子:
  1. モデルタイプ: 汎用（Gemma 3 4B）対 ドメイン適応型（MedGemma 4B）。
  2. コンテキスト戦略: RAG なし（質問のみ）対 RAG（質問＋検索されたパッセージ）。
• 統制変数:
  • モデルサイズ: 両モデルとも 40 億パラメータ。
  • 量子化: 両モデルともOllamaを介した 4 ビット量子化 GGUF ビルドとして提供。
  • 温度: 決定論的サンプリングのため 0.1 に固定。
  • プロンプト: 同一の医療専門家ペルソナと機械可読の回答契約（{"answer":"A|B|C|D"}）。
  • 評価セット: 完全なMedQA-USMLE 4 択テスト分割（1,273 問）。
  • 反復: 各設定につき各質問を 3 回クエリ（合計：15,276 回の LLM 呼び出し）。
• 検索パイプライン:
  • コーパス: MedMCQA 学習分割の解説フィールド（MedMCQA と MedQA は重複しないため、データリークを防止）。
  • 埋め込み: nomic-embed-text。
  • ランキング: ハイブリッドスコアリング（60% 密接コサイン類似度 + 40% 語彙的）とコサイン距離カットオフ 0.3。
  • コンテキスト: プロンプトに挿入される上位 3 つのチャンク。
• 統計分析:
  • 集約: 3 回の反復における多数決。
  • 有意性検定: 同一の 1,273 項目における設定間の精度を比較するためのマクネマーの正確な対検定。

3. 主要な貢献

1. 統制された直接比較: 基盤、プロンプト、評価セットを一定に保ちながら、40 億パラメータ規模で微調整と RAG の両方を切り替えた初の研究。
2. 統計的証拠: マクネマー検定による厳密な統計的証明を提供し、この規模ではドメイン微調整が有意な向上をもたらす一方、競争力のある RAG パイプラインはそうではないことを示した。
3. 再現可能なパイプライン: 複製を支援する 15,276 件の生 JSONL トレースを含む、完全なオープンソースかつ決定論的なパイプライン（Ollama + ChromaDB）を公開。

4. 結果

本研究は 4 つの設定を評価しました。

1. Gemma 3 4B（汎用）+ RAG なし: 精度 46.4%。
2. Gemma 3 4B（汎用）+ RAG: 精度 47.3%。
3. MedGemma 4B（ドメイン）+ RAG: 精度 51.4%。
4. MedGemma 4B（ドメイン）+ RAG なし: 精度 53.3%（最高性能）。

主要な発見:

• 微調整の影響: 汎用 Gemma 3 基盤からドメイン適応型 MedGemma 基盤へ切り替えた結果、精度が**+6.8 パーセントポイント（pp）**向上しました（53.3% 対 46.4%）。この差は統計的に非常に有意です（p < 10⁻⁴）。
• RAG の影響: RAG を追加しても、どちらのモデルにおいても統計的に有意な改善は生じませんでした。
  • 汎用モデルの場合、向上はわずかで（+0.9 pp, p = 0.56）。
  • ドメイン微調整モデルの場合、点推定値は実際にはわずかに負でした（-1.9 pp, p = 0.16）。これは、モデルがすでに関連知識を保有している場合、RAG がノイズや干渉をもたらす可能性を示唆しています。
• 一貫性: 全ての設定で反復間の一貫性が高く（合意率≥0.99）、結果がデコードノイズに対して頑健であることを示しています。

5. 意義と考察

• 重み対コンテキスト: 40 億パラメータ規模では、重みに符号化されたドメイン知識が、コンテキストで供給されるドメイン知識を凌駕します。 小規模でローカル展開されるモデルにとって、精度向上のためのより信頼性の高いレバーは、検索パイプラインの構築よりも微調整です。
• RAG が機能しなかった理由: 著者は、この特定の文脈における RAG の有効性欠如について 4 つの潜在的な理由を提案しています。
  1. 推論対検索: USMLE 問題は複雑な推論と所見の統合を必要とし、検索されたテキストスニペットでは容易にショートカットできません。
  2. コーパスの質: 検索コーパス（MedMCQA の解説）は広範ですが権威あるものではなく、モデルの事前知識を希薄化させる可能性があります。
  3. 容量の限界: 40 億パラメータモデルは、複雑な問題を解決しながら検索されたチャンクを効果的にグラウンディングし統合するためのコンテキストウィンドウ容量や推論能力を欠いている可能性があります。
  4. 知識の冗長性: MedGemma はおそらく検索コーパスに含まれる教科書的な知識をすでに吸収しており、RAG が追加する付加価値はほとんどなく、むしろ干渉を引き起こす可能性があります。
• 実用的示唆: 限られたエンジニアリング予算で小規模な医療 LLM を展開する実務家にとって、RAG よりもドメイン微調整を優先することが推奨される戦略です。RAG は有害ではありませんが、この規模では重み内知識の代わりにはなりません。

6. 限界

• 単一ベンチマーク: 結果は MedQA-USMLE に固有です。RAG はオープンブックまたは逐語的検索タスクではより良い性能を発揮する可能性があります。
• 単一規模: 知見は 40 億パラメータモデルに適用され、RAG の向上がより顕著であることが多いより大規模な最先端モデル（例：700 億パラメータ以上）には外挿できない可能性があります。
• 量子化: 両モデルとも 4 ビット量子化されており、これはわずかな精度のシフトをもたらす可能性がありますが、対比較により相対的な効果を分離しています。