技術要約：オフラインファーストな量子化済みMamaBot AI

問題提起

ナイジェリアは深刻な妊産婦死亡の問題に直面しており、世界の妊産婦死亡の約28.7%を占め、死亡率は出生10万人あたり993人となっています。適切なケアを受けるためには、タイムリーで理解しやすい健康情報が不可欠ですが、不安定なインターネット接続状況によってアクセスが阻害されています。リモートのAIサービスは存在しますが、ネットワークの往復通信が不可能な低接続環境では機能しません。さらに、既存の対話型エージェントは、日常的な懸念と緊急の警告サインを区別するために必要な特定の臨床的感性に欠けていたり、モバイルデバイスの厳格な計算制約下で効果的に動作できなかったりすることがよくあります。核心となる課題は、レスポンスの品質や安全性を損なうことなく、標準的なAndroidハードウェア上で完全にオフラインで動作する、臨床的に適切で対話可能な妊産婦健康アシスタントをデプロイすることです。

方法論

システムアーキテクチャ

本研究では、以下の要素を統合したオフラインファーストのAndroidアシスタントを開発しました。

• ローカル言語モデル: 2つのコンパクトで量子化されたモデル、Gemma 4 E2B（LiteRT-LMを使用）と Qwen3.5 0.8B（Q4_K_M GGUFを使用）を比較しました。両モデルともCPU推論を利用します。
• 臨床的に検証されたナレッジパッケージ: ナイジェリアおよび国際的な保健ガイドライン（WHO、NPHCDAなど）から派生した、臨床的にレビュー済みの21,673件の質疑応答パッセージからなるローカルコーパス。
• モデル主導型リトリーバル（RAG）: システムは、有界なエージェント型リトリーバルループを採用しています。モデルはオプションとして、最終的な回答を生成する前に、ローカルのSQLite FTS5/BM25検索ツールを呼び出して根拠を検索できます。このツールは決定論的であり、最大2つのパッセージを返し、検証済みのローカルパッケージ内に限定されます。
• コンテキスト管理: システムは、多層的な対話をサポートしつつ、臨床的な緊急性と安全性の境界を維持するために、有界な会話履歴を保持します。

評価設計

本研究では、3つの異なる評価コンポーネントを用いました。

1. 臨床質問バンク: 9つのドメイン（例：妊娠の節目、警告サイン、予防接種）にわたる150の質問セット。各質問には、期待される事実、行動、および致命的なエラー条件が含まれています。これらは医師によって作成・レビューされました。
2. マルチターン会話ベンチマーク: 文脈の保持、緊急性の変化、およびオフラインのエージェント機能（例：予防接種の検索、記録の保存）をテストするために設計された45の会話（モデルごとに312ターン）。専用のアクションインターフェースを使用します。
3. ペア・リトリーバル実験: 74の照合された質問を用い、選択されたモデル（Gemma）がリトリーバル有効時（RAG-on）と無効時（RAG-off）の両方で回答を生成し、ローカルの根拠による具体的な影響を測定しました。

指標とスコアリング

• 臨床的安全境界: レスポンスは、日常的な教育から緊急の懸念に至る4つのレベル（E0–E3）に分類されました。安全性は、レスポンスが適切な緊急性を優先し、不適切な安心感を与えないかどうかに基づいて評価されました。
• ルーブリックベースの判定: 臨床医は、5つの次元（正確性、完全性、安全性、関連性、明快さ）について0–4のスケールでレスポンスを評価しました。採択には平均スコア3.2以上かつ致命的なエラーがないことが求められました。
• エージェント・ベンチマーク: ツールの挙動は、無効な呼び出しやアクションの欠落に対してペナルティを課す-5から+5のスケールでスコアリングされ、ユーザー向けの品質には0–4のスケールが使用されました。
• 実行メトリクス: 物理的なAndroidデバイス（6 GB RAM）上で、レイテンシ、メモリ使用量、スループットを測定しました。

主な貢献

1. 統合システム評価: 本研究は、単独のモデル性能ではなく、完全なオフラインシステムを評価するために、臨床医が作成した質問バンク、継続的な会話ワークロード、およびベンチマーク専用のアクションタスクを統合しています。
2. モデル比較: 追加のファインチューニングや量子化の研究を行うことなく、固有の品質とリソースのトレードオフを維持したまま、変更されていない2つのコンパクトなモデル構成（Gemma 4 E2B vs. Qwen3.5 0.8B）の直接的な比較を提供します。
3. リトリーバルの影響分析: 選択されたモデルにおいて、リトリーバルを有効にした際の効果を調査し、リトリーバルが回答を劣化させた、あるいは改善に失敗した不都合なケースを明示的に保持し、分析しています。
4. オフライン・エージェント機能: モデルがネットワーク接続なしで、正しくツールを選択し、引数を管理し、結果を解釈できるかどうかを評価する、オフライン・エージェントのベンチマークを導入しました。

結果

モデル比較

• Gemma 4 E2B は、レスポンスの品質、文脈保持、および安全性スコアにおいて優れた性能を示しました。
• Qwen3.5 0.8B は、より高速な生成時間と低いメモリ使用量を提供しましたが、臨床的安全性と文脈保持のスコアは低くなりました。
• 臨床評価: Gemmaモデルにおいて、150件中147件のレスポンスが採択基準（平均品質スコア3.80/4）を満たしました。

リトリーバル（RAG）の影響

ペア実験（74質問）において：

• 改善: リトリーバルにより11のレスポンスが改善されました。
• 中立: 56のレスポッションは実質的な変化を示しませんでした。
• 悪影響: 4つのレスポンスが、取得された根拠によって負の影響を受けました。
• 判定不能: 3つのペアはリトリーバルの影響を特定できませんでした。
• 条件付きサブセット（4つの悪影響ケースを除く）では、RAG-onの方が、有用性、安全性、正確性、および実行可能性において記述的に高い平均スコアを示しました。

パフォーマンスと実行

• システムは、6 GBのAndroid端末上で、中央値14.3秒のレイテンシでオフラインレスポンスの生成に成功しました。
• アプリケーションは、接続が回復した際にデータを同期できる再接続同期を実証しました。
• ローカルナレッジパッケージは、ネットワークへの依存なしに正常にデプロイおよびクエリされました。

意義と主張

本論文は、統合されたオフライン妊産婦健康アシスタントの臨床的レスポンス品質と実践的パフォーマンスを文書化することを目的としています。以下のことを確立しています：

• コンパクトにローカルデプロイされた言語モデルは、継続的なインターネットアクセスなしに、臨床的に適切な情報と信頼できる対話支援を提供できます。
• モデル主導の有界なリトリーバルメカニズムは、回答の質を高めることができますが、取得された根拠が一致しない場合に回答を劣化させる可能性があるため、慎重な評価が必要です。
• モデルのサイズ、実行コスト、および臨床的安全性の間のトレードオフは極めて重要です。本研究は、特定の構成（Gemma 4 E2B）が、臨床的妥当性とモバイルの実現可能性の両方の要件を満たせるという証拠を提供します。

著者らは、自らの貢献が、新しい量子化アルゴリズムや普遍的に優れたモデルアーキテクチャではなく、評価されたシステムと、それが提供するデプロイ決定のためのエビデンスであることを強調しています。本研究は、孤立したコンポーネントではなく、「完全な採用構成」（モデルアーティファクト、ランタイム、プロンプトポリシー、およびリトリーバルを含む）を評価することの必要性を浮き彫りにしています。