Reliability-Oriented Multilingual Orthopedic Diagnosis: A Domain-Adaptive Modeling and a Conceptual Validation Framework

技術的サマリー：信頼性指向の多言語整形外科診断

問題定義
多言語臨床意思決定支援は、電子カルテや AI ツールが主に英語中心である一方、臨床相互作用がヒンディー語やパンジャーブ語などの地域言語で行われる、言語的多様性と低リソースを特徴とする医療環境において、重大な課題に直面している。この言語のミスマッチは、誤解のリスクと一貫性のない医療提供を増大させる。整形外科診断は、症状の重複、用語の不均質性、そしてオープンエンドな生成ではなく信頼性のある構造化分類の必要性が極めて高いことから、この問題に対する高リスクなテストベッドとして機能する。既存のアプローチは、しばしば汎用多言語エンコーダやゼロショット大規模言語モデル（LLM）に依存しているが、著者らはこれらが十分なドメイン特化性を欠き、言語条件付きの不安定性を示し、安全性が重要な文脈において較正のギャップに悩まされていると主張している。

手法
本研究は、英語、ヒンディー語、パンジャーブ語における整形外科診断において、ゼロショット LLM に対して 3 つのモデリングレジームを比較するシステムレベルの分析を提案する。

1. データセット構築: 著者らは、バハワルプル・ビクトリア病院およびインドのパートナーから、約 13 万 5 千件の臨床記録を含む大規模な多言語整形外科コーパスを編纂した。データは、重複排除、ノイズフィルタリング、および認定整形外科医によるラベルの整合化を含む厳格な精製プロセスを経た。2 つの評価設定が確立された。

   • 制御済み（バランス型）: 言語と 6 つの診断カテゴリ（脊椎、筋骨格、骨、股関節、その他、不明）に均等に分配された 1 万 8 千件の記録。
   • 自然（実世界）: 元のクラス偏りと有病率を保持した約 13 万 5 千件の記録で、展開条件をシミュレートする。

2. モデリングレジーム:

   • タスク専用ファインチューニング: 汎用多言語エンコーダ（XLM-RoBERTa、IndicBERT、mDeBERTa）と、整形外科タスクでエンドツーエンドにファインチューニングされた軽量な英語中心のベースライン（DistilBERT）の評価。
   • ドメイン適応アーキテクチャ（IndicBERT-HPA）: 言語固有の整形外科アダプターヘッドを統合する、IndicBERT の提案された拡張。このアーキテクチャは、ボトルネック投影を使用して一般的な言語表現を臨床的に識別可能な整形外科部分空間にマッピングしつつ、言語間転移能力を保持する。
   • ゼロショット LLM: ファインチューニングなしで構造化診断の信頼性に対する生成流暢さを評価するため、ゼロショット設定におけるインストラクションチューニング済み LLM（DeepSeek Open、Mistral-7B Instruct、Zephyr-7B）の評価。

3. 評価プロトコル: 性能は、適合率、再現率、F1 スコア、精度、ROC-AUC、および AUPRC を用いて測定された。重要なのは、信頼性の評価に期待較正誤差（ECE）を組み込んだことである。

4. 概念的検証フレームワーク: 経験的失敗モードに基づき、著者らは決定論的エージェントベースの検証レイヤーを提案する。このフレームワークは、診断生成と意思決定承認を分離し、証拠確認エージェント、言語一貫性チェック、および低信頼度または矛盾する予測を延期するための保守的な人間ループゲートを採用する。

主要な貢献

1. 編纂された多言語データセット: 英語、ヒンディー語、パンジャーブ語にまたがり、バランス型および自然分布分析の両方をサポートする、医師によって検証された大規模な整形外科データセットの作成。
2. IndicBERT-HPA アーキテクチャ: 言語固有のアダプターを介してドメイン構造を明示的にモデル化するドメイン適応モデルの導入。これは、低リソース臨床環境において、アーキテクチャの専門化が規模に勝ることを実証した。
3. 信頼性指向の評価: 集計精度を超えて、クラスごとの性能、較正行動（ECE）、および言語間不安定性を分析する包括的なプロトコル。高い識別能力が安全な展開を保証しないことを浮き彫りにした。
4. 概念的検証フレームワーク: 証拠の一貫性と保守的ゲートを強制する決定論的エージェントベースシステムの理論的デザイン。安全性が重要なシステムにおいて、予測と承認の分離を中核要件として位置づけた。

結果

• ゼロショット LLM: 強力な言語流暢さにもかかわらず、ゼロショット LLM は不安定な較正、弱いラベルの接地、および顕著な言語間変動を示した。その性能は、特に低リソース言語（パンジャーブ語）および構造化分類タスクにおいて、教師ありエンコーダよりも一貫して低かった。
• タスク専用対ドメイン適応: タスクファインチューニングモデル（DistilBERT など）は強力な集計スコアを達成したが、言語間で脆い較正と不均一な性能を示した。IndicBERT-HPA は、実世界環境で最も強力な全体的な識別力（マクロ F1 約 0.88–0.89）と最も一貫した言語間行動を達成した。ベースラインと比較して、優れたランキング品質（AUROC/AUPRC）とより予測可能な信頼度シグナルを示した。
• 較正と堅牢性: 高い AUROC を持つモデルでも、過信（高い ECE）に陥る可能性があることが本研究で判明した。IndicBERT-HPA は中程度の較正誤差を示したが、安定した分離性を維持した。著者らは、較正誤差は事後に修正可能であるが、劣った識別力は修正不可能であるため、生精度よりも安定した分離性が安全性にとってより重要であると主張する。
• 実世界のパフォーマンス: 自然なクラス不均衡下では、教師ありエンコーダはゼロショット LLM を大幅に上回った。しかし、すべてのモデルは分布シフトに対して感度を示し、明示的な検証レイヤーの必要性を強化した。

意義と主張
本論文は、信頼性のある多言語臨床意思決定支援は、モデルの規模や生成流暢さのみに依存することはできないと主張する。代わりに、以下の要素を統合するシステムレベルのアプローチが必要である。

1. ドメイン適応専門化: 構造化タスクにおいて、医学分類体系と言語制約との明示的なアーキテクチャ整合は、汎用事前学習よりも効果的である。
2. 信頼性認識評価: メトリクスには、集計精度だけでなく、較正とクラスごとの安定性を含める必要がある。これにより、安全性が重要な文脈における失敗モードを特定できる。
3. ガバナンスと検証: 決定論的かつルールベースの検証レイヤーを介した予測生成と意思決定承認の分離は、リスク管理、監査可能性の確保、および人間ループ監督の実現に不可欠である。

著者らは、LLM が生成タスクにおいて有望であることを認めつつも、構造化された高リスク多言語診断へのゼロショット適用は現在不十分であると結論づけている。提案された IndicBERT-HPA アーキテクチャと概念的検証フレームワークは、自律的意思決定よりも説明責任とリスク軽減を優先する、より安全で信頼性の高い臨床 AI システムへの道筋を提供する。