Reliability- and Anatomy-Consistency-Aware Multimodal Learning for Robust Fracture Classification from Bangladeshi Radiographs

技術要約：堅牢な骨折分類のための信頼性および解剖学的整合性を考慮したマルチモーダル学習

問題提起
筋骨格系の放射線画像における自動骨折分類は、多くの場合、画像データのみに依存しており、患者の年齢、性別、解剖学的部位といった、日常的な臨床メタデータとして利用可能な貴重な文脈情報を無視している。マルチモーダル学習は、これらの情報源を融合させることで識別能と較正（キャリブレーション）を向上させることが期待されるが、同時に重大な安全上の脆弱性をもたらす。すなわち、モデルが「文脈的ショートカット」を学習してしまったり、メタデータが欠落、破損、または不一致（例：目に見える解剖学的構造と矛盾する骨種フィールド）が生じた際に脆弱になったりするリスクである。既存のアプローチであるモダリティ・ドロップアウトは、入力の欠落には対処できるが、構文的には完全であっても意味的に誤ったメタデータを検出することはできない。本研究は、メタデータの不一致（ミスマッチ）のリスクを軽減しつつ、構造化された文脈を活用できる、堅牢なマルチモーダル骨折分類器の必要性に対処するものである。特に、バングラデシュの放射線画像データという文脈においてこれを行う。

手法
本研究では、4つのバングラデシュの病院から収集された1,493件の整形外科用放射線画像と、それに関連付けられた構造化メタデータ（年齢、性別、骨種、左右性）からなるOrthoFrac-XRデータセットを利用した。データ漏洩（リーク）を防ぐため、放射線画像の読影結果から直接導出される特徴量（例：骨折の隙間、主要な所見）は除外した。

提案フレームワークは、以下の主要なコンポーネントで構成される：

1. エンコーダー: 画像エンコーダーとしてImageNetで事前学習されたConvNeXt-Tinyを使用し、構造化された臨床メタデータは2層の多層パーセプトロン（MLP）で処理する。両者は共通の256次元空間へと投影される。
2. 信頼性ゲート付き残差融合（Reliability-Gated Residual Fusion）: 画像とメタデータを等価な入力として扱うのではなく、モデルは画像による予測をプライマリーなベースラインとして使用する。残差ネットワークは、入力の可用性（$a$）を考慮した信頼性ゲート（$r$）によって調整され、メタデータに基づくクラス固有の補正を学習する。これにより、メタデータが存在しない場合にはモデルが画像ブランチをデフォルトで使用することを保証する。
3. 階層的定式化: 4つのターゲットクラスが臨床状態（非骨折、骨折後）と骨折部位（遠位、近位）を混在させていることを認識し、著者らは階層的なアプローチを導入した。モデルはまず状態（急性骨折かその他か）を予測し、急性骨折の場合にのみ、その部位を予測する。これらを合成することで、元の4クラスの分布を再構成する。
4. 解剖学的整合性ゲート（Anatomy-Consistency Gate）: メタデータの不一致に対処するため、補助的な画像側のヘッドが骨種を予測する。報告された骨種に対して割り当てられた確率は、整合性スコア（$c$）を生成する。画像側からの予測が報告されたメタデータと矛盾する場合、このスコアがメタデータの補正を減衰させ、矛盾する文脈信号を効果的に抑制する。
5. 学習目的関数: モデルはラベルスムージングを用いたクラス重み付きクロスエントロピーを用いて訓練された。メタデータのラベルをシャッフルしてもモデルが単に暗記してしまうのを防ぐため、カウンターファクチュアル（反事実的）ランキング損失と、破損したメタデータを用いたセーフ・フォールバック目的関数（画像のみの予測へのKLダイバージェンスを使用）を採用した。

主な貢献

1. リークを考慮したベンチマーク: 1,493件のバングラデシュの放射線画像を用い、画像取得後の変数（post-imaging variables）を厳格に除外した上で、5分割交差検証、3つのランダムシード、確率較正、およびサブグループ分析を含む厳格な評価プロトコルを確立した。
2. 信頼性ゲート付きアーキテクチャ: メタデータがプライマリーな画像ベースの予測に対して学習されたクラス固有の補正を提供する、残差融合メカニズムを提案した。これにより、メタデータが利用できない場合でも堅牢性が維持される。
3. 階層的タスク分解: 骨折の状態と急性骨折の部位を分離することで、不均質なターゲットクラスに対して、より意味的に一貫したモデリングを可能にした。
4. 解剖学的整合性メカニズム: クリーンな精度と堅牢性のトレードオフを定量化する、クロスモーダルな意味チェックを導入した。これにより、画像由来の解剖学的構造に基づいてメタデータの補正をゲート制御することが、不一致条件下での性能低下を抑制することを示した。

結果

• マルチモーダルによる利得: 15回の実行（5分割 × 3シード）において、階層的残差融合（Hierarchical Residual Fusion）モデルは、画像のみのConvNeXtベースライン（0.5727 ± 0.0270）を大幅に上回る0.6046 ± 0.0279のmacro-F1を達成し、Brierスコアを0.5239から0.4948へと改善させた。
• 不一致に対する堅牢性: メタデータを患者間でシャッフルした堅牢性実験において、標準的な残差融合モデルは0.0567のmacro-F1の低下を招いた。一方、解剖学的整合性融合（Anatomy-Consistency Fusion）バリアントはこの低下を0.0203に抑え、矛盾するメタデータを抑制する能力を実証した。
• クリーンデータ vs 堅牢性のトレードオフ: 解剖学的整合性メカニズムは、単純な結合（ターゲット実験において最高のクリーンmacro-F1 0.6031を達成）と比較して、クリーンなデータに対する性能を向上させることはなかった。しかし、推論時に骨種のメタデータが削除された場合、解剖学的整合性モデル（0.5899）は標準的な残差モデル（0.5620）を大幅に上回り、補助的な解剖学的監督が画像表現自体を改善したことを示した。
• 較正（キャリブレーション）: 残差融合バリアントは画像のみのモデルと比較して期待較正誤差（ECE）を改善したが、後半融合（late fusion）は識別能を向上させた一方で、較正を悪化させた。

意義および主張
著者らは、本研究を無条件の精度向上ではなく、堅牢性重視のマルチモーダル学習への一歩として位置づけている。主な意義は、構造化された文脈（年齢、解剖学）が、リークを厳格に監査すれば骨折分類を向上させ得る一方で、メタデータが誤っている場合にはリスクを伴うことを示した点にある。

本研究は以下の結論を得ている：

1. 構造化された文脈は価値がある: リークのないメタデータは、画像のみのベースラインよりも分類を向上させる補完的な事前知識を提供する。
2. 整合性ゲートは安全装置である: 解剖学的整合性ゲートは、記録ミスが発生しやすい臨床現場において、より安全な失敗モードを提供するための効果的な手段となる。
3. トレードオフは明示されるべきである: クリーンなデータの精度と堅牢性の間には測定可能なトレードオフが存在し、「最適な」モデルはメタデータの信頼性に依存する。
4. 限界: 著者らは、患者レベルの識別子の欠如および外部検証の欠如により、本モデルを検証済みの国家診断ツールとみなすことはできないと明記している。臨床導入の前には、外部および前向きな検証が必要であると呼びかけている。