Can Multimodal Large Language Models Replace Expert Assessment in Preclinical Endodontic Education? A Cross-Sectional Agreement Study

技術要約：歯科臨床前評価におけるマルチモーダル大規模言語モデル

問題提起
歯科教育への人工知能（AI）の統合は、自動フィードバックとスケーラブルな評価の可能性を提示している。しかし、マルチモーダル大規模言語モデル（MLLM）が、高リスクかつ安全性が極めて重要な臨床前評価において、専門家による人間の判断を確実に代替できるかどうかを検証するという点において、決定的な空白が存在する。具体的には、現在のMLLMが、誤りが患者への危害につながる可能性がある根管治療のアクセスキャビティ（髄腔形成）に求められる、微細な運動技能や安全性判断を正確に評価できるかどうかが不明である。本研究は、「専門家である歯内療法医による評価とAIモデルによる評価の間に有意な差はない」という帰無仮説を検証するものである。

方法論

• 研究デザイン： 2025年から2026学年度にかけて、イスタンブール・アイドゥン大学で実施された、単一施設による横断的な一致度比較研究。
• 対象者および検体： 第3学年の歯科学生25名が、標準化された3Dプリント歯を用いてアクセスキャビティ形成を行った。これにより、8つの歯種グループ（上顎および下顎の中切歯、犬歯、小臼歯、大臼歯）にわたる200個の検体が得られた。
• データ取得： 各検体は、標準化された4枚の画像データセット（咬合面、頬側、舌側/口蓋側の写真、およびデンタルエックス線写真）を用いて評価された。
• 評価グループ：
  • エキスパート・グループ： 経験豊富な3名の歯内療法医が、ブラインド化された5項目の分析ルーブリック（0〜10点尺度）を用いて、すべての検体を独立して採点した。基準は以下の通りである：（1）アウトライン形成、（2）位置と中心、（3）範囲と保存性、（4）直線的なアクセス、（5）医原性損傷と安全性。重大なエラー（例：穿孔）が検出された場合、スコアを5/10に制限するペナルティルールを適用した。
  • AIグループ： 最先端のMLLMの4つの構成をテストした：ChatGPT-5.2（標準モードおよび推論モード）およびGemini 3（標準モードおよび推論モード）。モデルには、専門の歯内療法医として振る舞い、4枚の画像を処理し、構造化されたJSON形式のスコアを出力するようにプロンプトが与えられた。
• 統計解析： 検者間信頼性は、級内相関係数（ICC）を用いて評価した。グループ間の差は、一元配置分散分析（one-way ANOVA）およびテューキーの事後検定を用いて分析した。効果量はエータ二乗（$\eta^2$）を用いて算出した。

主な結果

• エキスパートの信頼性： エキスパートの評価者は、すべての測定において優れた検者間信頼性を示した（ICC範囲：0.916–0.981）。これにより、堅牢なゴールドスタンダードが確立された。
• AIとエキスパートの乖離： 帰無仮説は棄却された。ほとんどの測定および歯種において、エキスパートの評価とAIの評価との間に有意な差（$p<0.001$）が認められた。
  • 系統的な過大評価： すべてのAI構成において、エキスパートよりも一貫して高いスコアが付与された。
  • 安全性基準の失敗： 最も重大な失敗は、「医原性損傷と安全性」の基準におけるものであった。エキスパートは高い信頼性（ICC: 0.924）と臨床判断を反映した変動性を示したが、AIモデルは最大値付近（≈1.87–2.00）に集中し、標準偏差はほぼゼロであった。この基準におけるAIのICCは0.165から0.572の範囲であり、一致度は低い、あるいは中程度であった。
  • モデルのパフォーマンス： Gemini 3およびGemini 3/Rは、エキスパートの平均値から最も大きく乖離した（一部のグループではエキスパートの平均を4.5ポイント上回った）。ChatGPT-5.2およびChatGPT-5.2/Rは、エキスパートのスコアに近い値を示したが、依然としてエキスパートレベルの精度には達していなかった。
  • 推論モード： 「推論モード」（思考の連鎖）は、「標準モード」を必ずしも上回ることはなく、計算量の増加が必ずしも臨床的スコアリングの向上につながらないことが示唆された。
  • 歯種による変動： 上顎小臼歯グループのみ、特定の次元的測定（アウトライン形成、範囲、直線的アクセス）において、AIのパフォーマンスがエキスパートとの一致に近づいた。逆に、複雑な形態を持つ下顎犬歯および下顎小臼歯では、スコアの乖離が最大となった。
• 内部一貫性： AIモデルは、繰り返しの実行に対して合理的な内部一貫性を示したが（例：Gemini 3/Rは高い一貫性を示した）、この一貫性は正確性と相関していなかった。モデルは内部的には一貫していても、系統的にエキスパートの判断から乖離することがある。

主要な貢献

• 限界の経験的検証： 本研究は、現在のMLLMが、特に安全性に関わる判断において、臨床前歯内療法におけるエキスパートの評価を単独で代替する場合には適していないという経験的な証拠を提供した。
• 安全性に直結する失敗の特定： AIモデルが、実際の医原性損傷の有無にかかわらず、高い安全性スコアをデフォルトとして出力してしまうという、具体的かつ危険な限界を浮き彫りにした。
• 一貫性と正確性の区別： AIモデル内の高い内部一貫性は、正確性や人間による専門知識との一致を意味するものではないことを示し、一貫性の指標を妥当性の代用として用いることに対し警鐘を鳴らした。
• モードの比較： 「推論モード」や思考の連鎖プロセスが、視覚的に根ざした臨床タスクにおいて本質的にパフォーマンスを向上させるという仮定に疑問を投げかけた。

意義および主張
本論文は、AIモデルは（単純な歯種におけるアウトライン形成などの）客観的かつ次元的なパラメータの評価には有望であるものの、現在のところ、高リスクな能力評価、特に患者の安全性に関する評価に必要な信頼性を欠いていると結論付けている。著者らは、「医原性損傷と安全性」を正確に評価できないことが、これらのツールを臨床前教育におけるエキスパートの判断に代わるものとするには不適切である理由であると主張している。

著者らは、最も実用的な経路としてハイブリッド型の人間・AIフレームワークを提案している。このモデルでは、AIは低リスクで定量化可能な指標に関する即時的かつ予備的なフィードバックを提供することで教育をサポートできるが、安全性に関わる判断や複雑な臨床的推論については、引き続き専門家による人間による評価が不可欠である。本研究は、AIツールが臨床能力評価に採用される前に、厳格な、基準レベルでの検証（特に安全性指標に関する検証）が義務であることを強調している。