Comparative Performance of Frontier Large Language Models for Extracting High-Risk Pathologic Features from Unstructured Gastrointestinal Oncology Reports: A Systematic Benchmarking Study with Human and Traditional NLP Baselines
この系統的なベンチマーク研究は、最先端の大型マルチモーダルモデル、特にGemini 1.5 ProおよびGPT-4oが、非構造化された消化器病理報告書から重要な神経周囲浸潤の状態を抽出することにおいて、時間的制約のある人間の専門家および従来のNLPベースラインの両方を大幅に上回ることを実証しており、また、新たな失敗モードの分類法が、特定の誤りシグネチャに基づいたモデル選択のための実行可能な指針を提供している。