Validation of a two-stage automated screening pipeline for medical systematic reviews: a stratified concordance study with three independent human reviewers, using PABAK and Gwet's AC1

技術要約：医学的系統的レビューにおける二段階自動スクリーニング・パイプラインの検証

問題提起
系統的レビュー（SR）は、バイオメディカル文献の指数関数的な増加に伴い、タイトルおよび抄録のスクリーニングにおいて深刻なボトルネックに直面している。大規模言語モデル（LLM）は自動化への潜在的な経路を提供するが、この領域におけるその検証は、不適切な指標によって損なわれることが多い。Cohenのκ（カッパ）のような標準的な指標は、SRに典型的な低プレバレンス（低出現率）および不均衡なクラス分布の下では数学的に不安定である。さらに、既存の検証研究では、ハイブリッド二段階パイプライン（ルール＋LLM）、別途サンプリングされた「不確実（uncertain）」クラスを含む三値分類、層化抽出、およびプレバレンスに頑健な一致係数（PABAKおよびGwetのAC1）の使用といった、重要な設計要素の組み合わせが欠如していることが多い。また、パイプラインの設計者が人間による検証者としても機能する場合、比較の妥当性が疑問視されることも少なくない。

方法論
本研究は、医学的系統的レビュー（高血小板反応性、アスピリン抵抗性、頸動脈プラーク）の文脈において、三名の独立した人間によるレビューヤーに対して、二段階自動スクリーニング・パイプラインの合意性を検証する前向き合意研究を提示する。

• データセット: 複数のデータベース（PubMed, Sculus, Europe PMC, OpenAlex, arXiv）から取得された904件のレコード。
• パイプライン構成:
  • 第1段階（ルールベース）: PICO由来のキーワード・ヒューリスティック（ML/LLMを使用しない）を用いたPythonスクリプトを使用し、レコードをINCLUDE（採用）、EXCLUDE（除外）、またはUNCERTAIN（不確実）に分類する。
  • 第2段階（LLMによる判定）: 第1段階でUNCERTAINとラベル付けされたレコードは、固定されたプロンプトを用いてDeepSeek V4 Pro（ゼロショット、temperature = 0）により処理され、INCLUDEまたはEXCLUDEへと解決される。
• 検証設計:
  • サンプリング: 185件のレコードから層化抽出を行った：第1段階の3つの層（INCLUDE, EXCLUDE, UNCERTAIN）から各50件ずつ、および第2段階のLLM出力から35件。
  • レビューヤー: 3名の医師が、自動ラベルを知らされない状態で、独立してサンプルを判定した：
    1. E.P.（パイプライン設計者、コーパスに精通）
    2. D.C.（プロジェクト外部）
    3. P.P.B.（プロジェクト外部）
  • 指標: 一致度を測定するために、感度、特異度、PABAK、およびGwetのAC1（$q=3$）を利用した。また、SRにおけるML/GenAI評価のための編集上のガイダンスに応じ、WSS（Work Saved over Sampling）およびNNR（Number Needed to Read）も報告した。多数決ラベル（2/3）は補完的なパネルとして算出されたが、感度の主要な参照先としてのペアワイズ・テーブルに取って代わるものではない。

主な貢献
本論文は、以下の5つの特定のメソッド論的次元を同時に組み合わせた最初の研究であると主張している：

1. 医学ドメインへの適用。
2. ハイブリッド二段階パイプライン（ルール＋LLM）。
3. 別途サンプリングされた不確実クラスを含む三値分類。
4. 三名の独立した人間によるレビューヤーを用いた層化抽出。
5. プレバレンスに頑健な係数（PABAKおよびGwetのAC1）とワークロード指標の二重報告。

本研究は、外部レビューヤーを含めることで「設計者が検証者となる」という制限に明示的に対処しており、また、主要な除外決定と、採用されたレコードの二次的な詳細分類を分離して分析している。

結果

• 主要ターゲット（第1段階の自動除外）: パイプラインは、レコードを自動的に除外するという決定において、人間によるレビューヤーとほぼ完全な一致を示した。
  • 第1段階-EXCLUDE層: パイプラインは904件中670件（74.1%）のレコードを除外した。
  • 一致度: PABAKおよびAC1は、E.P.に対しては1.000（48/48）、D.C.に対しては1.000（50/50）であった。P.P.B.に対しては、PABAK = 0.940 / AC1 = 0.959（EXCLUDE 48/50、UNCERTAIN 2）であった。
  • 人間の一致度: 人間同士の一致度は、二名の外部読者の間で最も高く（PABAK = 0.854）、E.P.が関与した場合に低くなった。これは潜在的な習熟効果を示唆しているが、これは測定された変数ではない。
• 二次ターゲット（詳細分類/INCLUDE）: パイプラインは、「INCLUDE」レコードの特定において性能が低かった。
  • 全体的な感度: E.P.に対して0.800、D.C.に対して0.500、Bertiに対して0.833であった。
  • 偽陰性: パイプラインは、特に第2段階において、人間が「INCLUDE」と判断したレコードを見逃した。人間が多数決で「INCLUDE」と判断した4件のレコードにおいて、機械はそれらをUNCERTAINまたはEXCLUDEとラベル付けした（回収率0/4）。
  • 第2段階の性能: 94件の不確実なレコードに対するLLMの判定は、11件のINCLUDEと83件のEXCLUDEとなったが、人間のラベルに対する感度は依然として低かった。
• ワークロード指標: WSSの74.1%は、第1段階のフィルターによって除去されたレコードの割合を反映しており、サンプリングされたEXCLUDE層によって検証されている。

意義と主張
本論文はその範囲と意義を控えめに定義している：

• 検証された能力: 本研究は、第1段階の自動除外決定を、系統的レビューのワークフローから約74%のレコード（「明らかにテーマ外」の論文）を安全に除去する信頼できる手法として検証した。三名の独立した医師がこの除外プロセスを承認した。
• 検証されていない能力: 本研究は、INCLUDEレコードの詳細な分類は検証されていないことを明示している。人間自身も、どの残存レコードが「INCLUDE」であるかについて低い一致度を示しており（三重の交差はわずか1件であった）、機械は人間が「INCLUDE」であると合意した少数のレコードを回収できなかった。
• メソッド論的示唆: 結果は、自動化が大部分のスクリーニング作業を効果的に処理できる一方で、関連する研究を特定するというクリティカルなタスクは、依然として人間およびドメインの経験に基づくタスクであることを示唆している。本研究は、結果はこの特定のPICOおよびパイプラインに固有のものであり、他のトピックに自動的に一般化できるものではないと警告している。
• 指標の推奨: 著者らは、プレバレンスの不安定性เนื่องจาก、SRのスクリーニング検証においてCohenのκよりもPABAKおよびGwetのAC1を使用する必要性を強調している。

結論として、本論文は、この特定の医学的文脈において、ルールベースのフィルターが系統的レビューのワークロードの大部分を安全にオフロードできることを確立したが、LLMが現在、関連する研究を特定するという極めて重要なタスクにおいて人間の判断を代替できるとは主張していない。