技術要約：系統的レビューにおけるデータ抽出のための監査可能な大規模言語モデルパイプライン

問題提起

系統的レビュー（SLR）はエビデンスに基づく意思決定の基礎となるが、手動によるデータ抽出の労働集約的な性質により、重大なスケーラビリティの課題に直面している。科学文献の量が増加するにつれ、人間によるレビュアーが研究属性をフィールドごとにコーディングする必要性が、スループットのボトルネックとなり、レビュアー間の信頼性の問題を引き起こしている。自動化による緩和も提案されているが、既存のソリューションは主にタイトルおよび抄録のスクリーニング（二値分類）に焦点を当てているか、特定のテキストスパンを抽出するための教師ありテキスト分類に依存している。これらは、異質な全文記事から生成的なフィールドごとの抽出を行う能力を欠いている。さらに、この文脈における大規模言語モデル（LLM）の厳格な評価は乏しく、ほとんどの研究は、完全な実世界の系統的レビューではなく、シミュレーションされたタスクやベンチマークのサブセットに依存している。決定的なギャップは、生成的なパイプラインが存在するかどうかではなく、実務で求められる証拠基準、すなわち、すべての不一致がブラインド化された専門家による裁定によって解決された、アーカイブされた人間の抽出結果との完全な比較が行われていないことにある。

方法論

著者らは、エンドツーエンドの監査可能なLLMパイプラインを、術後疼痛モデルに関する出版済みの前臨床SLR（6,474件のレコードをスクリーニング、674件の研究を抽出）に対して評価した。本研究では、「ヒューマン・イン・ザ・ループ」の検証プロセスを利用し、LLMが訓練された人間のレビュアーの隣でセカンドリーダーとして機能した。

パイプラインのアーキテクチャ:

• モデル: タスクの要件に基づき、2つの異なるモデルを採用した：
  • スクリーニング: MiniMax-M2.5（ワンショット・プロンプティング）。
  • 全文抽出: MiniMax-Text-01（フューショット、コンテキストを維持するために持続的な会話スレッド内での質問固有のワークフロー）。
• ワークフロー:
  1. 前処理: PDFはPyMuPDFを使用してプレーンテキストに変換され、表はテキストとして付加され、画像はプレースホルダーとしてマークされた。テキストはチャンク化（最大35,000文字）され、モデルに投入された。
  2. 抽出: パイプラインは、47の質問と110のフィールド（合計74,140のデータポイント）を処理した。質問は、以前のやり取りの全蓄積コンテキストを保持しながら、単一の会話スレッド内で逐次的に提出された。
  3. パースおよび正規化: モデルの生の出力は、人間の抽出フォームに一致するように構造化されたフィールドへとパースされた。自由記述の出力は、必要に応じて制御語彙に正規化された。
  4. 裁定: 人間のレビュアーとLLMの間のすべての不一致は、ブラインド化されたドメインエキスパート（経験15年以上）に転送された。エキスパートはソースとなる全文をレビューし、正しい回答（人間、LLM、またはいずれでもない）を選択した。
• 評価指標:
  • 一致度: 一致するデータポイントの割合。
  • 推定正解率: $(M + D_{LLM}) / N$ として計算される。ここで、$M$ は一致するフィールド数、$D_{LLM}$ はLLMに有利に解決された不一致数、$N$ は総データポイント数である。この指標は、アーカイブされた人間の抽出が必ずしもエラーのないゴールドスタンダードではないという事実を考慮している。
  • 層別化: パフォーマンスは、回答形式（Yes/No、単一選択、数値、自由記述、複数選択）およびトピック領域ごとに分析された。

主な貢献

1. 包括的な実世界評価: ベンチマークのサブセットを用いた従来の研究とは異なり、本研究は、出版された完全なSLRコーパス（674研究、74,140データポイント）をフィールドごとにアーカイブされた人間の抽出と比較して評価した。
2. ブラインド化された専門家による裁定: 7,835件の抽出の不一致をブラインド化されたエキスパートが解決し、初期の人間による抽出が常に正しいという仮定に依存せずに、LLMの正解率を推定することを可能にした。
3. 失敗モード分析: 本研究は、パフォーマンスがバイオメディカルなトピックよりも、要求される「認知操作のタイプ」（例：不在の検出 vs 明示的な事実の抽出）によって駆動されることを明らかにしている。
4. 監査可能なワークフロー設計: プロンプト、パース規則、および裁定決定が監査アーティファクトとして保持される透明なパイプラインを提示しており、これはエビデンス合成における責任あるAIのための「RAISE」原則を支持するものである。

結果

全体的なパフォーマンス:

• スクリーニング: 人間とLLMの一致度は94.2%（6,094/6,474レコード）であった。裁定後、推定LLM正解率は96.29%であり、人間のレビュアーの97.87%と比較された。
• 抽出: 人間とLLMの一致度は89.4%（66,305/74,140データポイント）であった。裁定後、推定LLM正解率は93.92%であり、人間のレビュアーの95.14%と比較された。
• 紛争解決: 全文抽出の不一致において、エキスパートはLLMを42.4%、人間を54.0%、いずれでもないを3.6%の割合で支持した。

回答形式別のパフォーマンス:

• 高パフォーマンス: 自由記述および複数選択のフィールドは、最も高い推定LLM正解率（99.0%）を達成した。モデルは明示的に報告された情報の抽出に優れていた。
• 低パフォーマンス: Yes/Noフィールドは、最も低い推定LLM正解率（76.9%）を示した。主な失敗モードは、否定的な証拠（情報が欠如しているのか、報告されていないのか、あるいは明示的に否定されているのかを判断すること）の解釈であった。
  • 正解が「報告なし」であった場合、LLMの正解率は58.4%に対し、人間は94.0%であった。
  • 正解が明示的な「No」であった場合、LLMの正解率は74.2%に対し、人間は92.8%であった。
• 数値フィールド: モデルは数値抽出において人間を上回り（94.6% vs 89.8%）、人間が見落とした値を正しく特定することが多かった。

運用の知見:

• 時間: LLMの処理には16.9時間（API時間）を要したが、手動抽出には85.7時間を要した。ただし、著者らはこれにプロンプト開発、データクリーニング、品質管理が含まれていないことを指摘しており、これは遡及的な設定における純粋な労働節約を表しているわけではない。
• エラーの種類: 主要な失敗モードは、パース不可能な出力（フォーマット違反はYes/Noで0.03%未満と稀であった）ではなく、意味的に誤った、しかし形式的には整った回答であった。

意義と主張

本論文は、LLMは自律的な代替品としてではなく、監査可能なセカンドリーダーとして実行可能であると主張している。本研究の意義は以下の通りである：

1. 標的を絞った監視: 結果は、信頼性が一様ではないことを示している。それは、要求される証拠操作（例：不在や著者の意図の判定 vs 明示的な事実の抽出）に依存する。人間による監視は、高リスクのフィールド（例：不在や著者の意図に関するYes/No質問）に戦略的に集中させることができ、低リスクのフィールド（例：明示的な事実、複数選択）は高い信頼度でLLMに任せることができる。
2. エラー検出: LLMは独立したストリームとして機能し、人間の漏れや誤コーディングを検出できる。複数選択フィールドにおいて、モデルは訓練された人間のレビュアーよりも完全に該当する選択肢を特定した（より高い感度）。
3. 方法論的透明性: 本研究は、単純な集計精度よりも、透明性、監査可能性、および不一致の解決を優先する、エビデンス合成におけるAI評価のフレームワークを提供している。
4. 現実的な期待: 著者らは、現在のAIツールはすべての方法論的タスクにおいて完全な自律的展開を行う準備ができていないことを強調している。提案されたワークフローは、LLMをプロセス全体を置き換えるためではなく、専門家によるレビューのために紛争を表面化させるために使用することで、意味のある人間の責任を維持し、RAISE原則に沿ったものとしている。

本論文は、単一の集計パフォーマンス指標では不十分であるが、生成的な抽出とブラインド化された裁定を組み合わせた構造化されたパイプラインが、人間主導のエビデンス合成へのLLM統合に向けた実用的な道筋を提供すると結論付けている。