Local AI pre-screening for human triple-blind peer review in health sciences

技術要約：ヘルスサイエンスにおける人間によるトリプルブラインド査読のためのローカルAIプレスクリーニング

問題提起
本論文は、学術査読における重大なボトルネックを特定している。すなわち、投稿数の激増（例：NeurIPS 2025は21,575本の論文を受理）が、適格な人間の査読者の供給速度を上回っているという現状である。その結果、大規模言語モデル（LLM）がこの空白を埋める形で導入されているが、多くの場合、それは非公開で行われている。ICLR 2026に関する独立した分析によれば、査読の約21%が完全にAIによって生成されており、半数以上において何らかのAIの関与が見られる。このような規制のない使用は、引用の捏造や、著者がAI査読者を操作するために隠された指示を埋め込む「プロンプトインジェクション」攻撃といった、文書化されたリスクをもたらす。さらに、NIHやNSFのような規制機関は、知的財産の保管と利用に関する機密保持の懸念から、未発表のプロポーザルをサードパーティの生成AIに提出することを禁止している。既存の商業的スクリーニングツールは、特定のタスク（統計的チェックなど）には対応しているが、マルチモデル・アーキテクチャによる一般的な科学的価値の評価能力は欠いている。また、先行研究（Shen et al., 2026）は、単一モデルのLLMでは人間の査読者を完全に代替するための信頼性が不足していることを示している。

手法
著者は、ヘルスサイエンス誌向けに設計された、トリプルブラインド、マルチLLMプレスクリーニング・フレームワークを提案している。このシステムは、すべてのAI処理がジャーナル独自のインフラ内にあるローカルホストのオープンウェイトLLM（例：Gemma 3, Qwen3）上で行われる「機密性第一」のアーキテクチャに基づいて構築されており、原稿の内容がジャーナルの制御を離れることはない。

本フレームワークは、以下の5つの連続したステージを経て原稿を処理する：

1. サニタイズおよび匿名化： 自動化されたパイプラインが、プロンプトインジェクションのベクトル（例：隠しテキスト、ゼロ幅文字）を除去し、メタデータをクリアし、著者の識別子を削除する。非可視レイヤーについては手動検査のフラグを立てる。
2. AIプレスクリーニング： 3つの独立したローカルホストLLMが、バージョン管理された構造化されたルーブリック（方法論の厳密性、統計的一貫性、明快さ、および引用の完全性を網羅）に従って、サニタイズされた原稿を評価する。各モデルは、構造化された思考の連鎖（Chain-of-Thought）による正当化と、数値スコア（1〜5段階）を出力する。
3. 自動チェックゲート：
   • パス（通過）： 3つのLLMの平均スコアが3.5以上であり、かつ単一の基準の平均が2を下回らない場合、原稿は人間による査読へと進む。
   • 修正（リバイズ）： 原稿が閾値に達していないものの、「AIのみによる却下」の基準には該当しない場合、統合されたフィードバックと共に著者に返却される。
   • AIのみによる却下（オプトイン）： 著者がこのモードに明示的に同意している場合、かつ3つのLLMのうち2つ以上が、同一の基準において独立して3.5を下回るスコアを付けた場合、人間による介入なしに原稿は却下される。これは、人間による拒絶を目の当たりにすることによる心理的負担を軽減することを目的としている。
   • 整合性フラグ： プロンプトインジェクションまたはサニタイズの不一致が検出された場合は、通常のフローをバイパスしてエディターに直接ルーティングされる。
4. 人間による査読： 3人の人間の査読者が原稿を評価する。極めて重要な点として、彼らはブラインド状態であり、AIのスコア、正当化、および使用された具体的な閾値を知ることはできない。彼らは、原稿がAIプレスクリーニングを通過したことのみを知ることとなる。これは「オートメーション・バイアス（自動化バイアス）」を防ぐためである。
5. 編集上の裁定： エディターは、AIのトリアージ・データと人間の評価の両方をレビューする。エディターは、両方のレイヤーを可視化できる唯一の人物である。脱匿名化は、出版の最終決定が行われる時にのみ行われる。

主な貢献

• AIレイヤーを備えたトリプルブラインド・アーキテクチャ： 本システムは、古典的なトリプルブラインド査読（著者、査読者、およびエディターのアノニミティ）を拡張し、人間の査読に先立つ、開示され監査可能なAIレイヤーを追加している。同時に、AIのスコアと人間の査読者との厳格な分離を維持している。
• 機密性第一の設計： 商業用APIやクラウドベースのソリューションとは異なり、本システムは、未発表のデータがサードパーティのインフラを経由しないことを保証するため、オープンウェイトモデルのローカルホストを義務付けている。これにより、NIHやNSFの機密保持の論理を満たすことができる。
• 著者による承認に基づくエスカレーション・ポリシー： 本フレームワークは、斬新な「AIによる却下承認」オプトイン・モードを導入している。これにより、著者は収束したAIスコアリング（3つのモデルのうち2つが特定の欠陥について一致した判定を下した場合）に基づき、人間による「目撃」を受けることなく、自発的に却下を受け入れることが可能となり、却下に伴うスティグマや心理的コストを軽減できる。
• プロンプトインジェクションに対する防御の深化： 本システムは二層の防御を採用している。既知のインジェクション・ベクトルを除去するための前処理サニタイゼーションと、原稿のテキストを厳密にデータとして扱うようLLMに強制し、出力を指示しようとするいかなる試みもフラグを立てるインプロンプト・インストラクションである。
• 先行研究との差別化： 本論文は、単一モデルの分類精度が不十分（35%）であることを示したShen et al. (2026) と明確に区別している。本提案は、人間の判断を置き換えることを目的とするのではなく、構造化されたトリアージのためにマルチモデル・アンサンブルを使用し、人間によるエスカレーションを必須としている。

結果および主張
本論文は設計提案およびアーキテクチャのフレームワークであり、ライブ・パイロットやベンチマーク・データセットを用いた実証結果は提示していない。したがって、具体的な精度率、偽陽性/偽陰性比、あるいは実際に達成された時間短縮に関する主張は行っていない。

著者は、提案されたルーブリックの閾値（例：平均スコア3.5以上）は「作業値（working values）」であり、キャリブレーションが必要であると述べている。本研究の意義は、現在の「不透明で規制のないAIの使用」に対する防御可能な代替案として位置づけられている。本論文は以下のように主張している：

• 本システムは、最終的なレビュー報告および出版決定が排他的に人間の行為であることを保証することで、COPE（出版倫理委員会）のガイドラインに準拠している。
• 本システムは、リソース集約的な人間のリクルートメント・ファンネルに入る前に、準備が整っていない原稿をフィルタリングすることで、「スピードの問題」に対処し、最初の決定までの平均13週間という期間を短縮できる可能性がある。
• 本システムは、機密保持の危機に対する構造的な解決策を提供し、ジャーナルが、現在、第三者AIの使用を阻んでいるデータプライバシーの制約に抵触することなく、AIの恩恵を利用できるようにする。

意義
本論文は、投稿過多に直面しているジャーナルにとって、このアーキテクチャが必要な進化であると位置づけている。問いはもはや、AIが査読に関与するかどうかではなく、「どのように」関与するかである。AIによる非公開かつ無規制な使用から、統治され、透明性が高く、人間が監督するワークフローへと移行することで、本フレームワークは、科学的価値の最終的な裁定者としての人間による判断を維持しつつ、研究の完全性を保護し、査読プロセスに伴う心理的負担を軽減し、研究の機密性を守ることを目的としている。著者は、検証には、ラベル付きコーパス（敵対的例を含む）を用いたベンチ検証と、AIのみ、ハイブリッド、および人間のみの査読を比較するライブ・スリーアーム・パイロットの二段階のプロセスが必要であると結論付けている。