AISysRev: 大規模言語モデル（LLM）を用いたタイトル・抄録スクリーニングツールの技術的概要

本論文は、システマティック・レビュー（SR）における「タイトル・抄録スクリーニング」という手作業で負担の大きい工程を支援するための、LLM ベースのオープンソースツール「AISysRev」の紹介と評価に関するものです。以下に、問題提起、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 背景と問題提起

システマティック・レビューはソフトウェア工学を含む多くの分野でエビデンスを統合する重要な手法ですが、実施には平均 67 週間を要し、特にスクリーニング段階では数千から数万の論文を処理する必要があります。

• 既存ツールの限界: 既存のオープンソースツール（AIReview, ASReview など）は、LLM プロバイダのサポートが限定的、ドキュメント不足、またはメンテナンス停止などの課題があります。一方、商用ツール（Elicit, Rayyan など）はブラックボックス化されており、モデルやプロンプトの透明性が低いです。
• LLM の課題: LLM はスクリーニング能力において修士課程の学生レベルに達しますが、誤検出（False Negative）やプロンプトへの感応性、ランダム性などの問題があり、人間の判断を完全に代替するものではありません。
• 必要性: 迅速なレビュー（Rapid reviews）の需要増大に伴い、スケーラビリティ、並列処理、多様な LLM プロバイダへの対応、そして人間が最終判断を行うための透明性のある支援ツールの必要性が高まっています。

2. 手法とシステム設計

AISysRev は、コンテナ化された Web アプリケーションとして実装されており、人間中心設計（Human-in-the-loop）を原則としています。

2.1 システムアーキテクチャ

• バックエンド: Python（非同期プログラミング asyncio による並列処理、Pydantic AI による構造化された LLM 応答の自動修正）。
• フロントエンド: React.js ベースの Web UI。
• インフラ:
  • データベース: PostgreSQL（永続化）、Redis（リアルタイムキャッシュ）。
  • ストレージ: MinIO（S3 互換オブジェクトストレージ）。
  • デプロイ: Docker コンテナ（Compose プラグイン）。クラウド（AWS, Azure, GCP）またはローカル環境で動作可能。
• LLM 接続: OpenRouter、OpenAI、ローカルホスト（OpenAI SDK 互換）など、多様なプロバイダに対応。Mistral, Gemini, Claude, ChatGPT などが利用可能。

2.2 主要機能とワークフロー

1. 入力: Scopus などの文献データベースから取得した CSV 形式のタイトル・抄録データを読み込み。
2. 設定: 包含・除外基準の定義、LLM プロバイダの選択、モデルパラメータ（Temperature, Top_p など）のカスタマイズ。
3. スクリーニング手法:
   • ゼロショット（Zero-shot）: 基準のみを提示して評価。
   • ファウショット（Few-shot）: 事前に評価済み（包含・除外）のサンプルを提示し、精度向上を図る。
   • 並列処理: 複数の LLM を同時に呼び出し、結果を比較・統合。
4. 人間によるレビュー支援:
   • 個別スクリーニング: 人間が個別に判断しつつ、複数の LLM の推奨結果（バイナリ、順序尺度、確率値）を参照。
   • 優先順位付けリスト: 複数の LLM による包含確率の平均値に基づき論文をソートし、関連性の高い論文から順にレビュー可能（迅速なレビュー向け）。
   • 不確実性の可視化: 確率値や順序尺度（1-7）により、LLM が迷っているケース（境界事例）を人間に警告。
5. 出力: 結果を CSV 形式でエクスポート（メタデータ、各 LLM の判断、基準ごとの判断、手法ごとのスコアを含む）。

2.3 技術的強み

• 並列化: Python の asyncio を活用し、1 分間に 100〜300 件の論文を処理可能（モデルとホストによる）。
• 堅牢性: 不正な JSON 応答やレート制限への耐性（指数バックオフによるリトライ）。
• 透明性: オープンソースであり、プロンプト技術やモデルパラメータを完全に制御可能。

3. 評価と結果

著者らは、ソフトウェア工学における「時間的プレッシャー」に関する既存のシステマティック・レビューを更新する文脈で、137 件の論文を用いて定性的なトライアルを実施しました（Google Gemini 2.5 Flash, Mistral Small 3.2-23B, GPT-4.1 Mini を使用）。

3.1 論文の分類と LLM の性能

トライアルの結果、論文は以下の 4 つのカテゴリに分類され、LLM の特性が浮き彫りになりました。

1. Easy Includes（容易な包含，n=6）:
   • 時間的プレッシャーが明示的に研究対象となっている論文。
   • 結果: LLM はこれらを非常に高い精度で正しく包含しました。
2. Boundary Includes（境界的な包含，n=7）:
   • SE 文脈にあるが、時間的プレッシャーの言及が曖昧、または実証的エビデンスが不明確な論文。
   • 結果: LLM はこれらを誤って除外する傾向がありました（例：「時間的プレッシャー」という言葉が結論部分ではなく背景として現れる場合など）。
3. Boundary Excludes（境界的な除外，n=17）:
   • SE に関連するが、時間的プレッシャーの実証的エビデンスは薄い論文（背景として言及されているのみ）。
   • 結果: LLM は文脈を深く理解できず、誤って包含してしまうことが多かったです（例：技術的負債の原因として時間的プレッシャーが言及されているが、主たる貢献は予測モデルの提案である場合）。
4. Clear Excludes（明確な除外，n=107）:
   • 医療や航空など、SE 以外の分野の研究。
   • 結果: 人間と同様に LLM もこれらを正確に除外しました。

3.2 知見

• LLM は「容易な除外」や「容易な包含」の処理において人間を支援し、作業負荷を大幅に軽減できます。
• しかし、「境界事例（Boundary cases）」においては誤りやすく、人間の最終判断（Human-in-the-loop）が不可欠であることが確認されました。
• 複数の LLM を組み合わせ、確率値や順序尺度を参照することで、人間がどの論文に注意を払うべきかを特定する支援が可能になります。

4. 主要な貢献

1. 高機能かつ透明性の高いオープンソースツールの提供: 既存の商用ツールやオープンソースツールの課題（ブラックボックス化、スケーラビリティ不足）を解決し、多様な LLM プロバイダ、ローカルモデル、並列処理を統合したツールを提供。
2. 人間中心の設計哲学: LLM を「代替」ではなく「支援」として位置づけ、不確実性を可視化し、人間が効率的に優先順位付けを行える UI を実装。
3. 実用的な評価: 実際のシステマティック・レビューの更新プロセスにおいてツールを適用し、LLM の性能限界（特に境界事例における誤り）と人間との協働の必要性を実証。
4. 研究基盤の整備: スクリーニング性能の評価や、新しい LLM の比較研究を容易にするためのデータ形式（CSV）と API を提供。

5. 意義と将来展望

AISysRev は、システマティック・レビューの実施を加速し、研究者が膨大な文献を効率的に処理するための重要なインフラとなります。特に、LLM の「黒箱」化が進む中で、プロンプトやパラメータを制御可能なオープンソースツールを提供することは、研究の再現性と透明性を高める上で重要です。

将来的には、検索戦略の生成、全文スクリーニング、データ抽出機能の追加、および他の AI 支援ツール（Elicit, Rayyan など）との定量的な性能比較が計画されています。また、ソフトウェア工学以外の分野での適用も推奨されています。