CheckSupport: A Local LLM-Powered Tool for Automated Manuscript Submission Checklist Selection and Completion

技術的サマリー：CheckSupport

問題提起
透明性があり標準化された報告は、科学的研究の再現性にとって不可欠であるが、報告ガイドライン（例：CONSORT、PRISMA、STARD）への準拠は依然として一貫していない。主な障壁は、特定の研究に適したチェックリストを特定し、それを正確に完了させるために必要な多大な手作業と専門知識である。既存の自動化ソリューションは、しばしばクラウドベースの大規模言語モデル（LLM）に依存しており、データプライバシー、コスト、再現性、長期的なアクセス可能性に関する重大な懸念を提起している。さらに、科学における LLM の現在の応用は、生成テキストの合成に焦点を当てることが多く、科学報告において必要とされる忠実で証拠に基づく抽出とは整合しない可能性がある。

手法
著者は、チェックリストの選択と完了を自動化するために設計された、オープンソースでローカルに展開可能なコマンドラインツール「CheckSupport」を提示する。このシステムは、Ollama フレームワークを使用して完全にオフラインで動作し、原稿データがユーザーのローカルハードウェアから決して離れないことを保証する。

• アーキテクチャとワークフロー: システムはモジュール型のパイプラインに従う：原稿の取り込み（PDF/DOCX/テキスト）→ チェックリストの特定 → チェックリストの解析 → コンテンツの抽出 → レポート生成。標準化されたガイドラインとカスタムのユーザー定義チェックリストの両方をサポートする。
• 段階的プロンプト戦略: LLM を自由形式の生成器として使用するのではなく、CheckSupport はそれらを制約された推論コンポーネントとして扱う。プロセスは 4 つの連続した段階に分解される：
  1. チェックリストの推奨: 1 回提示（one-shot）の単一ラベル分類タスクであり、モデルは切り詰められた原稿の抜粋（最初の 2,000 文字）に基づいて、固定されたリストから 1 つのチェックリストを選択する。
  2. 前処理とガイダンス生成: モデルは、より高い温度（0.7）を使用して、どのような情報を求めるべきかに関する一般的かつセクション固有のガイダンスを推論し、記述的な助言を引き出す。
  3. セクションレベルのテキスト抽出: システムは、固定された 5,000 文字のウィンドウを使用して、各チェックリストセクションに関連する原稿部分を抽出する。
  4. 項目レベルの回答生成: 各チェックリスト項目に対して、モデルは項目テキスト、解析された指示、および以前に抽出されたセクションコンテンツに基づいて回答を生成する。
• 推論制御: 精度と再現性を優先するため、システムは分類（0.2）と抽出（0.3–0.5）に低い温度を採用し、拡張コンテキストモデルへの依存を避けるために固定コンテキストウィンドウを使用し、厳格な出力制約を強制する。ハルシネーションを防ぐため、情報が欠落している場合は「null」応答を明示的に許可し、推奨する。
• モデル構成: システムはモデルに依存しないが、コンシューマーグレードの CPU のみのハードウェアで実行可能な、Llama 3.1 などの指示チューニングモデルをデフォルトとする。

主要な貢献

• ローカル実行フレームワーク: CheckSupport は、機密性の高い研究環境におけるデータセキュリティの懸念に対処する、クラウドベースの AI ツールに対する完全なローカルでプライバシーを保護する代替手段を提供する。
• 構造化された推論アプローチ: この論文は、複雑な報告タスクを制約された推論ステップに分解し、生成流暢さよりも忠実な抽出を優先する、段階的プロンプト手法を導入する。
• オープンソース実装: このツールはオープンソースソフトウェアとしてリリースされており、透明性、監査、および各種報告基準への適応を可能にする。
• 二重機能: 正しい報告ガイドラインの選択と、そのガイドラインの証拠に基づく完了の両方を自動化する。

結果
「AI in radiology」で索引付けされた 2025 年の 100 件の査読付き原稿のコーパスで評価された結果、CheckSupport は CPU のみのハードウェア上で以下の性能を示した：

• チェックリストの推奨: 90% の全体的な精度を達成。カテゴリ別には、複雑な「Type A」研究（新しい LLM 構造/ファインチューニング）で 86.7%、「Type B」研究（実用的な応用）で 100%、チェックリストが適用されない原稿で 80% の性能を示した。
• チェックリストの完了: 88% の全体的な項目レベル精度を達成。「Type B」原稿（93.3%）の方が「Type A」（80.0%）よりも精度が高かった。
• 実行時間: 原稿あたりの平均ウォールクロック時間は、推奨と完全な完了の両方を含めて12.5 秒であった。
• エラー分析: エラーは主に、原稿の曖昧な言語、ソーステキストにおける不完全な報告、または境界付きコンテキストウィンドウの外にある情報に起因していた。注目すべきは、システムはサポートされていないまたは捏造されたコンテンツの事例を一切生成せず、欠落情報を null 応答として正常にフラグ付けしたことである。

意義と主張
著者は、CheckSupport を科学コンテンツを生成するツールではなく、研究ガバナンスのためのインフラとして位置づけている。この論文は、チェックリストの遵守の負担を手作業から構造化された支援的自動化へシフトさせることで、システムがより透明性があり再現性のある科学報告を支援すると主張している。

重要性に関する主な主張には以下が含まれる：

• LLM 有用性の再定義: この研究は、LLM が物語生成ではなく、方法論的支援と厳密な抽出のために効果的に活用できることを実証している。
• プライバシーと信頼: ローカルで動作することにより、システムはデータ漏洩や専有依存に関する増大する懸念に対処し、組織的な信頼を醸成する。
• ヒト・イン・ザ・ループ: 著者は、このシステムが人間の監督を置き換えるのではなく、補完するように設計されていることを強調する。報告のギャップを暗黙的に埋めるのではなく明示的にするものであり、研究者や査読者が専門的判断を必要とする領域に集中できるようにする。
• 文化的変化: このツールはチェックリスト完了の障壁を下げ、査読者の疲労を軽減し、報告ガイドラインを行政上の義務ではなく研究プロセスの不可欠な構成要素と見なすことを促すことを目指している。