A Consensus-Driven Multi-LLM Pipeline for Missing-Person Investigations

この論文は、欠落者捜査の最初の 72 時間を支援し、複数のタスク特化型 LLM と合意形成エンジン、そして QLoRA 微調整を組み合わせることで、信頼性の高い構造化情報抽出を実現する「Guardian」というエンドツーエンドシステムを提案しています。

要約

行方不明者捜索のための「AI 裁判所」：ガーディアンシステムの仕組み

この論文は、行方不明になった子供や人の捜索を助けるための新しい AI システム「ガーディアン（Guardian）」について説明しています。

捜索の最初の 72 時間は「黄金時間」と呼ばれ、非常に重要です。しかし、現場には警察の報告書、目撃者のメモ、天気予報、地図など、バラバラで読みづらい情報が溢れています。人間だけでこれらをすべて整理して「どこを探すか」を決めるのは、時間がかかりすぎてしまいます。

そこで登場するのが、この「ガーディアン」システムです。これを理解するために、「優秀だが少し癖のある複数の専門家」が「厳格な裁判長」の下で働く様子に例えて説明しましょう。

1. 基本コンセプト：一人の天才ではなく、チームの合意

一般的な AI は、「一つのモデル（頭脳）」がすべてを決めることが多いです。しかし、このシステムは**「複数の AI 専門家」**を使います。

• 専門家たち（複数の LLM）：
  システムの中には、Qwen や Llama といった異なる AI モデルが複数います。彼らはそれぞれ「情報抽出の専門家」や「要約の専門家」として働きます。

  • 例え話： 一人の天才探偵に頼むのではなく、3 人の探偵に同じ事件の報告書を読ませて、それぞれに「犯人の特徴は？」「行方不明者の動きは？」と答えさせます。
  • 問題点： 3 人の探偵は、それぞれ少し違う答えを出したり、時には嘘をついたり（AI の幻覚）、形式がバラバラになったりします。

• 裁判長（コンセンサス・エンジン）：
  ここがこのシステムの最大の特徴です。3 人の探偵の答えを、**「厳格な裁判長（コンセンサス AI）」**がチェックします。

  • 役割： 裁判長は、3 人の答えを比べます。「A さんは『赤い車』と言ったが、B さんは『青い車』と言った。報告書には『赤』としか書いてない。だから『赤』が正解だ」と判断します。
  • 修正： もし誰かが「JSON（データ形式）」という決まり文句を間違えて書いたら、裁判長が「直して書き直せ」と指示し、正しい形式に直します。
  • 結論： 最終的に、全員が合意できる、または最も報告書に基づいた「安全で確実な答え」だけが採用されます。

2. システムの 3 つのステップ（ガーディアンの働き方）

このシステムは、大きく分けて 3 つの工程で動いています。

ステップ 1：情報の整理（パース）

まず、バラバラな報告書（PDF やメモ）を読み込み、必要な情報（名前、最後の目撃場所、車の特徴など）を抜き出します。

• 例え話： 裁判所に提出された、書き殴りの手紙やメモを、裁判所が「証拠品リスト」にきれいに整理します。

ステップ 2：分析と合意（コア）

ここがメインです。

1. 複数の AI が分析： 整理された情報を元に、複数の AI が「行方不明者の可能性が高い場所」や「危険度」を推測します。
2. 裁判長がチェック： 裁判長 AI が、それぞれの推測を比較します。「A と B は一致しているが、C は根拠がないことを言っている。C は却下しよう」と判断します。
3. 最終報告の作成： 合意された情報をもとに、「24 時間、48 時間、72 時間後にどこを探すか」という具体的な捜索マップを作成します。

ステップ 3：品質チェック（ゾーン QA）

最後に、作成された捜索マップが現実的か、AI が過剰に楽観的・悲観的になっていないかを確認します。

• 例え話： 「このエリアは広すぎるから、もっと狭めて」とか「ここは山岳地帯だから、子供が歩くのは無理だ」といった現実的なチェックを行い、捜索隊に渡す前に「安全確認」を行います。

3. なぜこの方法がすごいのか？

• 「完璧な AI」を求めない：
  現在の AI は、時折ハルシネーション（嘘をつく）ことがあります。このシステムは「AI は完璧ではない」と認め、**「複数の AI を使い、その答えを厳しくチェックする」**ことで、信頼性を高めています。
• 責任の所在が明確：
  AI が勝手に「ここだ！」と決めるのではなく、どの AI が何を言い、裁判長がどう判断したかがすべて記録されます。これは、捜索という重大な任務において「誰の判断で動いたか」がわかるようにするためです。
• 学習能力：
  特別な技術（QLoRA）を使って、AI たちに「捜索の専門家」としての知識を少しだけ追加学習させています。これにより、より的確な答えを出せるようになりますが、システム全体を重くしない工夫もされています。

4. まとめ：AI への「過度な信頼」は禁物

この論文の核心は、**「AI を神様のように信じるのではなく、道具として使い、人間（裁判長）が厳しくチェックする」**という考え方です。

行方不明者の捜索では、たった一つの間違いが命取りになります。だから、一つの AI が「自信満々」に答えたからといって信じるのではなく、複数の AI に答えさせ、その中から「報告書に基づいた最も確実な答え」を選び出す。そんな**「AI 裁判所」**のような仕組みが、ガーディアンシステムなのです。

このシステムは、AI の力を最大限に活かしつつ、そのリスクを最小限に抑えることで、捜索隊が「いつ、どこを、どう探すか」を迅速に決めるのを助けることを目指しています。

技術概要

論文要約：行方不明者捜査のための合意駆動型マルチ LLM パイプライン

本論文は、行方不明者（特に子供）の捜査を支援するためのエンドツーエンドシステム「Guardian」およびその中核をなす「Guardian LLM パイプライン」について述べています。このシステムは、複数の大規模言語モデル（LLM）の出力を調整し、合意（コンセンサス）形成を通じて信頼性の高い構造化情報を生成することを目的としています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題定義

• 緊急性と情報の不完全性: 行方不明者の捜査、特に最初の 72 時間は極めて重要です。しかし、初期段階では情報が不完全で、時間的制約が厳しく、多様なソース（報告書、PDF、公的なヒント、交通データなど）からなる非構造化データを迅速に統合する必要があります。
• 従来の限界: 従来の捜査計画は人間の判断や粗いヒューリスティックに依存しており、不確実性下での意思決定を支援するための構造化された融合が不足しています。
• 単一モデルの信頼性リスク: 単一の LLM を権威ある意思決定者として扱うことは危険です。LLM は幻覚（ハルシネーション）を起こしたり、構造的なエラー（JSON 不正など）を生成したり、自信過剰な誤った分類を行う可能性があります。捜査のような安全に関わる分野では、推論の不安定性が捜索資源の誤った配分につながるリスクがあります。

2. 手法とアーキテクチャ

Guardian システムは、非構造化のケース文書から確率的な捜索領域（地理的グリッド上の確率分布）と、人間が解釈可能なアーティファクト（優先順位付けされたセクター、ホットスポットなど）を生成する 2 段階のシステムです。本論文の焦点は、その中核となる LLM パイプラインです。

主要な構成要素

1. マルチモデル・コンセンサス層（Centralized Consensus Layer）:

   • 信頼性を「システム全体の特性」として定義しています。単一のモデルに依存せず、複数の専門化された LLM（Qwen, Llama など）にタスクを実行させます。
   • 正規化（Normalization）: 各モデルの出力を比較可能な形式に変換します（例：JSON の構造化、固定された箇条書き形式、閉じたラベルセットへのマッピング）。
   • 合意スコアリング（Agreement Scoring）: 表面のテキスト一致ではなく、フィールドレベル（人物、場所、時間など）での一致度を評価します。
   • 修復と審判（Repair & Adjudication）: 解析失敗やモデル間の不一致が発生した場合、専用の「審判（Referee）」モデルが介入し、構造的な修復や事実の選別を行います。この際、候補に存在しない事実を捏造することは厳しく禁止されます。
   • トレースの記録: どのモデルが一致したか、修復が行われたかなどの監査可能な記録を残します。

2. プロンプト・ガバナンス:

   • プロンプトを「第一級のシステムアーティファクト」として扱い、厳格な出力契約（JSON のみ、特定のキーセットなど）を定義します。
   • タスクプロンプト、コンセンサスプロンプト（審判用）、フォーマットガードプロンプトの 3 種類を区別し、それぞれに最適化されたテンプレートを使用します。

3. QLoRA によるファインチューニング:

   • 計算リソースを節約しつつ、特定の役割（抽出、要約、弱ラベリング）に特化したモデルを構築するために、QLoRA（Quantized Low-Rank Adaptation）を使用しています。
   • 基底モデルの 1% 未満のパラメータのみを更新し、汎用性を維持しつつタスク性能を向上させます。

4. ゾーン QA（Quality Assurance）:

   • 地理的な捜索領域（ゾーン）の妥当性を LLM 支援でスコアリングし、既存のゾーン優先順位と組み合わせて再評価します。不完全な情報下でも極端なペナルティやボーナスを与えないよう、保守的な挙動を設計しています。

5. オーケストレーションとバックエンド:

   • 並列実行、デッドライン管理、キャッシング、モデルプロバイダーの抽象化を行い、時間制約のある捜査ワークフローに対応します。

3. 主要な貢献

• 信頼性のシステムレベルでの実装: 単一モデルの精度向上ではなく、マルチモデルの合意、構造化検証、修復メカニズムを通じて、システム全体の信頼性を確保するアーキテクチャを提案しました。
• 監査可能な LLM 活用: LLM を「制約付きの構造化抽出器およびラベラー」として位置づけ、人間の意思決定を支援する「弱教師あり学習（Weak Supervision）」のアプローチを捜査分野に適用しました。
• 安全配慮のある設計: 行方不明者捜査のような高リスク分野において、LLM の幻覚や不確実性を最小化し、誤った推論が捜査に悪影響を及ぼさないよう、保守的で検証可能な出力を重視する設計原則を確立しました。
• 実用的なデプロイメント: 複数の GPU 仮想マシンに役割を分散させ、vLLM を通じて API 化し、Gemini を審判として活用するなどの、スケーラブルで再現性のある実装基盤を提供しました。

4. 結果と評価

• 評価手法: 従来のベンチマーク精度ではなく、「構造的妥当性（パース可能か、スキーマに準拠しているか）」「事実の整合性（合成データとの比較）」「システムレベルの安定性（不一致時の挙動）」を重点的に評価しました。
• 単一モデルの失敗モード: 個々のモデルは、文脈が曖昧な場合でも自信過剰なラベリングを行ったり、推測を含む要約を生成したり、長文では JSON 形式を崩したりする傾向が確認されました。
• 合意層の効果: 正規化とコンセンサス層を適用することで、出力は体系的に保守的かつ構造的に一貫したものになりました。モデル間で不一致があった場合、合意層は「モデルの自信」ではなく「ナラティブ（物語）に明示的に基づく解釈」を優先しました。
• 安定性: 合成データおよび半構造化データを用いた評価において、Guardian パイプラインは反復実行を通じて安定した、監査可能な構造化アーティファクトを生成できることが示されました。

5. 意義と結論

• 安全隣接分野（Safety-Adjacent）への適用: 行方不明者捜査のような、不完全な情報下で意思決定が行われる分野において、LLM を「黒箱の決定者」としてではなく、「検証プロセスの一部」として統合する重要性を強調しています。
• 実用性と拡張性: QLoRA によるファインチューニングとマルチモデル並列処理の組み合わせにより、リソース制約下でも高品質な候補生成と堅牢な検証を両立できることを示しました。
• 今後の展望: 本システムは、ホットスポット検出、移動予測、地理空間計画などの下流タスクに対して、一貫性のある構造化入力を提供することで、捜査効率の向上に寄与します。

総じて、Guardian LLM パイプラインは、LLM の生成能力を最大限に活用しつつ、そのリスクを構造的な検証と合意メカニズムによって制御する、実用的で責任ある AI 設計の好例を示しています。