Agentic and Generative AI for Open-Source Intelligence and Cyber Investigations: Taxonomy, Evaluation, Challenges, and Future Directions
このサーベイは、OSINTにおけるエージェンティックおよびジェネレーティブAIに関する11カテゴリーのタクソノミーを確立するために74の研究を体系的にレビューし、認識されているハルシネーションのリスクとそれに対する実証的な測定との間の決定的なギャップを特定し、インテリジェンス・ライフサイクル全体における現在の研究の強みと弱点をマッピングし、そして最も実行可能な短期的な展開戦略としてヒューマン・イン・ザ・ループによるコパイロット・モデルを提唱する10項目のアジェンダを提示するものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、巨大なミステリーを解明しようとしている探偵だと想像してください。手がかりはいたるところに散らばっています：何百万ものソーシャルメディアの投稿、ニュース記事、隠されたフォーラム、そして暗号化されたメッセージです。かつて、あなたはこれらすべての手がかりを一つひとつ手作業で読まなければなりませんでした。それは遅く、疲れ果てる作業であり、しばしば見落としが発生しました。
今、あなたの前には、超スマートなロボット助手（AI）がいます。この助手は、数秒でこれらすべての手がかりを読み、点と点をつなぎ合わせ、報告書を作成することができます。この論文は、このロボット助手が実際にその任務に就ける準備ができているのかを探るため、74件もの異なる研究を精査した大規模なレビューです。
研究者が見出した内容を、日常的な例えを用いて分かりやすく解説します。
1. ロボットは速いが、正直かどうかは不明
論文によると、このロボット（「エージェンティックAI」または「生成AI」と呼ばれる）は、情報の収集と整理において驚異的な能力を持っています。それは、あなたが存在すら知らなかった本を見つけ出す、超高速の司書のようなものです。
しかし、大きな問題があります： ロボットがどの程度、作り話をしているのかが分かっていません。
- 「ハルシネーション（幻覚）」の問題： AIの世界において「ハルシネーション」とは、ロボットが、真実のように聞こえる嘘を自信満々に語ることを意味します。
- 研究結果： 研究者たちは74件の研究を調査しました。そのうち20件以上が、「ねえ、このロボットは嘘をつくかもしれないよ」と認めていました。しかし、実際のOSINT（オープンソース・インテリジェンス）の状況下で、ロボットがどのくらいの頻度で嘘をつくかを実際に測定しようとした研究は、わずか1件しかありませんでした。その1件の研究では4%の嘘の発生率が示されましたが、それは完璧で簡単な条件下で行われたものでした。
- 例え： これは、ある学生が「数学のテストに合格できる」と主張しているようなものです。20人が「彼がカンニングするかもしれない」と言っていますが、実際にテストを実施したのはたった一人だけです。他の人々は、確認もせずに、その学生が正直であると決めつけていたのです。
2. ロボットは「始める」のは得意だが、「終わらせる」のは苦手
研究者たちは、探偵のワークフローを以下のように定義しました。
- 手がかりを集める（収集）
- それらを読み、分類する（分析）
- それらが真実かどうかを確認する（検証）
- 最終報告書を書く（報告）
- 最終的な判断を下す（意思決定支援）
研究結果： ロボットはステップ1と2に非常に優れています。手がかりを集め、分類することにおいては、人間よりも優れています。しかし、ステップ3、4、5については、ほとんど無視されています。
- 例え： これは、家具を運ぶという重労働（収集と分類）のためにロボットを雇ったのに、その後に、絵画を繊細に飾ったり、ソファをどこに置くかを決めたりする繊細な作業は人間にやらせようとしているようなものです。論文は、私たちは「重労働」に焦点を当てすぎており、ミスが最も重大な意味を持つ「繊細でクリティカルな部分」を無視していると指摘しています。
3. 「テストの点数」 vs 「実際の仕事」
ロボットのテスト方法について、大きな意見の相違があります。
- 選択式テスト： 一部の研究では、単純な多肢選択式の質問（トリビアクイズのようなもの）でロボットをテストしています。ロボットは91%のスコアを獲得し、人間の専門家に勝利します。
- 実際の仕事テスト： 他の研究では、ロボットに何百もの文書を読み、隠れたつながりを見つけ出し、報告書を作成させるという、乱雑で現実的なケースを与えています。このテストでは、ロボットは失敗します。複雑さや不確実性に対処できないのです。
- 例え： これは、運転シミュレーターでは満点を取る（選択式テスト）けれど、雨が降り、歩行者がいる現実の交通状況の中でハンドルを握った途端に衝突してしまう（実際の仕事）ドライバーのようなものです。論文は、高いテストスコアに騙されないようにと警告しています。
4. 「毒された井戸」のリスク
論文は、恐ろしいリスクを浮き彫りにしています。もし、ロボットが見つけた手がかりが、実は偽物だったらどうなるでしょうか？
- 研究結果： 研究者たちは、悪意のある者が同様のAIツールを使用して、偽のニュースや偽の脅威レポートを作成できることを示しました。ロボットがこれらの偽のレポートを読み込むと、それを真実だと信じ込み、自身の「知識ベース」に加えてしまいます。
- 例え： あなたのロボット助手が、水を飲むために川から水を集めているところを想像してください。しかし、誰かが上流で密かに川に毒を流していました。ロボットはその水が毒されていることを知らず、ただ「これは素晴らしい水です！」と言って、あなたに伝えます。論文は、ロボットには「本物の水」と「毒された水」を見分けるためのフィルターが組み込まれていないと述べています。
5. 解決策：「コ・パイロット（副操縦士）」モデル
では、ロボットを解雇すべきでしょうか？ いいえ。論文は、使い方は変えるべきだが、使い続けるべきだと述べています。
- 推奨事項： 私たちは**「ヒューマン・イン・ザ・ループ（人間が介在する）」モデルを採用すべきです。これは、飛行機の「コ・パイロット（副操縦士）」**のようなものだと考えてください。
- ロボット（コ・パイロット）は、退屈で重い作業を行います：データの収集、ファイルの整理、そして初稿の作成です。
- 人間（キャプテン）は操縦席に座り、ロボットの仕事をチェックし、事実を検証し、最終的な決定を下します。
- なぜか？ ロボットは速いですが、嘘をついたり騙されたりしやすいからです。人間は速度こそ遅いものの、嘘を見抜く判断力を持っています。ロボットが100%信頼できると証明されるまでは、人間が常にコントロールを握っていなければなりません。
まとめ
論文は、AIはインテリジェンス業務における強力な新しいツールであるが、現在は単独で使用するにはリスクが高すぎると結論づけています。それは、まだ安全テストが十分に完了していない強力なエンジンのようなものです。ロボットに一人で車を運転させる前に、より優れた安全チェック（嘘を見抜くテスト、偽ニュースを見抜くテスト、および法的ルール）を構築する必要があります。今のところ、最善のアプローチはパートナーシップです。ロボットが重労働を行い、人間がそれが真実であるかどうかを確認するのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。