Real-World Evaluation of an AI Agent Drafting Translational Impact Summaries

医学研究の世界を、巨大で賑やかな図書館だと想像してみてください。そこでは科学者たちが、病気を治したり、コミュニティを助けたり、お金を節約したりする方法についての新しい本を絶えず書き続けています。しかし、一つ問題があります。その図書館の司書たち（研究プログラムを管理する人々）には、気が遠くなるような困難な仕事が課せられているのです。彼らは、図書館内のすべての科学者が、単に立派な論文を書いているだけでなく、実際に現実世界で変化をもたらしていることを証明しなければなりません。通常、これを行うために、司書は科学者一人ひとりに対して、インターネットを掘り返し、助成金の記録をチェックし、ニュース記事を読み、その功績をたった一文の要約にまとめるために、約15時間を費やす必要があります。それはまるで、干し草の山の中から特定の針を見つけ出し、その針について手書きで詩を書くようなものです。もし科学者が新しい街に移転したり、転職したりすれば、司書はまた最初から探し直さなければなりません。それは遅く、疲れ果てる作業であり、何百人もの科学者を追跡するには不向きな方法です。

ここで、新しい種類の助っ人が登場します。AIエージェントです。このAIを、すべてを知り尽くした魔法のロボットとしてではなく、超高速で疲れを知らない「リサーチ・インターン」と考えてください。このインターンは、数千のウェブサイト、データベース、ニュースフィードを数秒でスキャンし、科学者が何をしたかについての手がかりを集めることができます。しかし、ここでのひねりは、AIは単に最終的なレポートを提出して終わりではないということです。代わりに、AIは「下書き作成者」として機能します。AIはすべての証拠を集め、「インパクト・サマリー（影響の要約）」の初稿を作成します。その後、人間の司書が介入して、その仕事をチェックします。人間はゼロから始める必要はありません。AIの下書きを読み、いくつかの間違いを修正し、「これは正しい」あるいは「これは間違いだ」と言うだけでよいのです。大きな問いは、この「人間とAIのチーム」は、人間が単独で作業する場合よりも速く、より良く仕事をこなせるのか？ということです。

スーパー・インターンの物語

この研究において、イリノイ大学シカゴ校の研究者たちは、この「スーパー・インターン」となるAIエージェントを構築し、実世界の環境で稼働させました。彼らは、特別なキャリア開発プログラムに参加している10人の科学者（「学者」と呼ばれます）を対象にテストを行いました。目的は、AIが証拠を集めてインパクト・サマリーの初稿を書くことで、スタッフが直面していたあの恐ろしい15時間のマラソンから解放できるかどうかを確認することでした。

AIエージェントは、非常に具体的なツールを持った探偵のように機能しました。まず「シード（種）」、つまり科学者の名前と所属先からスタートし、その後、インターネット中を駆け巡る「あてのない捜索（wild goose chase）」を開始しました。AIは公式の医学データベースをチェックし、助成金の記録を確認し、ニュースサイトをスキャンし、さらには政策文書まで掘り起こしました。AIは簡単なことだけで満足せず、科学者が地元のコミュニティをどのように助けたか、あるいは新しい法律にどのような影響を与えたかといった、「非学術的」な証拠も見つけ出そうとしました。これらの手がかりをすべて集めると、AIはそれらを整理されたファイル（「ドッシェ（資料）」）にまとめ、それぞれの発見がどのように世界に貢献したかを説明する一文の要約を作成しました。

しかし、AIは放任されていませんでした。この分野のエキスパートである2人の人間のスタッフが、エディター（編集者）として役割を果たしました。彼らはAIが見つけたすべての内容を精査しました。それぞれの発見に対し、彼らには3つの選択肢がありました。

1. 承認（Accept）: 「完璧だ！まさにその通りだ。」
2. 編集（Edit）: 「惜しい。この詳細を修正してほしい。」
3. 拒否（Reject）: 「いや、これは間違っているか、重要ではない。」

また、AIが見落としたものを追加するオプションもありましたが、AIは非常に徹底的に設計されていたため、見落としはほとんどありませんでした。

得られた結果

結果は非常に刺激的なものでした。人間のエディターたちは、AIの発見の**81.7%**が、そのまま使えるか、あるいはごくわずかな修正で済むものであることを見出しました。つまり、AIが100個の事柄を見つけた場合、人間はそのうち82個を保持したということです。これは大きな意味を持ちます。なぜなら、AIが情報の収集という重労働を担ったことを意味するからです。

最も重要なのは、時間です。

• 以前: 人間のスタッフは、ゼロから科学者のインパクト記録を構築するのに15時間かかると見積もっていました。
• 後: AIが初稿を作成することで、スタッフは科学者一人あたり中央値でわずか14分でレビューと修正を行うだけでよくなりました。

これは劇的な変化です！人間は「ハンター兼ライター」から、「エディター兼レビュアー」へと変わりました。彼らは何時間も探し回る必要はなく、ただAIの成果物をチェックするだけでよくなったのです。

AIは、正しい人物を見つけることにも驚くほど優れていました。サイドテストでは、科学者のメインプロフィールページを見つけるAIの能力は、人間が手動で検索する場合とほぼ同等でした。AIは、人間と同じように、約82%の確率で正しい人物を見つけ出しました。

つまずきとルール

もちろん、AIは完璧ではありませんでした。約18%の割合で、人間は発見を拒否しなければなりませんでした。その理由は以下の通りです。

• 脆弱な情報源: 時として、AIは信頼性の低いウェブサイト（公式なニュースサイトではなく、ランダムなディレクトリページなど）から情報を拾ってしまうことがありました。
• インパクトの欠如: 時として、AIは科学者が「行ったこと」は見つけましたが、それが必ずしも「大きなインパクト」ではなかったこともありました（例えば、科学者が講演を行ったことは素晴らしいことですが、必ずしも命を救うような発見とは限りません）。
• 他人の混同: 時折、AIは似た名前を持つ二人の人物を混同することがありました。

人間は、ある発見が「十分なもの」と言えるかどうかを判断するために、自身の判断力を用いる必要がありました。論文では、AIは「寛容（ジェネラス）」に設計されていると述べられています。つまり、人間が悪い部分を捨てられるように、あえて「多すぎるほど」見つけるように設計されています。これは賢い戦略です。足りないものを探し回るよりも、長いリストを編集する方が容易だからです。

結論

この論文は、人間とAIのチームが、これまであまりに遅すぎて対処できなかった問題を解決できることを示唆しています。AIは「第一段階の著者」として機能し、退屈で時間のかかる検索とドラフト作成を行います。そして人間が介入して、事実を検証し、最終決定を下します。

この研究は、AIが完璧であるとか、人間を完全に代替できることを証明したわけではありません。実際、論文は、AIが情報源を誤ったり、何が「真の」インパクトにあたるかを誤解したりすることがあるため、人間の判断がいまだに絶対的に必要であると主張しています。しかし、この研究は、この新しい役割分担によって、科学者グループ全体のインパクトを追跡することが可能になることを示しています。スタッフは一人につき15時間を費やす代わりに、わずか数分で済ませることができるようになり、科学者たちの科学および社会への貢献を追跡することが現実的なものとなりました。それは、自転車を「モーター付きの自転車」にアップグレードするようなものです。ハンドル操作やペダルを漕ぐ作業は依然として必要ですが、目的地にはるかに速く到達できるのです。