A new impact for an AI-mediated science
本論文は、ジャーナルのアンバンドル化とAIを介した知識アクセスが進む時代において、科学的インパクトを測る従来の引用ベースの指標は時代遅れになりつつあり、正式な出版物を欠くAIへの関与やオープンソースライブラリ、およびデータセットの貢献を認識し測定する新しいシステムが必要であることを論じている。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
ビッグアイデア：図書館は変わっているが、スコアボードは変わっていない
科学の世界を、巨大な図書館だと想像してみてください。過去70年間、私たちは本の「成功」を、その本の中に他の本から「これを読みました」というメモがいくつあるかで測ってきました。これが引用システムです。論文が何度も引用されれば、それは重要であると見なされます。
しかし、著者であるファビオ・ファヴォレット（Fabio Favoretto）は、図書館が大規模なリノベーションの最中にあると主張しています。私たちは、人間が本を最初から最後まで読む世界から、AIアシスタント（スマートなチャットボットのようなもの）が情報を探すための主要な手段となる世界へと移行しています。
問題は、古いスコアボード（引用数を数えること）は、AIが実際に利用している「新しいもの」を見ることができないため、壊れているということです。
比喩1：目に見えないエンジン
あなたが車を運転していると想像してください。車の成功を判断する古い方法は、他の車がその車に対して何回クラクションを鳴らしたかを数えることでした。しかし現在、その車はソフトウェアコードやデータで作られた、新しい「目に見えないエンジン」で走っています。
- 旧システム： 他の車がその「車」（出版された論文）に対して何回クラクションを鳴らしたかを数えます。
- 新しい現実： 車は実際には、目に見えないエンジン（
pandasやNumPyのようなソフトウェアライブラリ）で動いています。これらのエンジンは非常に不可欠で、それらなしでは車は動けませんが、正式な「本」として書かれていないため、「クラクションを鳴らされる」ことはありません。
この論文は、科学者が使用する最も重要なツールの3分の1には、正式な論文が全く存在しないことを示しています。それらは単なる「コード」なのです。古い引用システムは、これらに対して盲目です。それは、シェフの成功を、彼らが書き残したレシピだけで判断し、そのキッチンが特定の、名前も挙がらない目に見えないブランドのストーブで動いている事実を無視しているようなものです。
比喩2：AI司書
AIアシスタントを、あなたの質問に答えてくれる超高速の司書だと考えてください。
- 古いやり方： もしあなたが「気候変動について何が分かっていますか？」と尋ねたら、司書は、他の司書たちが推奨していた1990年代の最も有名で評価の高い本をあなたに渡すでしょう。
- 新しいやり方： AI司書は、今まさに何が役に立っているのかを見ます。より新しい本、より実践的なガイド、そしてオープンアクセスの要約をあなたに渡します。
この論文は、AIが従来の引用システムよりも、より若く、多様で、より実践的な科学の姿を見せていることを明らかにしました。
- ギャップ： 気候科学において、AIが提示するトップ50の論文は、人間が引用するトップ50の論文よりも、平均して16年若いです。
- 公平性： AIは、高価で閉じ込められたジャーナル（プライベートクラブのようなもの）よりも、無料のオープンアクセス論文（公共の公園のようなもの）を提示する可能性がはるかに高いのです。
提案される解決策：「AIインパクト指数」
著者は、AIインパクト指数と呼ばれる、成功を測る新しい方法を提案しています。論文が何回引用されたかを数える代わりに、この新しい指数は、AIシステムがその著作物にどれだけ「触れた（touch）」かを数えます。
論文では、AIが科学にどのように「触れる」のかを3つの方法で定義しています。
- 検索（Retrieval）： あなたが質問したときに、AIがその論文を見つけ出すこと（司書が棚から本を取り出すようなもの）。
- 生成（Generation）： AIが、その論文と非常によく似た回答を書くこと（学生が本を自分の言葉で要約するようなもの）。
- 記憶（Memorization）： 直接尋ねられたときに、AIがその論文から特定の事実を思い出すこと（トリビアのチャンピオンが特定の年月日を覚えているようなもの）。
重要な区別： 著者は、この新しい指数がその論文が「真実である」ことや「最高である」ことを証明するものではない、と非常に慎重に述べています。これは単に、AIがその著作物に「到達した」ことを証明するものです。それはアクセスの度合いを測るものであり、必ずしも質を測るものではありません。
なぜこれが重要なのか（「だから何なのか？」）
この論文は、もし私たちがスコアリングシステムを更新しなければ、間違ったものに報酬を与えてしまうことになると主張しています。
- リスク： 私たちは、誰ももはや読んでいない華やかな論文を書く人々に賞を与え続け、一方で、AI（および現代の科学）が仕事をする上で依存している目に見えないソフトウェアツールやデータセットを作った人々を無視してしまうかもしれません。
- ゴール： 私たちは新しい「信頼のテクノロジー」を必要としています。かつてジャーナルが承認の印であったように、AIがその仕事を行うために使用するソフトウェア、データ、およびツールを認識し、クレジットを与えることができるシステムが必要です。
要約（まとめ）
科学は、**「本」の世界から「AIアシスタント」**の世界へと移行しています。成功を測る古い方法（引用数を数えること）は、ビデオゲームの人気を、その取扱説明書が何冊売れたかで測ろうとするようなものです。ゲームそのもの（コード、データ、ツール）こそが、実際にみんなが遊んでいるものであるという事実を見落としています。
この論文は、AIがどれほど科学と「遊んでいる（play）」かを数え始めることを提案しています。そうすることで、ようやく、現代の科学を機能させている目に見えないツールに対して、正当なクレジットを与えることができるようになるのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。