What does Retraction Watch's "computer-generated content" reason capture? A metadata analysis of 9,161 retractions
9,161件の撤回論文に関するこのメタデータ分析は、Retraction Watchにおける「コンピュータ生成コンテンツ」という理由が特定の出版社に集中しており、ペーパーミルと強く関連していることを明らかにしているが、これらのパターンは共同コーディングの実態を反映したものであり、撤回された論文内に実際に生成AIが存在していたことの決定的な証拠を与えるものではない。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
人類の知識という広大な図書館において、出版されたすべての研究は真実の積み木であるはずである。しかし、時としてその積み木が引き抜かれることがある。ジャーナルが論文に欠陥や不正、あるいは単なる誤りがあると判断した場合、論文の撤回（リトラクション）が行われ、科学の棚から事実上取り下げられる。数十年にわたり、研究者たちはシステムがどのように失敗するかを理解するために、これらの撤回事例を追跡してきた。近年、撤回通知に新しい理由が登場した。「コンピュータ生成コンテンツ」である。このラベルは、調査の結果、論文が人間ではなく機械によって、その全部または一部が執筆されたと判断された場合に適用される。人工知能ツールがより強力で身近になるにつれ、この理由は急速に増加しており、多くの人々はこれが生成AIによる不正の新たな波の兆候であると考えている。問題は、このラベルが本当にAIによって書かれた論文の急増を指し示しているのか、それとも全く別の何かを捉えているのかという点である。
ジョナス・マンダルネスという研究者は、このラベルが正確に何を捉えているのかを調査することに着手した。66,000件以上の撤回記録を含む膨大なデータベースを用い、この研究は「コンピュータによる補助または生成されたコンテンツ」という理由が付された9,161件の論文に焦点を当てた。目的は、これらの論文が、出版されてから取り下げられるまでの期間、他にどのような問題を抱えていたか、そして撤回後にどの程度引用されたかという点で、他の撤回論文と異なる挙動を示すかどうかを確認することであった。その結果、このラベルの背後にある物語は、単なるAIの悪用による急増よりも、はるかに複雑で特殊なものであることが明らかになった。
データが最初に示したのは、数字の劇的な急増であったが、それは科学界全体にわたる着実な上昇ではなかった。2020年以前、この理由はほとんど存在せず、わずか28報の論文にしか現れていなかった。しかし、2023年までには、その年の全撤回件数の約42パーセントを占めるようになった。この突然の爆発は、AI生成による不正の津波のように見えた。しかし、研究者が詳しく調べると、その波はあらゆる場所から来ているわけではなかった。それはほぼ完全に一つの特定の場所に集中していた。それは、Hindawiとして知られる単一の出版社である。実際、このラベルが付された論文の70パーセントが、この一つの出版社から来ていた。この出版社は最近、自社の特集号プログラムに関する大規模な内部調査を実施し、査読プロセスの広範な操作を暴いていた。この研究は、このラベルが、科学分野全体におけるAI執筆の一般的な蔓延というよりも、主にこの特定の、大規模なクリーンアップ作業の結果を捉えているものであることを示唆している。
もう一つの共通した仮定は、これらのコンピュータ生成論文が、他の不正な論文よりもはるかに早く発見されているというものであった。機械はテキストを素早く生成できるため、その間違いも素早く見つかるのが論理的であると思われた。生の数字もそれを支持しているように見え、「コンピュータ生成」の論文は、乱雑で多様なタイムラインを持つ他の撤回論文と比較して、撤回までの期間が非常に短いことを示していた。しかし、このタイトなタイミングは、データの集中によって生じた錯覚であった。研究者がこれらの論文を、同じ出版社の同じ年の他の論文と比較したところ、タイミングの差は消失した。「コンピュータ生成」の論文がより早く捕まったわけではなく、単にその特定の出版社の調査中に、すべて同時にレビューされ撤回された論文のバッチの一部であったに過ぎなかったのである。支配的な出版社を比較対象から除外すると、これらの論文が独自の、迅速なタイムラインを持っているという考えは完全に消え去った。
この研究はまた、このラベルと「ペーパーミル（論文工場）」との関連についても調査した。ペーパーミルとは、偽の著者名や捏造された原稿を販売する組織のことである。当初、データは強い関連性を示した。つまり、「コンピュータ生成」の論文の71パーセントが、他の撤回論文のわずか9パーセントと比較して、ペーパーミルのフラグも付与されていたのである。これは、このラベルがこれらの犯罪的運営の信頼できる指標であることを示唆していた。しかしここでも、データを出版社と年ごとに分類すると、景色が変わった。2023年以前は、その関連性は存在しなかった。2023年と2024年において、その関連性は非常に強くなったが、それは特定の出版社内でのみであった。他の大規模な出版社では、関係が逆転しており、「コンピュータ生成」の論文は他の撤回論文よりもペーパーミルに関連付けられる可能性がむしろ低かった。この極端な変動は、このラベルとペーパーミルを結びつける単一の普遍的なルールは存在しないことを意味している。その関連性は、誰がいつ調査を行っているかに完全に依存しているのである。
最後に、研究者は、これらの論文が撤回後に引用される頻度が低いかどうかを調べた。これは、科学コミュニティが警告に注意を払っているかどうかを示すものである。一見すると、「コンピュータ生成」の論文は、同様の撤回論文よりも著しく引用されていないように見えた。しかし、この違いは、対照群となる論文が撤回される前に、すでに大量に引用されていたという事実に大きく起因していた。研究者が、これまでに受けた引用数に基づいて論文を完璧にマッチングさせたところ、撤回後の引用数の差はほとんど消失した。残された微小な差は統計的に有意ではなく、科学コミュニティは、事前の評判を考慮に入れた場合、これらの論文を他の撤回された著作と何ら区別なく扱っていることを示唆している。
おそらく最も示唆に富む発見は、撤回ノート内の特定の単語の検索から得られた。研究者は、メタデータの中に「ChatGPT」や「大規模言語モデル」といった特定のAIツールの言及があるかどうかを調べた。数千件の記録のうち、そのような特定の用語を含んでいたのはわずか21件であった。さらに驚くべきことに、 「コンピュータ生成コンテンツ」のラベルが付され、かつ特定のAIツールに言及していた論文は、そのツール自体に関する研究ではなく、AI「について」の研究であった。AI生成の図表に言及していた唯一の論文は、そもそも「コンピュータ生成コンテンツ」のラベルすら付いていなかった。これは、このラベルが「これは機械によって書かれた」という明示的な記述に基づいて適用されているのではないことを示している。むしろ、論文の完全性に関するより広範な調査、多くの場合、査読の妥正に関する発見とともに適用されているのである。
本研究は、「コンピュータ生成コンテンツ」というラベルが、生成AIの悪用を示す信頼できる代用指標ではないと結論づけている。それは、特定の出版社の特集号プログラムに対する大規模な特定の調査の記録であり、そこではペーパーミルや査読の失敗を含む幅広い問題に対してこのラベルが適用されたのである。データによれば、このラベルは、独自のタイプの論文（より速く捕まり、あるいはコミュニティから異なる扱いを受ける論文）を指し示しているわけではない。研究者が実際の撤回通知を読み、内容を検証できない限り、このラベルをAI生成による不正の尺度として使用することは、問題に対する歪んだ見解を招くことになるだろう。真の物語は、AIによって書かれた科学の突然の侵攻ではなく、その発見を記述するために広範なラベルを使用した、特定の出版ワークフローにおける集中したクリーンアップなのである。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。