Diagnosing event dependence in computer-generated-content retraction metadata, 2010–2025
本研究は、2010年から2025年にかけて、コンピュータ生成コンテンツとしてタグ付けされた撤回メタデータの急増は、主に少数の出版社による整理プログラムによって引き起こされたものであり、原稿における生成AIの実際の普及率を反映しているわけではないことを示しており、それゆえ、これらのカウントは生成AIの因果効果を推論するには不適切である。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
学術出版の世界において、論文の撤回（リトラクション）とは、出版された論文が信頼できないことを公に認める行為である。それは訂正であり、それが誠実な誤りであれ、不完全な研究であれ、あるいは意図的な不正であれ、何かがうまくいかなかったというシグナルである。数十年にわたり、研究者や司書は、撤回数の増加は質の低い科学がより多く出版されていることを意味すると仮定し、撤回数を研究の完全性（インテグリティ）を測る大まかな指標として用いてきた。しかし、この仮定は極めて重要な詳細を見落としている。すなわち、撤回は単なる間違いの記録ではなく、発見の記録でもあるということだ。撤回数が多いということは、ジャーナルが単に問題のある論文を多く出版しているだけでなく、問題を特定し修正する能力が高まったことを意味する場合もある。この区別は、アルゴリズムが本物のように見えるが中身はナンセンスな論文を作成するコンピュータ生成コンテンツを扱う際に、特に複雑になる。これらの論文が検知されると、出版社によって大量に一括削除されることが多く、その結果、データに急激なスパイク（突出）が生じる。これは新たな不正の氾濫のように見えるかもしれないが、実際には単一のクリーンアップ作業である可能性がある。
Anton SokolovによるTyche Instituteでの最近の研究は、まさにこの現象を調査しており、2010年から2025年までの期間に焦点を当てている。研究者は、世界中の撤回通知を集めた精選されたコレクションであるRetraction Watchデータベースの凍結されたスナップショットを調査した。総計約61,000件の撤回の中から、研究は「コンピュータ支援」または「コンピュータ生成」コンテンツとして明確にタグ付けされた9,102件の記録を抽出した。これらのタグは、初期のランダムな支離滅裂な文章を生成するシステムから、論文全体を執筆する現代の人工知能ツールまで、幅広い問題をカバーしている。目的は、世界にどれだけの偽論文が存在するかを数えることではなく、撤回数が実際に何を表しているのかを理解することであった。誰が撤回を発行し、いつ発生し、どのようにグループ化されているかを詳細に検討することで、本研究は、数字の劇的な上昇が科学界全体におけるAI生成による不正の着実かつ広範な増加によるものではなく、ほとんどすべて、少数の主要な出版社が行った特定の、大規模なクリーンアップ・プログラムによって引き起こされていることを明らかにしている。
データは、過去10年間の景観における明確な変化を示している。2010年から2019年の間、コンピュータ生成コンテンツは撤回の極めて小さな割合を占め、毎年1パーセント未満であった。状況は2020年を境に急速に変化した。2023年までに、コンピュータ生成コンテンツとしてタグ付けされた撤回の割合は、約42パーセントに急増した。続く2024年と2025年には、その割合は約23パーセントと24パーセントで高止まりした。一見すると、これらの数字は、AI生成された論文が科学文献に押し寄せているという、大規模かつ世界的な爆発的増加を示唆しているように見える。しかし、研究者がこれらの論文を削除した責任者が誰であるかを深く掘り下げたとき、異なる物語が浮かび上がった。高い数値は、多くの異なる出版社が独立して問題を見つけた結果ではなく、少数の特定の出版社が一度に数千の論文を削除するために、大規模かつ組織的な取り組みを開始した結果であった。
例えば、2023年には、単一の出版社系統がコンピュータ生成コンテンツによる撤回の98パーセントを供給した。2024年と2025年においても、異なる年の2つの出版社グループによって、その数値は80パーセントを上回り続けた。計算からこれら主要な出版社の記録を除外すると、コンピュータ生成コンテンツの年間シェアは劇的に低下した。2023年には、41パーセントからわずか0.32パーセントへと減少した。2024年と2025年においても、残りのシェアは同様に小さく、0.6パーセントと1.4パーセント付近を推移した。このパターンは、ヘッドラインを飾る数字が、毎年どれだけの質の低い科学が書かれているかの尺度ではなく、むしろ特定の出版社が特定の年にどれだけの論文を回収することに決めたかの尺度であることを示している。研究によれば、これらの事象はしばしば単一のジャーナル、あるいはメタデータ入力の単一の日に集中しており、これらが分散したシステム全体の問題ではなく、組織的なクリーンアップ・キャンペーンであったことをさらに裏付けている。
また、研究では、これらのコンピュータ生成コンテンツによる撤回を、盗用、重複論文、あるいは査読の妥協といった、論文を撤回する他の一般的な理由と比較した。これら（他の理由）も特定の領域に集中していることで知られているが、コンピュータ生成コンテンツのタグは、それらと比較してもはるかに集中していた。他の種類の撤回は多くの異なる出版社やジャーナルに分散していたのに対し、コンピュータ生成のタグは、どの年においても圧倒的に1つまたは2つの出版社に支配されていた。この極端な集中は、データが科学界全体のAI生成テキストの潜在的な蔓延を反映しているのではなく、少数の大規模な組織による行政的措置を反映していることを示唆している。研究では、撤回の具体的な理由も、どの出版社がクリーンアップを行っているかによって変化することも指摘されており、一部の年は「ペーパーミル（論文工場）」のタグが高く、他の年は異なるラベルが表示されるなど、データが統一的なグローバルな傾向ではなく、特定の出版社の戦略に結びついていることがさらに示された。
最終的に、本研究は、これらの撤回数は慎重に解釈されるべきであると結論づけている。それらは執行とクリーンアップの優れた記録であり、出版社が問題のある著作物をいかに特定し、除去することに成功したかを示している。しかし、それらは著者が論文を書くために人工知能をどの程度使用しているかの直接的な測定値ではなく、また、そのような不正の割合が至る所で上昇していることを証明するものでもない。ある年における高い撤回数は、単に、ある出版社が調査のバックログ（未処理分）にようやく追いついたか、あるいは数千の論文を一括で削除することに決めたことを意味する場合がある。研究の完全性を真に理解するためには、生の合計値を超えて、誰がカウントしているのか、どのようにデータをグループ化しているのか、そしてそのスパイクが新しい不正の波なのか、それとも成功した修正の波なのかを考慮しなければならない。今回の知見は、科学的指標の世界において、大きな数字が常に大きな問題であることを意味するわけではないということ、時にはそれは単に、大規模なクリーンアップを意味しているだけであることを思い出させてくれる。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。