Detecting Evidence of LLM Contributions to Open Access Biomedical Literature: A Bibliometric Analysis
約300万本のオープンアクセス生物医学論文を対象としたこの計量書誌学的分析は、2022年以降にLLM関連用語が著しく増加していることを明らかにしており、これは生成AIツールの急速な採用を示唆するとともに、科学的誠実性を維持するための透明性と検出手法の緊急の必要性を浮き彫りにしている。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
何十年もの間、学者たちは自らの文章をより明快にし、研究をより効率的なものにするためのツールに頼ってきました。スペルチェッカーや文法ソフトは、著者の核となる声を変化させることなく、誤りを修正し、より良い言葉の選択を提案してくれる標準的な助けとして、長らく定着してきました。近年、これらの一世代新しいツールが登場しており、それらは驚くほど人間らしく聞こえる文章の段落全体を生成することができます。大規模言語モデルとして知られるこれらのシステムは、膨大な量の記述資料に基づいて学習されており、ほぼあらゆる主題に対して一貫性のある洗練された散文を生み出すことができます。これらは執筆プロセスを加速させるという約束を提示する一方で、科学界に対して困難な問いを投げかけています。それは、人間の研究者が書いた一文と、機械によって作られた一文を、どのようにして見分けることができるのか、という問いです。この区別は極めて重要です。なぜなら、科学文献の完全性は、その中に提示されたアイデアの真正性と事実の正確性に依存しているからです。もし、新しい研究の大部分がこれらのツールによって起草されたり、大幅に編集されたりしているのだとしたら、私たちがその知識をどのように読み、信頼し、積み上げていくかという方法は変わる必要があるかもしれません。
ある研究チームは、言葉そのものに直接目を向けることで、この問いに答えるべく取り組みました。彼らは、PubMed Centralと呼ばれる公開データベースにある、オープンアクセスによる医学および生物学の研究論文の膨大なコレクションに焦点を当てました。このコレクションには数百万の記事が含まれており、世界中の科学者たちがどのように自身の研究を記述しているかを知るための巨大な窓を提供しています。研究チームは、どの特定の論文が機械によって書かれたかを推測しようとはしませんでした。それは人間にとってもコンピュータプログラムにとっても困難であることが証明されている作業だからです。代わりに、彼らは異なる種類のシグナルを探しました。彼らは、以前の研究で人工知能によって人間よりもはるかに頻繁に使用されることが判明している特定の単語やフレーズが、これらのツールが一般に広く利用可能となった2022年後半以降、科学文献の中で突如として非常に一般的になったかどうかを調査しました。
研究者たちは、2019年から2024年の間に発表された約300万の記事を集めました。彼らは、以前の研究において機械生成テキストの特徴であるとフラグが立てられた190個の特定の単語やフレーズのリストを作成しました。これらには、「meticulous（細心の注意を払った）」や「intricate（複雑な）」といった形容詞、「delve（深く掘り下げる）」や「underscore（強調する）」といった動詞、そして「navigating the complexities of（〜の複雑さをナビゲートする）」や「it is important to note（〜に留意することが重要である）」といった長いフレーズが含まれます。その後、彼らはデータセット内のすべての記事をスキャンし、これらの用語がどの程度の頻度で出現するかを確認しました。目的は、これらの言葉の使用頻度が時間の経過とともに変化しているか、特に新しいAIツールのリリース後に使用量に急激な跳ね上がりが見られるかを確認することでした。
結果は、生物医学研究の言語における明確かつ劇的な変化を示しました。2022年以前は、これらの特定の用語の使用は、人間の書き方の通常の変化と一致して緩やかに、かつ着実に増加していました。しかし、2023年に始まり2024年まで継続して、多くのこれらの言葉の使用量が爆発的に増加しました。例えば、「meticulously（細心の注意を払って）」という単語は、2019年のデータベース全体では1,000回未満しか出現していませんでしたが、2024年には16,000回以上出現しました。「it's important to note（〜に留意することが重要である）」というフレーズも同様の急増を見せ、2019年のわずか29件から2024年には800件近くへと跳ね上がりました。おそらく最も示唆に富むのは、より長く複雑なフレーズです。「delving into the intricacies of（〜の複雑さを深く掘り下げる）」という組み合わせは、2023年以前の文献ではほとんど存在しませんでしたが、2024年までには数十の記事に登場していました。研究者たちは、これらが単に一部の言葉が人気を得ているのではなく、AIによる執筆の特徴として知られている特定の言葉の組み合わせが、ますます高い頻度で共に現れているのだと指摘しました。
この研究は、これらの言葉が互いにどのように組み合わされて使われているかについても調査しました。彼らは、AIに関連付けられたこれらの単語のペアやグループが、統計的に偶然起こるとは考えにくい割合で、同じ論文の中に同時に現れていることを見出しました。例えば、「artificial intelligence（人工知能）」と「underscore（強調する）」という言葉が、以前よりもはるかに頻繁に同じ論文の中に現れ始めました。研究者たちは、これらのパターンが、数年かけて緩やかに起こる言語スタイルの緩やかな進化ではなく、生成AIツールの一般公開と正確に一致した突然の変曲点であることを観察しました。この研究は、どの単一の記事が機械によって書かれたかを証明することはできませんが、この言語的変化の規模の大きさは、これらのツールが分野全体の著者によって広範囲に使用されていることを示唆しています。
研究の著者たちは、これが研究自体が必ずしも欠陥があることを意味するわけでも、これらの言葉を使用しているすべての論文が不真正であることを示唆するものでもないことを強調しています。むしろ、これらの知見は、新しい執筆補助ツールが急速かつ広範囲に採用され、科学的コミュニケーションの質感を変えていることを指し示しています。研究者たちは、これらのツールは時として間違いを犯したり、真の理解を欠いたコンテンツを生成したりすることがあるため、科学界はそれらがいつ使用されているかを特定するためのより良い方法を開発する必要があると主張しています。彼らは、これらのツールを禁止しようとするのではなく（これらは今後も残り続ける可能性が高いものです）、学者、編集者、査読者は透明性に焦点を当てるべきだと示唆しています。これらのツールがいつ、どのように使用されたかを認めることで、その作成方法が進化し続けても、科学的記録の信頼性を維持できるのです。研究は、科学の言語は変化しており、これらの新しいパターンを認識することが、人工知能が知識の共有方法をどのように再形成しているかを理解するための第一歩であると結論付けています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。