LLM assisted writing deserves empirical evaluation

科学は常に一つの対話であり、その対話は、発見を国境や言語を越えて共有するための明快な文章力に依存してきました。何十年もの間、研究者たちは、自らの研究がグローバルなコミュニティに理解されるよう、メンターや専門のエディター、そして翻訳サービスに頼ってきました。今日、この対話に新たな参加者が加わりました。大規模言語モデルです。これらは膨大な量のテキストを用いて学習したコンピュータプログラムであり、人間の言語を驚くほど流暢に読み、要約し、書き換えることができます。これらのツールが研究所やオフィスで一般的になるにつれ、科学における彼らの役割をめぐる論争が生じています。多くの人々は、それらを使用することで、アイデアの真の著者が隠されたり、誤りが混入したり、あるいは研究の質が低下したりすることを懸念しています。その結果、現在の議論の多くは、機械が論文執筆をどのように手助けしたかを検知すること、つまり問題を主に「取り締まり」の問題として扱うことに集中しています。しかし、この検知への注視は、より重要な問いを見落としている可能性があります。すなわち、これらのツールの実際の使用が、科学の伝達方法や、誰が科学に参加できるのかという点をどのように変えているのか、という問いです。

これに答えるため、ウェイルコーネル医科大学とコロンビア大学の研究チームは、理論ではなく証拠を見ることにしました。彼らは、医療や公衆衛生においてデータとテクノロジーがどのように活用されているかを扱うヘルス・インフォマティクスの分野における、69,209本という膨大な数の学術論文を調査しました。研究者たちは、これらの論文がどのように異なるかを見るために、論文を3つのグループに分けました。第1のグループは、最も高度なチャットボットが一般公開される前の、2022年後半以前に書かれた論文です。第2のグループは、その日付以降に書かれた、これらのツールを使用した形跡が見られない論文です。第3のグループは、同じ最近の期間の論文であり、研究者が大規模言語モデルによる支援を受けていると特定したものです。これらの支援を受けた論文を見つけ出すために、彼らは、人間の文章と、AIによって書き換えられた、あるいは生成されたテキストとの間の微妙な違いを認識するように訓練された、特化したコンピュータプログラムを使用しました。

分析の結果、これらのツールによって支援された論文は、批判家たちが恐れているような、質の低い、あるいは真剣さに欠ける仕事ではないことが明らかになりました。むしろ、データは異なる現実を示唆していました。これらの論文は、プレゼンテーションにおいてより焦点が絞られている傾向がありました。典型的な科学論文はいくつかの異なるトピックを彷徨うことがありますが、AI支援論文は、単一の明確な主題により密接に寄り添っていました。彼らのタイトルと要約は研究のメインテーマと密接に一致しており、読者がその研究が何についてであり、より広い分野の中でどこに位置づけられるのかを正確に理解することを容易にしていました。この明快さは、アイデアが独創性に欠けていることを意味するのではなく、むしろ、ツールが著者たちによって、確立された科学的対話の中に自らの研究をより精密に位置づける助けとなったことを示唆しています。

もう一つの重要な変化は、これらの論文が他の著作をどのように引用しているかに現れました。AI支援論文は、支援なしで書かれた論文よりも多くの出典を引用しており、それらの出典はより幅広いトピックをカバーしていました。この発見は、機械が価値を加えることなく単に執筆を速めるだけであるという考えに異を唱えるものです。これは、研究者が、複雑なテキストを要約したり新しい検索語を生成したりすることによって、おそらくそうでなければ見つけられなかったであろう文献を探索するために、これらのツールを使用していることを示唆しています。しかし、研究者たちは、参考文献のリストが長いことが、自動的に研究がより深く、あるいはより優れていることを意味するわけではないと指摘しています。参考文献目録は広範であっても浅い場合もありますし、主要な議論と緩やかにしか結びついていない引用を含むこともあります。ツールは幅広い情報の網を広げることを容易にしますが、最も関連性が高く正確な情報源を選択する責任は、依然として人間の著者にあります。

おそらく最も衝撃的な違いは、誰がこれらの論文を書いているかで見られました。研究によれば、AI支援論文は、英語が第一言語ではない国を拠点とする筆者が第一著者である可能性が高いことが示されました。また、大陸を越えた研究者間のコラボレーションも多く、低中所得国の著者も多く含まれていました。このパターンは、これらのツールが、国際的なジャーラルでの出版を困難かつ高価なものにしている言語の壁を乗り越えるための、架け橋として機能している可能性を示唆しています。編集や翻訳のオンデマンドの助けを提供することで、テクノロジーは公平な競争の場を作り出し、より多様な声がグローバルな科学的対話に参加することを可能にしているのかもしれません。

こうした焦点の変化、引用の習慣、そして著者属性の変化にもかかわらず、研究の可視性とインパクトは安定していることが研究で判明しました。AIの助けを借りて書かれた論文は、無視されたり、引用されたりすることが少なくなるといった懸念がよくあります。データはその支持を裏付けませんでした。研究者が論文の出版後の引用速度を比較したところ、AI支援論文は、支援なしで書かれたものと同等のパフォーマンスを示しました。また、高い威信を持つジャーナルにも掲載されており、他のグループと同様でした。これは、科学コミュニティがこれらの論文を拒絶しているのではなく、伝統的な著作と同じ速度で読まれ、認識されていることを示しています。

研究者たちは、人工知能に関する対話を変える必要があると結論付けました。人々がこれらのツールを使っていることをどうやって見つけるか、あるいは「真の」学術研究と「支援された」研究をどう分けるかに焦点を当てるのではなく、科学コミュニティは研究自体の質に焦点を当てるべきです。研究は、これらのツールは本質的に善でも悪でもなく、スペルチェッカーや統計ソフトウェアパッケージと同様に、執筆プロセスにおける新しい一部に過ぎないことを示唆しています。その影響は、それらがどのように使われるかに完全に依存します。もしそれらが著者たちのより明確なコミュニケーションや、より多様な視点の包含を助けるのであれば、強力な善の力となり得ます。もしそれらが手抜きをしたり誤りを隠したりするために使われるのであれば、有害となり得ます。証拠は、これらのツールがすでに科学がどのように書かれ、誰が書くのかという形を変えつつあることを示しており、最善の道は、使用されたソフトウェアによってではなく、その正確さと誠実さによって作品を判断することなのです。