Did LLMs colonize scientific titles? Fifty years of titular colonicity
本研究は、50年間にわたる科学論文のタイトルデータを分析することで、コロンの使用が長年の慣習であり、その普及が進んでいる一方で、大規模言語モデルは人間の著者よりも有意に高い頻度でコロンを含むタイトルを生成しており、このパターンはプロンプトに敏感であり、検索におけるランキング性能に影響を与えることを示すものである。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
学術論文は、読者がリンクをクリックする前にその研究が何についてであるかを伝えるという重責を担う、あの短いフレーズである「タイトル」によって判断されることが多い。数十年にわたり、研究者たちはこれらのタイトルにおける特定のパターンに気づいてきた。それは、2つの点からなる小さな句読点である「コロン」の使用である。あるタイトルは「気候変動：新たな視点（Climate Change: A New Perspective）」のように、コロンを用いて広範な主題と特定の焦点に分割しているかもしれない。この習慣は、学術界では「タイトラー・コロニシティ（titular colonicity）」として知られており、1980年代から観察されてきた。これは情報を整理するための標準的なツールであるが、近年、新たな力がこの場に参入してきた。それが大規模言語モデルである。これらは膨大な量のテキストで学習された人工知能システムであり、要約を作成したり、質問に答えたり、さらには科学的なタイトルを起草したりすることさえできる。これらのツールが研究において一般的になるにつれ、自然な疑問が生じる。すなわち、これらは私たちの書き方を変えているのだろうか？具体的には、これらの機械はコロンを使いすぎており、それが彼らの出力の署名（特徴）となっているのだろうか。そして、この句読点はコンピュータがデータベース内で論文を探す際に、実際に役立っているのか、それとも妨げになっているのだろうか。
これに答えるため、ポーランドのInteractive Craftsの研究チームは、50年の科学の歴史にわたる大規模な調査を実施した。彼らは単に推測したのではない。OpenAlexと呼ばれるグローバルなデータベースから抽出された、1976年から2025年までに発表された約9,500万本のジャーナル論文を精査したのである。彼らの最初の任務は、コロンの歴史をマッピングすることであった。彼らは、その使用が決して直線的な増減ではないことを見出した。代わりに、それは数十年にわたって波打っており、1970年代後半には約16パーセントに位置し、上昇と下降を繰り返した後、近年再び上昇している。2022年までに、英語のタイトルの約25パーセントにコロンが含まれていた。2024年までには、その数字は29パーセント近くに跳ね上がった。そして、2025年への予備的な調査では、34パーセントに達する可能性が示唆された。この最近の上昇は顕著ではあるものの、研究者たちは、この傾向は人工知能が執筆の主要なツールとなる前から始まっていたことを注意深く指摘している。つまり、この増加は、AIによる突然の変化ではなく、科学者の書き方の長い、複雑な物語の一部であるということである。
次に、チームは機械そのものに注目した。彼らは約1,700本の科学的アブストラクト（論文要旨）を取り上げ、3つの異なるオープンソース言語モデルに対し、新しいタイトルを生成させた。彼らはモデルに対して2種類の指示を与えた。一つは中立的なもので、単にタイトルを求めるもの。もう一つは、生物学や工学といった特定の学術分野のスタイル慣習に従うよう求めるものであった。結果は驚くべきものだった。モデルがタイトルを書くとき、彼らは人間の著者が発表された論文の中で行うよりもはるかに頻繁にコロンを使用した。テストされた主要なモデルでは、中立的なタイトルの41パーセントにコロンが含まれていたのに対し、実際の発表されたタイトルの場合はわずか27パーセントであった。モデルに分野の慣習に従うよう指示すると、コロンの使用率はさらに上昇し、60パーセントに達した。このことは、人間はコロンを適度に用いる一方で、これらの人工知能システムは、特に特定の学術スタイルを模倣するように促された際に、コロンを使いすぎる強い傾向があることを示唆している。また、研究者たちは、モデルには一貫性がないことも発見した。同じアブストラクトを見ていても、コロンを含むタイトルを生成することもあれば、含まないこともある。これは、この挙動が問いのされ方に敏感であることを示している。
最後に、研究者たちは、この句読点がコンピュータが論文を探す際に実際に意味を持つのかを知りたかった。彼らは、コロンが1つ含まれるタイトルを取り上げ、そのコロンを単純なスペースに置き換えるという、制御された実験を行った。他のすべての単語は全く同じままにした。そして、修正されたタイトルを使用して、元の論文を見つけるように検索システムに求めた。驚いたことに、コロンを取り除くことで、検索がわずかに効果的になった。コロンがない方が、システムは元の論文をより頻繁に見つけ出し、結果のリストにおいてより高い順位にランク付けした。これは、コロンが人間の読者にとって悪いということを意味するものではないが、このテストで使用された特定の検索技術にとっては、コロンがわずかな障害として機能したことを示している。研究者たちは、この効果は普遍的なものではないと指摘した。多くのタイトルにおいて、この変更は差を生み出さなかったが、かなりの部分において、スペースの方が効果的であった。
結論として、大規模言語モデルは確かに人間の規範を超える頻度で科学的タイトルを「植民地化（colonizing）」しているが、これは最近のコロン使用率の上昇の唯一の原因ではない。この傾向はこれらのツールが広く採用される前から始まっており、その増加は、変化する人間の習慣と機械の影響が混ざり合ったものである。さらに、コロンの存在は、論文が機械によって書かれたものであることを特定する信頼できる方法ではない。なぜなら、人間は数十年にわたってそれらを使用してきたからである。真の教訓は、句読点は単なるスタイルの選択ではなく、機械が情報を読み取り、検索する方法を変える変数であるということだ。人工知能が研究プロセスに統合されるにつれ、こうした言語の小さな変化を理解することは、単にAIを見分けるためだけでなく、私たちが創造する知識が、それを共有するために設計されたシステムによって依然として見つけ出されることを確実にするためにも不可欠である。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。