What Are LLMs Doing to Scientific Communication? Measuring Changes in Writing Practices and Reading Experience

技術的サマリー：大規模言語モデル（LLM）は科学コミュニケーションに何をもたらしているのか？

問題定義
科学論文の執筆における大規模言語モデル（LLM）の急速な統合は、執筆慣行の進化と、それによる読書体験への影響に関する重要な問いを提起している。先行研究は、完全に人間が執筆したテキストと完全に AI が生成したテキストを区別することに焦点を当ててきたが、この二項対立的な区別は、科学コミュニケーションの実態を過度に単純化している。実際には、LLM は主に人間が執筆した草稿を洗練、磨き上げ、または改善するために利用されている。さらに、既存の研究では、これらの様式的な変化が人間の読者の明確性、信頼性、そして関与度に対する主観的知覚にどのように影響するかを体系的に測定していないことが多い。本論文は、人間と LLM の協働による執筆の微妙な性質と、それが自然言語処理（NLP）分野における言語様式および読書体験に及ぼす測定可能な影響を理解する上でのギャップに取り組むものである。

手法
本研究は、自然な傾向と統制された様式的な変化的の両方を捉えるために、二重データアプローチを採用している。

1. 自然コーパス（ACL アンソロジー）： 著者は ACL-OCL コーパスを更新し、99,200 件の論文を含めるようにした。2 つの明確な時期を定義した。$t_1$（2020 年 1 月～2022 年 12 月、ChatGPT 以前）と$t_2$（2023 年 7 月～2024 年 12 月、ChatGPT 以後）である。この部分コーパスには 37,000 件以上の論文が含まれている。著者は BERTopic 分析を通じてトピックの比較可能性を確保し、特定の研究トレンド（LLM への移行など）は変化したものの、トピック全体の分布は広範にわたって比較可能であることを確認した。
2. 合成データセット（LLM 支援による書き換え）： LLM の介入効果を分離するために、著者は$t_1$の論文から 3,000 段落をサンプリングし、GPT-3.5-turbo を用いて LLM による改善版を生成した。これには「一貫性を向上させる」「文法を磨く」など、一般的な科学論文の執筆改善タスクを反映する 10 の異なるプロンプトが用いられた。これにより、人間が執筆したテキストと LLM によって修正されたテキストのペア 6,000 組が作成された。

分析フレームワーク
本研究は、多層的な分析を通じて 3 つの研究課題（RQ）に取り組んでいる。

• RQ1（語彙選択）： 著者は$t_1$と$t_2$を比較する通時的な語彙分析を実施した。これには以下の手法が含まれる。
  • 頻度分析： 使用頻度の変化が有意な語を特定するために、対数尤度スコアを計算した。
  • タイプレベル埋め込み： Word2Vec モデルを学習させ、「近隣密度」（意味の専門化対一般化）を測定した。
  • トークンレベル埋め込み： ModernBERT を用いて特定のターゲット語の文脈的用法をクラスタリングし、意味的意味分布の変化を特定した。
• RQ2（様式的特徴）： 表面、構文、心理言語学、感情の各次元を網羅する 145 の言語的特徴（elfenおよび LFTK により抽出）に対して、エラスティックネット正則化を適用したロジスティック回帰モデルを適用した。$t_1$と$t_2$、および人間が執筆したテキストと LLM によって修正されたテキストを区別する堅牢な予測因子を特定するために、安定性選択（stability selection）が用いられた。
• RQ3（読書体験）： NLP 分野の専門家 20 名によるパイロット注釈調査を実施した。参加者は、人間が執筆したテキストと LLM によって改善されたテキストをペアで比較し、明確性、真正性、信頼性、興奮度の 4 つの次元について 4 段階のリッカート尺度で評価を行った。

主要な結果

• 語彙的変化： 語の頻度と使用文脈に有意な変化が観察された。
  • 専門化対一般化： 一部の用語（例：ensure）は近隣密度の増加を示し、意味の専門化（「品質を保証する」などの特定の他動詞的用法への収束）を示唆した。一方、他の用語（例：utilize）は密度の減少を示し、意味の一般化（「利用する」という意味への拡大）を示唆した。
  • 様式的置換： 一般的な表現（例：use, good）は、よりフォーマルまたは専門的な用語（例：utilize, comprehensive）に取って代わられ、その傾向は自然コーパスと合成 LLM データセットの両方で一貫していた。これは、LLM がこれらの様式的な変化を推進していることを示唆している。
• LLM 修正テキストの様式的特徴： 回帰分析により、LLM によって修正されたテキストは以下の特徴を持つことが明らかになった。
  • 複雑性： 長い単語、より高い平均習得年齢、より複雑な構文構成（例：副詞節、否定）が特徴である。
  • 密度： 語彙的多様性（Simpson's D）の低下と動詞の多様性の減少が見られる一方、ストップワードの減少により意味密度は高まっている。
  • 構造： 固有名詞の好適性や、特定の句読点パターン（カンマやダッシュの増加、括弧の減少）が特徴である。
  • 感情： 感覚運動語（例：enhance, highlight）や怒り関連語の使用が増加したが、文脈によっては信頼関連語の使用頻度は低下した。
• 読書体験： 注釈調査により、LLM によって改善されたテキストに対する主観的な好みが明らかになった。
  • 肯定的評価： 専門家は、LLM 修正テキストを明確性と興奮度において有意に高く評価した。
  • 混合的・否定的評価： 信頼性と真正性については効果量が小さかったが、評価者の相当数がこれらの次元において人間によるオリジナルを好んだ。
  • 主観性： 定性的なフィードバックによると、専門家はタスクを困難と感じており、明確性に関する定量的評価が肯定的であったにもかかわらず、LLM による執筆に対して全体的に否定的な態度を持っていた。これは、知覚される読みやすさと信頼性・真正性の間の乖離を浮き彫りにしている。

意義と貢献
本論文は、4 つの主要な貢献を主張している。

1. 様式変化の実証的証拠： ChatGPT 以降の科学論文は、LLM の使用に起因する明確な語彙的および様式的パターン（例：語彙的多様性の低下、単語の複雑性の増加）を示すことを実証した。これは、自然データと統制された合成実験を比較することで検証された。
2. 読書体験との関連： これらの客観的な様式的変化と主観的な読書体験との間の関連性を確立し、LLM によって改善されたテキストは、必ずしもより真正または信頼できるわけではないが、より明確で興奮を喚起するものとして知覚されることを明らかにした。
3. リソースの公開： 著者は、将来の取り込み用のスクリプトを備えた更新された ACL-OCL コーパス（99,300 件の論文）と、200 件に対する専門家による注釈を付した 3,000 組の人間 - LLM テキストペアの新しいデータセットを公開した。
4. 方法論的フレームワーク： 本研究は、二項対立的な検出を超えて、AI 支援による執筆の具体的な言語的指紋と、それが科学コミュニティに及ぼす影響を特徴づけるための包括的なフレームワークを提供している。

著者らは結論として、LLM は科学テキストの知覚される明確性と関与度を高めるように見える一方で、同時に均質化され複雑な執筆様式をもたらしており、その長期的な影響についてはさらなる調査が必要であると述べている。