Human--LLM Collaboration Is Transforming Complexity Metrics in Scientific Texts

技術的要約：人間とLLMの協働が科学文献における複雑性の指標をいかに変容させているか

問題提起
大規模言語モデル（LLM）は、特に2023年初頭の普及以来、人間とAIの言語的エコシステムにおける不可欠な貢献者となりつつある。LLMは人間の言語に基づいて学習されているが、その科学コミュニケーションへの統合は、言語の創発的特性をどのように変化させるのかという問いを投げかけている。ここには対立する理論的視点が存在する。一つは、LLMが簡略化や学習データの再利用を通じて語彙的複雑性を減少させる可能性があるとする説（将来のモデルがAI生成された出力で学習する場合、「モデル崩壊」を招く可能性がある）であり、もう一つは、人間とAIが混在する集団が、集団的なバイアスやフィードバックループを通じて新たな創発的ダイナミクスを生み出す可能性があるとする説である。本研究が扱う核心的な問題は、LLMによって生成または修正されたテキスト（具体的にはarXivの抄録）の流入が、ジップの法則（Zipf's law）、ヒープスの法則（Heaps' law）、および語彙回転率（word turnover rates）といった、語彙的複雑性を支配する統計的法則に検出可能な変化をもたらすか否かである。

手法
著者らは、2023年における生成AIツールの急速な普及を「自然実験」として扱う。彼らは2010年1月から2025年9月までの270万件以上のarXiv抄録（初版 v1 に焦点を当てる）のコーパスを分析した。

1. LLMスタイル指数の構築： LLMの影響を定量化するために、著者らは複合的な「LLM関連スタイル指数」を構築した。この指数は、LLMの使用に伴って増加することが知られている特定の文体マーカー（ダッシュの使用：エンダッシュ、エムダッシュ、ハイフン、および「significant（重要な）」、「crucial（極めて重要な）」、「showcase（披露する）」といった特定の語彙マーカー）の標準化された月間頻度を集計したものである。
2. 複雑性指標： 本研究では、語彙構造の3つの主要な尺度を追跡している。
   • 語彙サイズ： ユニークな単語タイプ（語種）の数。
   • ヒープスの法則の指数 ($b$)： コーパスのサイズと語彙成長の関係を記述する（$V(N) = aN^b$）。
   • ジップの法則の指数 ($\alpha$)： 単語の順位・頻度分布を記述する（$P(r) \propto r^{-\alpha}$）。
   • Top-$y$ 回転率： コンテンツ単語の上位$y$位リストに新たに参入する単語の割合。これは伝達バイアス（同調性 vs 新規性）の診断指標となる。
3. 統計分析：
   • ベンチマーキング： 人間のテキストを、HC3コーパスを用いてLLM生成テキスト（GPT-3.5）と比較し、ベースラインの違いを確立した。
   • 時系列トレンド： 2014年から2025年までのarXivコーパスの月次統計を算出した。
   • 回帰モデリング： 多変量モデルを用いて、出版年、LLMスタイル指数、および2023年以降を示す指示変数、ならびにそれらの交互作用項を用いて、語彙的複雑性の指標を予測した。このアプローチにより、一般的な長期的傾向からLLMスタイルの影響を分離している。
   • 早期警戒信号（EWS）： ローリング・ラグ1自己相関、歪度、および分散を分析し、時系列における臨界減速（critical slowing down）や不安定性を検出した。

主な結果

• ベースラインの違い： HC3コーパスにおいて、LLM生成テキストは、人間のテキスト（$b=0.539$, $\alpha=1.681$）と比較して、わずかに低いヒープス指数（$b=0.522$）と、わずかに高いジップ指数（$\alpha=1.741$）を示した。これは、LLMの出力が語彙の多様性がわずかに低く、集中度が高いことを示唆しているが、分布自体は類似している。
• arXivにおける時系列的変化：
  • スタイル指数： 2023年以降、ChatGPTのようなツールの普及と時期を同じくして、LLM関連スタイル指数の急激な上昇が観察された。
  • 語彙指標： ジップの法則およびヒープスの法則の指数における変化は微細であった。しかし、語彙サイズとヒープス指数は、2023年以降に緩やかな加速成長を見せた。
  • 交互作用効果： 極めて重要な点として、LLMスタイル指数と語彙的複雑性指標との関係は2022年以降に変化した。スタイル指数と語彙サイズ、ヒープス指数、およびジップ指数の正の相関は、2023年以降の期間において**平坦化（フラット化）**した。回帰モデルは、2023年以降の語彙成長が、それ以前の時系列的傾向から予想される水準を超えていることを裏付けており、これはダイナミクスの明確な転換を示唆している。
  • 回転率： 最も顕著な構造的変化は、2023年からの上位ランク単語の回転率の急増であった。リストのサイズに対する回転率のスケーリングは、2023年以前のわずかな凹型（$b=1.15$）から、2023年以降はわずかな凸型（$b=0.969$）へとシフトしており、これは上位ランクに新しい単語が参入する速度が高まっていることを示している。
  • EWS診断： 標準的な早期警戒信号の診断（自己相関、分散）は、わずかな変化しか示さなかった。これは、回転率における構造的変化はあるものの、システムが臨界的な不安定性のティッピングポイントに達したわけではないことを示唆している。

意義と主張
本論文は、科学的な執筆へのLLMの統合が、微細ではあるが測定可能な形で、言語のエコシステムの創発的特性を変容させていると主張している。LLMが一様に語彙の多様性を減少させるという仮説に反して、著者らは現在のLLMの寄与が語彙の豊かさの増加と、高頻度語における回転率の加速に関連していることを見出した。

LLMスタイルと複雑性指標との関係の平坦化は、混合された人間とAIの集団のダイナミクスが、純粋な人間または純粋なAIによる生成とは異なることを示唆している。回転率の増加は、システムの「伝達バイアス」の変化を意味しており、これは新規性を注入しているか、あるいは科学的言説における同調のダイナミクスを変化させている可能性がある。

著者らは、これらの変化は、短期的な効率性と長期的な情報の多様性との間の潜在的な緊張関係を指し示していると結論づけている。人間が生成する言語とハイブリッドな言語の多様性が時間の経過とともに減少すれば、そのようなデータで学習される将来のAIシステムの堅牢性に影響を与える可能性があると警告している。本研究は、LLMを単なるツールとしてではなく、文化進化における新たなフィードバックメカニズム（その影響は文字の出現や市場の出現に匹敵するもの）として位置づけ、人間とAIの協働が科学的知識の複雑性をどのように再形成しているかを継続的に監視する必要があると論じている。