💬 NLP

More Aligned, Less Diverse? Analyzing the Grammar and Lexicon of Two Generations of LLMs

本研究は、HPSG 形式と多様性指標を用いて、2 世代の LLM と人間が執筆したニューステキストを比較し、人間の執筆は安定している一方で、新しい指示調整モデルは構文および語彙的多様性が著しく低下しており、一貫性の向上にもかかわらず表現範囲の狭小化が懸念されることを明らかにした。

原著者： Adrián Gude, Roi Santos-Ríos, Francis Bond, Dan Flickinger, Carlos Gómez-Rodríguez, Olga Zamaraeva

公開日 2026-05-08

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Adrián Gude, Roi Santos-Ríos, Francis Bond, Dan Flickinger, Carlos Gómez-Rodríguez, Olga Zamaraeva

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが音楽評論家だと想像してください。2 つのバンドを比較しています：The Humans（プロのジャーナリスト）とThe Robots（人工知能）。時間の経過とともに、彼らの音楽がどのように変化してきたかを見てみたいのです。

この論文は、まさにこの 2 つのグループの楽譜を深く掘り下げるようなものです。単にメロディ（言葉）を聴くだけでなく、研究者たちは文法（和音と構造）と語彙（使用された特定の楽器）を分析し、ロボットが人間に似てきているのか、それとも全く別の何かに変貌しつつあるのかを確認しました。

以下に、彼らの発見を簡単な言葉で解説します。

1. 設定：2 つの時代、2 つのバンド

研究者たちは 2 つの異なる時期を比較しました。

The Humans：彼らは2023 年と2025 年に書かれた『ニューヨーク・タイムズ』のニュース記事を分析しました。
The Robots：2 つの世代の AI モデルを比較しました。
- 古いロボット（2023 年）：これらは「ベース」モデルでした。彼らを、思いつくままに演奏する、未訓練の raw なミュージシャンだと考えてください。
- 新しいロボット（2025 年）：これらは「インストラクションチューニング済み」モデルです。彼らを、厳格なルールブックを与えられ、コーチからどのように振る舞い、何を話し、いかに「役立つ」べきかを正確に指示されたミュージシャンだと考えてください。

2. 大発見：「より整合性が高く、多様性が低い」

主要な発見は少し驚きです。AI が賢くなり、人間の指示に「より整合性」を取るようになるにつれて、人間のような作家に聞こえるようになるだろうと予想するかもしれません。

現実：新しい AI モデルは、実際には人間よりも少なく、そして自分たちの古いバージョンよりも少なく聞こえるようになりました。

The Humans：プロのジャーナリストはあまり変わっていません。彼らの執筆スタイル、文の構造、言葉の選び方は、過去 2 年間で安定しており多様性を保っています。彼らは新しいアイデアで即興演奏を続けるジャズバンドのようです。
古いロボット：これらのモデルは実際には非常に多様でした。彼らは幅広い文の構造と言葉を使用しており、語彙の点では人間以上に多様であったことさえありました。
新しいロボット：これらのモデルは退屈なまでに一貫性を持つようになりました。彼らは「風味」を失いました。
- 構文的多様性（構造）：彼らはより少ない種類の文の構造を使用します。
- 語彙的多様性（言葉）：彼らははるかに狭い範囲の言葉を使用します。彼らは特定の固有名詞、日付、独自の詳細を避けます。

3. 「セーフティフィルター」効果

なぜロボットは変化したのでしょうか？論文は、それがインストラクションチューニングによるものであると示唆しています。

古いロボットが、あちこちに絵の具を投げつける野生の画家だったと想像してください。新しいロボットは、「間違いを犯すな、幻覚を見せるな、事実に忠実であれ」と指示された画家です。

これらのルールに従うために、新しい AI モデルは安全策を取るようになりました。

事実を間違えたくないという理由から、彼らは「ワシントン」や「ベン・カーディン上院議員」のような特定の固有名詞の使用を止めました。
彼らはリスクとなりうる複雑な文の構造の使用を止めました。
その代わりに、彼らは理解しやすいが、人間の執筆に特有の「火花」に欠ける、長く安全で反復的な文を使い始めました。

4. 「読みやすい」というパラドックス

ここにおかしいひねりがあります。新しい AI モデルは人間よりも長い文を書きますが、その文はコンピュータが分析する方が容易です。

比喩：人間の作家が、隠された扉や秘密の通路を持つ複雑で曲がりくねった城を築くと想像してください。それは美しいですが、地図化するのは困難です。
新しい AI は、扉のない非常に長くまっすぐな廊下を築きます。それは人間の城よりも長いですが、予測可能性が高いため、歩くのは驚くほど簡単です。

研究者たちは、新しい AI のテキストが非常に規則的で公式的であるため、コンピュータの文法チェックツールがそれをほぼ完璧に処理できる（99% の成功率）のに対し、人間の執筆はわずかに混沌としており、解析が難しい（94〜95% の成功率）ことを発見しました。

5. 結論

この論文は、新しい AI モデルが指示に従い、「役立つ」ように聞こえることにおいては優れているものの、彼らは創造性と多様性を安全性と予測可能性と引き換えにしたと結論づけています。

彼らはもはや「平均的な」作家ではなく、「安全な」作家になりつつあります。彼らは表現の範囲をこれほどまでに狭めてしまったため、今や人間のジャーナリストよりも、また訓練の少ない古い AI モデルよりも多様性が低くなっています。

要約すると：ロボットはルールに従うのが上手くなりましたが、その過程で面白くあることを忘れてしまいました。

技術的サマリー：より整合的か、多様性は減少か？LLM の 2 世代にわたる文法と語彙の分析

問題提起
大規模言語モデル（LLM）は言語的側面において人間の作家と比較されることが増えているが、これらの差異を定量化する堅牢な手法は未だ発展途上である。特に、指示チューニングや人間のフィードバックに基づく強化学習（RLHF）がモデル出力の文法および語彙的多様性に与える影響は十分に理解されていない。先行研究ではベースモデルが人間のテキストと異なることは確立されているが、より新しい指示チューニング版の世代が、人間およびそれ以前のモデルの両方とどのように比較されるかは不明である。本研究は、より良い整合性と一貫性のために設計された新しい LLM が、構文および語彙の多様性を犠牲にしているかどうかを調査することで、このギャップに取り組む。

手法
著者らは、堅牢性と一般化可能性を確保するため、標準的な NLP タスクベースの指標ではなく、形式言語学の枠組みを採用した。

枠組み: 本研究では、Head-Driven Phrase Structure Grammar（HPSG）と English Resource Grammar（ERG）を利用する。統計的パーサーや Universal Dependencies とは異なり、ERG はすべての well-formed な英語文に対して構造を提供するように設計された決定論的かつ網羅的なチャートパーサーであり、稀な言語現象や解析可能性の分析を可能にする。
データセット:
- 人間のテキスト: 2 つの異なる時期からの『ニューヨーク・タイムズ』（NYT）のリード段落：2023 年（先行研究で使用）および 2025 年（新たに収集）。
- LLM テキスト: 2 つの世代のモデルを比較した：
  - 旧世代（2023 年以前）: 2023 年 10 月以前にトレーニングされたベースモデル（LLaMA 7B/13B/30B/65B, Falcon 7B, Mistral 7B）。
  - 新世代（2024 年）: 2024 年までトレーニングされた指示チューニングモデル（Qwen 2.5, Mistral 7B v0.3, GPT-4o, LLaMA 3.3）。
- 生成プロトコル: 2025 年の人間データについては、LLM に NYT の見出しとリード段落の最初の 3 語を提示して合成リードを生成させた。指示チューニングモデルには、完了タスクをシミュレートするために明示的なシステム/ユーザープロンプトが必要であった。
指標: 多様性は生態学および情報理論の指標を用いて定量化された：
- シャノン・ウィーナー指数（ $H'$ ）: 分布の豊かさと均等性を測定する。
- シンプソン指数（ $D$ ）: 2 つのランダムに選択されたトークンが異なるカテゴリに属する確率を測定する。
- これらの指標は、構文タイプ（句構造構成）と語彙タイプ（単語の制約の複雑な HPSG 表現であり、表面語彙とは区別される）に適用された。

主な貢献

年代比較: 先行研究が LLM の単一世代と人間を比較するのに対し、本研究は 2 つの世代の LLM（ベース対指示チューニング）を、2 つの時間的サンプルの人間の執筆と直接対比する。
形式言語学的分析: HPSG/ERG の使用は、構文と語彙を分析するための言語学的に根拠があり、理論に依存しない手法を提供し、NLP タスクのパフォーマンスや粗い品詞タグ付けに内在するバイアスを回避する。
多様性指標の適用: シャノン指数とシンプソン指数を文法構造に適用することで、モデル世代間でのスタイルのシフトを体系的に追跡する方法を提供する。

結果

人間の安定性: 2023 年と 2025 年の英語ニューステキストは、構文および語彙的多様性の指標の両方で顕著な安定性を示し、専門的なジャーナリズムにおける多様性のバランスが一貫していることを示した。
LLM の乖離:
- 構文的多様性: 新しい指示チューニングモデル（2025 年）は、古いベースモデル（2023 年）と比較して、構文的多様性が著しく低下していた。古いモデルは人間の多様性に近かったのに対し、新しいモデルは修飾や接続を伴う構成（例えば、修飾語を含む名詞句）を好む一方、名前や日付などの具体的な詳細を避けていた。
- 語彙的多様性: 低下は語彙的多様性においてさらに顕著であった。驚くべきことに、古い LLM（2023 年）は人間のテキストおよび新しいモデルを上回る最高レベルの語彙的多様性を示した。新しいモデル（2025 年）は最低レベルの語彙的多様性を示し、「基本的な」語彙タイプ（形容詞、一般的な名詞、他動詞）に依存し、具体的な指し示しを避けていた。
- 句読点: 新しいモデルは、人間および古いモデルと比較して、エムダッシュ、セミコロン、引用符を大幅に少ない多様性で使用し、生成していた。
解析可能性と長さ:
- 新しいモデルは、古いモデル（人間テキストより短かった）と比較して、より長い文（人間テキストより 15〜30% 長い）を生成した。
- 長さの増加にもかかわらず、新しい LLM の出力は解析が容易であり（成功率 99% に接近）、人間テキストや古い LLM 出力よりも少ない計算リソースを必要とした。これは、新しいモデルが文法の最も予測可能な部分に整合する構造的に規則的で簡素化された文を生成するのに対し、人間のテキストはより複雑で予測しにくい現象を誘発することを示唆している。

意義と主張
本論文は、指示チューニングが一貫性とプロンプトへの準拠を高める一方で、モデル出力の表現範囲を狭める副作用があると主張している。これらの発見は、整合性パラダイムがスタイルの制御と事実上の安全性（具体的な名前や日付の回避、および幻覚を起こしやすい構造の減少によって示される）のために、語彙的および構文的な多様性を犠牲にするというトレードオフを示唆している。

著者らは、より大きく新しいモデルが専門的なニュース執筆において人間の言語行動に収束しているのではなく、むしろ乖離しており、人間および以前のベースモデルよりもより公式化され、多様性が少ないものになっていると結論づけている。これは、指示チューニングが言語能力にどのように影響し、これらの能力が整合性を損なうことなく回復可能かどうかについての将来の研究の必要性を浮き彫りにしている。本研究は英語のニューステキストに控えめに範囲を限定しており、手法は広範に適用可能であるが、現在、他の言語に対する広範なカバレッジを持つ HPSG 文法の入手可能性によって制限されていると指摘している。