💬 NLP

Repeated Sequences Reveal Gaps between Large Language Models and Natural Language

本論文は、反復部分列とレーニエントロピーに基づく新たな評価枠組みを導入し、自然言語が安定した長距離構造的組織を示すのとは異なり、最先端の大規模言語モデルはエントロピー成長パターンにおいて体系的かつサイズ依存性の乖離を示すことを実証し、表面的な流暢さを超えたテキストの深層統計的構造を捉える方法における根本的なギャップを明らかにする。

原著者： Kumiko Tanaka-Ishii

公開日 2026-05-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Kumiko Tanaka-Ishii

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文を、平易な言葉と創造的な比喩を用いて解説します。

大きなアイデア：流暢さ対構造

二人が物語を語っているのを想像してください。

A さんは完璧に話します。すべての文が滑らかに流れ、文法は正しく、つまずくこともありません。
B さんも完璧に話しますが、秘密があります。実は、同じ数語のフレーズを何度も繰り返しているか、新しい形を一度も作らずに、小さな既製のレゴブロックを継ぎ接ぎして物語を構築しているのです。

長い間、GPT などの大規模言語モデル（LLM）が人間と全く同じように聞こえるほど上達していると考えられてきました。しかし、この論文はより深い問いを投げかけます：それらは本当に内側から長い物語を構築する方法を理解しているのでしょうか、それとも単に短期的に滑らかに聞こえるのが得意なだけなのでしょうか？

著者の田中久美子氏は、文法的に意味が通じるかどうかをチェックするのではなく、長い距離にわたって自らの言葉やパターンをどのように再利用しているかを見ることで、これらの物語を「聴く」新しい方法を考案しました。

ツール：「エコー」検出器

その違いを見つけるために、著者は**「反復部分列」**という概念を使用します。

テキストを長い廊下だと考えてください。

自然言語（人間）： 人間が小説を書くとき、早い段階で種を蒔きます。登場人物、テーマ、あるいは特定のフレーズを導入します。物語が進むにつれて、それらの種に戻り、水をやり、新しい枝を伸ばします。物語は自分自身に「エコー」します。古い構造を再利用して新しい意味を構築するのです。
LLM（AI）： 著者の発見によれば、AI モデルは壊れたレコードや鏡の迷路のように振る舞うことが多いです。何かを繰り返すことはあっても、物語の古い部分が新しい部分を支援するために能動的に再編成される、そのような深層的な構造的「エコー」を持っているようには見えません。

この論文は、テキストの小さな断片（5 文字や 10 文字の配列など）が文書の中で後で何回現れるかを数えることで、これを測定します。

二つの成長タイプ：庭園対工場

この論文は、テキストが長くなるにつれて「情報」がどのように成長するかを比較します。これには主に二つの発生方法が特定されています。

べき乗則の庭園（自然言語）：
新しい固有の花を植え続けながら、同じトレリスやフェンスを再利用してそれらを支える庭園を想像してください。庭園が成長するにつれて、花の多様性は増加しますが、構造（フェンスやトレリス）は何度も再利用されます。
この論文は、人間の執筆がこれに似ていると発見しました。これは**「対数べき乗」**パターンに従います。つまり、テキストは自らの構造的 DNA を絶えずリサイクルしていることを意味します。これは効率的で、深く相互接続されています。
工場ライン（AI モデル）：
製品を絶え間なく生み出す工場を想像してください。工場が長く稼働するにつれて、わずかに異なる製品を作り続けますが、自らの内部設計図の深層的で再帰的な再利用という点では、同じようなものを持っていないようです。
この論文は、AI モデル、特に古いものや小さいものは、異なって振る舞うことを発見しました。それらは**「べき乗則」*パターンを示し、これは人間の執筆に見られるような深層的で効率的な再利用のレベルを持たずに、絶えず新しい*構造的複雑さを生成していることを示唆しています。

実験：「シャッフル」テスト

著者は以下の対象でこれをテストしました。

人間が書いた小説（プロジェクト・グーテンベルクから）。
AI が生成した物語（GPT-3.5、GPT-4、およびより新しいモデルによって作成されたもの）。

公平な比較を行うために長さを一致させました。その後、テキストがどのように自己再利用するかを見るために、数学的な「エコーテスト」（レニーエントロピーと呼ばれるものを使用）を実行しました。

結果：

人間： 本の長さがどれほどであっても、「エコー」パターンは安定していました。人間は、予測可能で効率的な方法で、自らの構造的パターンを絶えず再利用していました。
AI： AI のパターンは、モデルの「大きさ」によって変化しました。
- 小さな AI モデルは、構造を（再利用するか、再利用できないか）どのように扱うかにおいて非常に混沌としていました。
- AI モデルが大きくなるにつれて（GPT-5 のように）、人間により似てきましたが、それでも体系的な違いを示しました。彼らは「エコー」の模倣を上手になっていますが、物語を構築する根本的な数学は、人間の著者とは依然として明確に異なります。

「最大反復」の罠

この論文はまた、テキスト内の最も長い反復フレーズ（二度現れる最も長い文を見つけるようなもの）にも注目しました。

以前の研究は、これらの「極端な」反復に焦点を当てていました。
著者は、これが高木だけを眺めて森を理解しようとするようなものだと主張します。それは不安定で誤解を招くものです。
代わりに、すべての反復された断片（「分布」）を見ることは、テキストの真の構造について、はるかに明確で安定した像を提供します。

結論

この論文は、AI が「悪い」わけでも、良い物語を書けないわけでもないと述べています。それは、AI と人間は物語を異なる方法で構築していると言っています。

人間は、自らの過去の言葉や構造を絶えず参照し、再結合することで執筆します。これにより、特定の数学的（対数べき乗）な方法で成長する、緊密で効率的な意味のウェブが生まれます。
AIは次の単語を予測することで執筆し、これにより異なる種類の成長パターン（べき乗則に近いもの）が生まれます。最も賢い AI モデルでさえ、長い距離にわたる「構造的リサイクル」という人間の芸術を完全に習得したわけではありません。

著者は、AI を測定するための新しいツールが必要であると結論付けています。「テストに合格したか？」や「流暢か？」と問うだけでは不十分です。「それは人間と同じように世界を構築しているか？」と問う必要があります。そして現時点での答えは、**「まだ完全にはそうではない」**です。

技術的サマリー：反復シーケンスは大規模言語モデルと自然言語の間のギャップを明らかにする

問題提起
大規模言語モデル（LLM）は局所的な文脈において高い流暢性と一貫性を示す一方で、それらが自然言語の長距離統計的構造を捉えているかどうかを判断することは、依然として未解決の課題である。タスクベースのベンチマークや短文脈分析に大きく依存する既存の評価手法は、生成テキストのグローバル構造に関する間接的な証拠しか提供していない。先行研究は、LLM の出力における過度の反復や多様性の低下といった問題を特定しており、高いタスク性能が人間のような長距離構造を保証するものではないことを示唆している。具体的には、自然言語と LLM が長期間にわたって確立された構造的要素をどのように再利用するかを区別できる定量的な診断手法が存在しない。

手法
著者は、スケールにわたる反復部分列の分布に基づき、これらの統計を高次レニーエントロピーと関連付ける補完的な評価フレームワークを提案する。

反復部分列の計数: この手法は、長さ $n$ のシーケンス内の長さ $m$ の反復ブロックの数 ( $D_m$ ) を定義する。最大反復に焦点を当てる分析（数値的に不安定になり得る）とは異なり、このアプローチはすべての反復部分列の分布を検討する。
高次レニーエントロピー: 著者は、反復ブロックのスペクトルを、次数 $\alpha \ge 2$ のレニーエントロピー ( $H_\alpha$ ) と関連付ける。これにより、有限長さにおけるエントロピー成長の特性評価が可能となる。経験的エントロピー $\hat{H}_\alpha(m)$ は、観測されたブロックタイプの頻度に基づいて計算される。
関数的特性評価: 本論文は、識別可能なブロックの実効数 ( $\log_2 S_m$ $lo g_{2} S_{m}$ ) の成長を、2 つの亜線形形式を用いてモデル化する。
- べき乗則 Ansatz: $\log_2 S_m \propto m^\beta$ 。拡大する構造的自由度に関連する。
- 対数 - べき Ansatz: $\log_2 S_m \propto (\log_2 m)^\gamma$ 。記述長がシーケンス長に対して緩やかに成長する、強力な構造的再利用に関連する。
推定手順: 有限サイズ効果を処理するために、2 段階の推定が採用される。まず、Touchard 多項式から導出された補正項 ( $\Delta_\alpha$ ) を、総ブロック数と固有ブロック数の比率に基づいて推定する。次に、指数 $\beta$ と $\gamma$ を、補正された経験的エントロピー値にフィットさせる。

実験設定
本研究は、自然言語テキストと、4 つのモデル世代（gpt-3.5turbo、gpt-4o-mini、gpt-5-mini、gpt-5）によって生成された GPT テキストを比較する。

データセット: 自然言語テキストは、GPT 出力の長さ分布と一致させるため、プロジェクト・グーテンベルク（小説）からサンプリングされた。すべてのテキストは、メタデータと非アルファベット文字を除去するために前処理された。
コントロール: 実験は、カテゴリあたり 100 件のテキストで行われ、シーケンス長さの影響を制御するために長さ分布を一致させた。エッセイや学術論文に関する追加テストにより、物語で見られた傾向がジャンルを超えて一貫していることが確認された。

主要な結果

モデル適合性: データセット全体を通じて、対数 - べきモデルは、特に長いテキストにおいて、べき乗則モデルよりも自然言語に対して優れた適合度 ( $R^2 > 0.97$ ) を示した。これは、自然言語のエントロピー成長が、新しい構造的自由度の連続的な拡大ではなく、構造的再利用によって支配されていることを示唆している。
自然言語における安定性: 自然言語は、個々のテキスト間のばらつきにもかかわらず、異なるデータセットやテキスト長さにおいて安定したエントロピー成長パターン（平均指数 $\beta$ と $\gamma$ ）を示した。これは、集団レベルにおける「弱い普遍性」の形態を示している。
LLM における体系的なシフト: 対照的に、GPT 生成テキストは、モデルサイズが増大するにつれて、推定指数において体系的かつ統計的に有意なシフトを示した。
- 小規模モデル（例：gpt-3.5turbo）は、対数 - べきモデルを強く好むが、指数特性は異なっていた。
- モデルサイズが gpt-5 まで増大するにつれて、 $\beta$ と $\gamma$ の両方が単調に増加し、自然言語の安定したパターンから遠ざかった。
- 統計的検定（ウェルチの 2 標本 t 検定）は、自然言語と GPT-5 の出力の間に明確な分離があることを確認した（ $p \approx 0$ ）。
最大反復との比較: 最大反復部分列の成長（指数 $\eta$ ）は、gpt-5 と自然言語の間である程度の収束を示したが、提案された分布ベースの手法は、長距離組織におけるより顕著で体系的な違いを明らかにした。

主要な貢献

分布的定式化: 本論文は、反復の分布的定式化を提案し、最大反復統計の不安定性を超えて、高次レニーエントロピーを介した有限長さにおけるエントロピー成長の特性評価を可能にする。
構造的診断: 自然言語と LLM 生成テキストの間で、エントロピー成長挙動に体系的な違いがあることを実証する。具体的には、自然言語が安定した、再利用支配的なパターンを示すのに対し、LLM はモデルサイズと相関する構造的組織の体系的なシフトを示すことを明らかにする。

意義と主張
本論文は、反復部分列エントロピーが、表面レベルの流暢さやタスクベースの評価では見えない長距離組織における体系的な違いを明らかにできる定量的な構造的診断として機能すると主張する。

著者は、自然言語における対数 - べきスケーリングを、「強力な構造的再利用」の証拠として解釈する。これは、テキストが共有された言語資源の再結合と再インデックス化を通じて生成されることを意味する。対照的に、LLM におけるシフトする指数は、この「参照としての構造」組織のより弱い現れを示唆しており、これは次のトークン予測の目的と有限の文脈利用に起因する可能性がある。本研究は、現在の最先端 LLM が、その流暢さにもかかわらず、自然言語の長距離統計的構造を完全に再現していないことを確立し、生成テキストの構造的忠実度を評価するための新たな指標を提供する。