🤖 machine learning

Guarantees on Dynamical System Distinguishability for LLM Token Generation

本論文は、LLMのトークン生成を力学系としてモデル化することにより、それらを区別するための理論的基礎を提供し、分類精度がスペクトル距離に基づいてシーケンス長とともに指数関数的に向上することを証明するとともに、クロス埋め込み転送に関する基本的限界と汎化境界を確立するものである。

原著者： Mohamed Akrout, Dan Wilson

公開日 2026-08-03

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Mohamed Akrout, Dan Wilson

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

二人の異なるストーリーテラーを判別しようとしている場面を想像してみてください。一人は真実を語り、もう一人は作り話（ハルシネーション）をしています。もし、彼らが使う個々の単語だけを見ているとしたら、あなたは立ち往生してしまうかもしれません。両者とも、「the」や「cat」、「sat」といった一般的な単語を同じような頻度で使用している可能性があるからです。それは、音符の平均的な音量だけで二つの異なる曲を区別しようとするようなものです。もし音量が同じであれば、曲は同一に聞こえてしまいます。これが、現在の多くのAIによる嘘の検知手法が抱える問題です。それらは、言葉が特定の順序を持ち、互いに流れ込んでいくという事実を無視して、すべての単なる独立したランダムな事象として扱っています。

しかし、もしあなたが「リズム」や「メロディ」――つまり、物語がどのように次の文章へと展開していくのか――に耳を傾けたら、パターンが見えてくるかもしれません。科学の世界では、これを「動的システム（ダイナミカル・システム）」と呼びます。これは、丘を転がり落ちるボールのようなものです。ボールの瞬間的な位置はランダムに見えるかもしれませんが、その通り道は物理学の厳格な法則に従っています。大規模言語モデル（LLM）もまた、こうした転がるボールのようなものです。彼らは隠れたルールに従ってテキストを生成します。テネシー大学のモハメド・アクルートとダン・ウィルソンによる最近の論文は、大きな問いを投げかけています。AIがハルシネーションを起こしているかどうかを、それが言う「言葉」を見るのではなく、それらの言葉がどのように進化していくかという目に見えない「ダンス」を観察することによって検知できるだろうか？彼らはAIの内部的な思考プロセスをブラックボックス・マシンとして扱い、その軌跡を観察するだけで、そのマシンが「真実モード」で動いているのか、それとも「作り話モード」で動いているのかを見極めようとしています。

この論文は、言葉だけを見ること（「周辺分布」を見ること）が、しばしば行き止まりであることを証明しています。著者らは、全く異なる二つのマシン――一方は真実を語り、もう一方は嘘をついているマシン――が、統計的に同一に見える単語の混合物を作り出す可能性があることを示しています。それは、二人の異なるシェフがボウルの中に全く同じ材料を使っているようなものです。もしスープの味だけを確かめたとしても、誰が作ったのかを判別することはできません。論文は、物語の「流れ」を無視するいかなる手法も根本的な限界を抱えており、ランダムな推測以上の精度を出すことはできないと主張しています。

しかし、ここからがエキサイティングな部分です。動きに注目し始めると、物語は変わります。著者らは、AIの内部状態が単語のシーケンスに沿ってどのように進化するかを観察すれば、その差異が劇的に大きくなることを実証しています。彼らは数学的に、誤分類される確率が物語が長くなるにつれて指数関数的に減少することを証明しました。それは、曲をわずか1秒間聴いたとき、ジャンルが分からない状態と同じです。しかし、30秒間聴けば、リズムによってそれが明白になります。論文は、ハルシネーションを起こした物語の「リズム」は、事実に基づいた物語とは根本的に異なっており、その違いは分析する単語が増えるほど強固になることを示しています。

さらに、チームは厄介な現実世界の課題にも取り組んでいます。もし、あるタイプのAIの「言語」で検知器を訓練し、それを別のAIに対して使おうとしたらどうなるでしょうか？通常、内部のコードが異なるため、これは失敗します。しかし、もし二つのAIシステムが類似した基礎的な幾何学的構造（例えば、同じ街の異なる地図のようなもの）を共有している場合、その検知器は転用が可能であるということを論文は見出しています。彼らは、この転用の成功が、二つのシステムがいかに数学的に互いに「翻訳」できるかに依存していることを示しています。翻訳がクリアであれば検知器は機能し、翻訳が乱れていれば検知器は失敗します。

要約すると、この論文は、AIの嘘を見破るためには、単に言葉を数えるのではなく、その「ダンス」を見なければならないという厳密な数学的保証を提供しています。AIの出力を静的な単語のリストとしてではなく、動的なシステムとしてモデル化することで、システムがその真のリズムを示すのに十分な時間を与えさえすれば、高い信頼度を持って真実と虚構を区別できるのです。これは、データの静的なスナップショットから、AIが思考する過程で生まれる動的なパターンへと焦点を移すものであり、これらの複雑なマシンを理解し検証するための、より強力で新しい方法を提示しています。

技術要約：LLMのトークン生成における動的システムの識別可能性に関する保証

問題提起

近年の経験的研究により、大規模言語モデル（LLM）の応答、特に事実に基づいたテキストとハルシネーション（幻覚）によるテキストの区別は、トークン埋め込みをブラックボックス動的システム（DS）の軌跡としてモデル化することで分類できることが示されている。このアプローチは有望であるものの、その理論的根拠は未開拓である。具体的には、以下の3つの根本的な問いに対して厳密な回答が欠けている。

ダイナミクスの必要性： もしトークン埋め込みの周辺分布が応答カテゴリ間で異なるのであれば、なぜ動的モデルが必要なのか？
スケーラビリティと性能： 分類誤差はシーケンス長に対してどのようにスケールするのか、また、どのような特定の動的量（dynamical quantities）が性能を支配しているのか？
汎用性： 異なる埋め込みモデル間において、トークン埋め込みおよびそれに関連するダイナミクスはどの程度転移可能なのか。これは、Koopman作用素の近似が通常、使用される観測量に敏感であることを踏まえた問いである。

手法

著者らは、分類タスクを、2つの確率的線形動的システム間の二値仮説検定として定式化している。

1. システムの定式化

著者らは、拡張動的モード分解（EDMD）によって得られたリフトされたトークン埋め込み $z_k$ の進化を、以下の2つの仮説の下でモデル化している。

$H_c$ (正解/事実): $z_{k+1} = A_c z_k + \xi^{(c)}_k$
$H_h$ (ハルシネーション/幻覚): $z_{k+1} = A_h z_k + \xi^{(h)}_k$

ここで、 $A_c$ および $A_h$ は、それぞれのレジームにおけるKoopman作用素の有限次元近似である。ノイズ項 $\xi$ は、近似誤差と真の確率性を共に捉えており、平均と共分散が異なる独立同一分布（i.i.d.）のガウス分布であると仮定されている。

2. 分類メカニズム

分類は、予測残差の比較によって行われる。与えられた軌跡に対して、両方のモデルにおける累積二乗誤差（ $S_c$ および $S_h$ ）が計算される。決定則は、微分残差スコア $\Delta E = \sqrt{S_h} - \sqrt{S_c}$ に依存する。 $\Delta E$ が閾値 $\eta$ を下回る場合、その軌跡はハルシネーションとして分類される。

3. 理論的枠組み

著者らは、以下に基づいた境界（bounds）を導出している。

定常分布： 観測量の周辺分布の解析。
動的識別性 ( $\delta^2$ ): 1ステップあたりの期待二乗モデル不一致信号を定量化する指標。 $\delta^2 = E[\|P\Delta z_k\|^2]$ 、ここで $\Delta = A_c - A_h$ である。
インターツワイン（絡み合い）条件： 異なる埋め込み空間を関連付ける線形写像 $T$ 。これは、クロス埋め込み転移を分析するために使用される。

主な貢献と結果

結果1：周辺密度解析の限界

著者らは、2つの安定な動的システムが、全く異なるダイナミクス（ $A_c \neq A_h$ ）を持ちながら、定常的な周辺分布がほぼ区別不能（全変動距離 $\approx 0$ ）になり得ることを証明した。

含意： 静的な特徴量（例：SVDモードや周辺統計量）のみに依存する分類器は、根本的な精度の天井に直面する。もし周辺分布が大きく重なっているならば、たとえ背後のダイナミクスが異なっていても、そのような分類器はランダムな推測よりも優れた性能を発揮できない。これは、事実に基づく埋め込みとハルシネーションによる埋め込みの静的な特徴がしばしば重複するという経験的な観察結果を説明している。

結果2：ダイナミクスによる指数関数的な分離可能性

本論文は、予測残差に基づく分類器が、シーケンス長 $L$ に対して指数関数的に減少する誤分類確率を達成することを証明している。

支配量： 減少率は、動的識別性 $\delta^2$ とノイズレベルによって支配される。
サンプル複雑性： 目標とする誤差確率 $\epsilon$ を達成するために必要なシーケンス長は、 $L^* = O(\log(1/\epsilon))$ とスケールする。
意義： この結果は、周辺解析によって課される精度の天井を打ち破るものである。これは、より豊かな埋め込みモデル（おそらく高い $\delta^2$ を持つもの）が短いシーケンスで高い精度を達成できる一方で、より単純なモデルはより長いコンテキストを必要とする理由を説明している。

結果3：クロス埋め込み転移の境界

著者らは、ある埋め込み空間で適合された動的モデルが、再学習なしに別の空間へ転移できる条件を確立した。

近似的なインターツワイン： 2つの埋め込み空間が、アフィン変換 $G^{(\theta_2)}_2(q) \approx T G^{(\theta_1)}_2(q) + r$ によって記述される幾何学的構造を共有している場合、転移が可能となる。
下界： 転移可能な識別性 $\delta^2_{\theta_1 \to \theta_2}$ は、変換行列 $T$ の最小特異値と元の識別性によって、インターツワイン欠損（再構成誤差 $\chi^2$ ）によってペナルティを受けた形で下限付けられる。
含意： これは、なぜクロス埋め込み分類が、埋め込みバックエンドの劇的な変更なしでも、チャンスレベル（偶然）を上回る性能を発揮できるのかという驚くべき経験的事実の理論的根拠を提供している。すなわち、判別情報が埋め込み空間間の幾何学的歪みが深刻でない限り、生存することを理論的に示している。

意義と結論

本論文は、動的システム論の観点から、LLMの応答分類を理解するための厳密な数学的枠組みを提供する。その主要な意義は、分析の焦点を静的なトークン表現から、トークンの軌跡を通じて現れる動的なパターンへとシフトさせたことにある。

本研究は以下のことを実証している：

ダイナミクスは不可欠である： 静的な周辺解析は、定常的な分布は類似しているが進化過程が異なるレジームを区別するには不十分である。
時間的蓄積は強力である： 時間的依存性を活用することで、シーケンス長が増加するにつれて誤差を指数関数的に減少させることができる。
転移可能性は構造化されている： クロス埋め込みの汎用性は偶然ではなく、埋め込み空間の幾何学的適合性（インターツワイン）によって支配されている。

これらの保証を定式化することで、本論文は、AIを用いて動的システムをモデル化するという一般的なパラダイムとは対照的に、動的システム論を用いてAIシステムを分析することへのさらなる調査を促している。著者らは、線形Koopman近似やガウスノイズの仮定への依存といった限界を指摘しており、将来の研究ではこれらを非線形モデルやヘビーテイル（重い裾）分布へと拡張できる可能性があるとしている。