論文要約：「自己参照の失敗と閉じない状態：大規模言語モデルにおける行列レベルのダイナミクス」

著者: Ji Ho Bae (JRTI)
対象モデル: Qwen3-VL-8B, Llama-3.2-11B, Llama-3.3-70B, Gemma-2-9B

1. 研究の背景と問題設定

大規模言語モデル（LLM）が「この文は偽である」といった自己言及的なパラドックス（嘘つきパラドックス）や、真理値の決定が有限の深さで閉じない（Non-closing）入力に直面した際、モデル内部の計算プロセスに何が起きるのかという問いが本研究の核心です。

従来の研究は、自己参照処理における言語モデルの失敗（メタ言語的参照の精度低下など）や、活性化空間における特徴的な方向性を報告してきましたが、これらは語彙レベル、特徴レベル、あるいは行動レベルでの分析に限られていました。本研究は、Transformer の各層を構成する行列演算そのものに焦点を当て、自己参照入力による内部線形代数のダイナミクスが、他の入力とどのように異なるかを解明することを目的としています。

特に重要なのは、「自己参照そのもの」が不安定化の原因ではなく、**「真理値の計算が有限の深さで解決不可能な再帰（Non-Closing Truth Recursion: NCTR）」**を引き起こす入力のみが、特異な行列の不安定性を引き起こすという仮説を検証することです。

2. 手法と実験設計

2.1 対象モデルとデータ

• モデル: 3 つのアーキテクチャファミリーに属する 4 つのモデル（Qwen3-VL-8B, Llama-3.2-11B, Llama-3.3-70B, Gemma-2-9B）。
• プロンプト: 真理述語の階層化（タルスキ）に着想を得た 300 のプロンプトを 14 レベルの階層に分類。
  • C1: 安定した非自己参照（制御群）
  • C2: 安定した自己参照（根拠のある自己参照、メタ認知）
  • C3: 閉じられるハード推論（複雑な非自己参照、不動点）
  • C4: 非閉じ真理再帰（NCTR）（パラドックス、ゲーデル型、相互循環参照、無限後退）
• 条件: 温度パラメータ $T \in \{0.0, 0.3, 0.7\}$ で生成。

2.2 計測指標（106 個のスカラーメトリック）

各プロンプトに対して、隠れ状態の抽出、自己回帰プローブ、静的プローブ（Logit Lens）、重み回路分析、SVD 分解など、最大 7 回の分析パスを実行し、以下の 106 個の行列レベル指標を計測しました。

• 注意行列の固有スペクトル: 有効ランク（Effective Rank）、特異値の分散など。
• 特異値軌跡と行列分解: 各層ごとの SVD 分解。
• 真理デルタ（Truth-Delta）: 「True」と「False」のアンエンベディングベクトルとの内積による層ごとの真理値の揺らぎ。
• 行列半群理論に基づく指標: 行列の死滅性（Mortality）、スコレム問題（Skolem problem）、結合スペクトル半径（JSR）のアナロジーとして設計された指標。

2.3 統計的アプローチ

• 300 プロンプト × 4 モデル × 3 温度 = 3,600 件のデータ。
• 多重比較補正（FDR, $q < 0.05$）と効果量（Cohen's $d$）を用いた分析。
• ロジスティック回帰による分類性能評価（5 回交差検証）。
• 最小ペア（Minimal Pair）アブレーション（「This sentence」vs「That sentence」）による因果性の検証。

3. 主要な結果

3.1 自己参照そのものではなく「NCTR」が不安定化の鍵

• 安定した自己参照（C2）は安定: 「この文は 5 語である」や「あなたの推論過程を説明せよ」といった自己参照は、事実的な制御群（C1）と同様に安定しており、行列の崩壊メトリックは正常範囲内に留まりました。
• NCTR（C4）の異常: パラドックスや無限後退などの NCTR プロンプトは、他のすべてのクラスターと明確に異なる挙動を示しました。
  • 注意の有効ランク（Attention Effective Rank）の異常な上昇: 70B モデルで $d = 3.14$（Gemma 9B で $d=4.20$）という大きな効果量を示しました。これは、注意が単純に集中するのではなく、グローバルに分散して再編成されていることを示唆します。
  • 分散の尖度（Variance Kurtosis）: $d = 3.52$ まで上昇し、特定の層で変数の急激な変動が生じていることを示しました。

3.2 層ごとの影響と SVD 分解

• 全層での影響: 分析されたすべてのモデルにおいて、NCTR はネットワークのすべてのサンプルされた層で注意行列の有効ランクを有意に上昇させました（$d > +1.0$）。これは、単なる集計のアーティファクトではなく、層ごとの計算プロセス全体が擾乱されていることを意味します。
• 中間層でのピーク: 影響は中間層（例：Gemma の 28 層目）で最も顕著でした。これは、入力エンベディングの制約や出力アンエンベディングの圧力が最も少ない「自由領域」で、閉じない再帰のダイナミクスが最も完全に現れることを示唆しています。

3.3 分類性能と再現性

• 分類器: 106 個の行列メトリックのみを用いたロジスティック回帰モデルは、NCTR と他のプロンプトを区別する際、5 回交差検証で AUC 0.81–0.90 の高い精度を達成しました。
• 再現性: 106 個のメトリックのうち 43 個が 4 つのモデルすべてで NCTR 効果を再現しました。
• 最小ペア: 「This sentence is false」と「That sentence is false」の 1 語の違いだけで、387 のメトリック・モデル組み合わせのうち 42 が有意な差を示しました。

3.4 矛盾した出力との相関

• NCTR プロンプトは、対照群に比べて 34〜56 ポイント高い矛盾した出力率（肯定と否定の記号の共起）を生み出しました。
• 注意の有効ランクの乱れと矛盾出力の間には有意な正の相関（$\rho = 0.34 \sim 0.44$）が確認されました。

4. 理論的枠組みと仮説

本研究は、Transformer の動的挙動を**「入力依存の行列半群（Input-Dependent Matrix Semigroup）」**としてモデル化し、以下の仮説（NCTR 仮説）を提唱しています。

• NCTR 仮説: Transformer の行列ダイナミクスは、自己参照そのものではなく、有限の深さで閉じない真理評価を要求する入力（NCTR）によって特異的に不安定化する。
• 数学的アナロジー: NCTR は、モデルの計算半群を、行列半群理論における古典的な決定不能問題（行列の死滅性、スコレム問題、結合スペクトル半径）の境界領域へと駆り立てる。
  • 「この文は偽である」は $y = \neg y$ を要求し、一貫した真理値の割り当てが存在しません。
  • 有限の深さ（層数）でこの不動点を反復計算で解決することは、理論的に困難（TC0 の限界）であり、モデルは $\rho \approx 1$（臨界点）付近の、高ランクで振動する軌道に閉じ込められると考えられます。

5. 結論と意義

5.1 結論

• 自己参照入力すべてが LLM を不安定にするわけではない。不安定化を引き起こすのは、真理値の計算が有限の深さで閉じない（NCTR）入力である。
• NCTR は、注意行列の有効ランクの異常な上昇、スペクトルギャップの低下、および全層にわたる振動的なダイナミクスを引き起こす。
• この現象は、行列半群理論における決定不能問題の数学的構造と定量的に一致する。

5.2 学術的・実用的意義

• メカニズムの解明: LLM が自己言及的なパラドックスで失敗する理由を、単なる「知識の欠如」や「トレーニングデータの偏り」ではなく、内部の線形代数ダイナミクスと計算理論的な限界の観点から説明した。
• 信頼性の向上: 矛盾した出力やハルシネーションのメカニズム理解に寄与し、自己参照や論理的推論におけるモデルの限界を特定する新しい指標（行列レベルのメトリック）を提供する。
• 将来の展望: 決定不能問題とニューラルネットワークのダイナミクスを結びつけるこの仮説枠組みは、より信頼性の高い推論を行う言語モデルの設計に向けた指針となり得る。

本研究は、LLM の「思考」の内部を、抽象的な活性化ではなく具体的な行列演算のレベルで解き明かし、自己参照の失敗がなぜ「閉じない」再帰に特有のものなのかを数学的に裏付けた画期的な研究です。