技術要約：LLMの隠れ状態におけるコード正当性のシグナル

問題提起

本研究は、大規模言語モデル（LLM）の隠れ状態におけるコード正当性の判読可能性を調査するものであり、具体的には Qwen3-4B-Instruct-2507 モデルに焦点を当てている。本研究は、444 LiveCodeBench タスクにおけるコード生成に関する、2つの異なる時間軸の問いに取り組んでいる：

1. 生成前（Pre-Generation）： モデルの最初の試行によるコードの正当性は、最初の出力トークンが生成される前、すなわち最終プロンプト・トークンの時点での隠れ状態から既にデコーディング可能なのか？
2. 修復の幾何学（Repair Geometry）： モデルが失敗したコード生成の修復を試みる際、失敗した試行と修復試行との間の隠れ状態の差分（デルタ）は、修復が成功するかどうかを示す安定かつ分離可能な幾何学的シグネチャを保持しているのか？

本研究は、線形プローブおよび対照的方向解析（contrastive direction analysis）を用いて、内部表現がコードの正当性や修復の成功といった検証可能な特性をエンコードしているかどうかを判断するという、メカニズム解釈可能性の枠組みの中で運用されている。

手法

モデルおよびデータ

• モデル: Qwen/Qwen3-4B-Instruct-2507（36層のデコーダーのみのトランスフォーマー、2560次元の隠れ状態）。
• データセット: 444 LiveCodeBench タスク（easy, medium, hard）。
• ハードウェア: 単一の NVIDIA RTX 4050 (6 GB VRAM)。
• データキャプチャ: 生成前解析については、単一のフォワードパスの最終プロンプト・トークンから隠れ状態を抽出する。修復解析については、最初の試行（attempt 0）とそれに続く修復試行（attempt 1）の隠れ状態をキャプチャする。

コア技術：残差化（Residualization）

本論文では、主要な交絡制御ツールとして残差化を採用している。これには以下の手順が含まれる：

1. 各隠れ状態の次元に対して、候補となる共変量（例：プロンプト長、修復コンテキストの特徴）に対する最小二乗法（OLS）回帰を適合させる。
2. 適合した予測値を隠れ状態の次元から差し引き、その共変量の線形な寄与を除去する。
3. 残差化されたデータ上でシグナル（プローブの性能または幾何学的方向）を再評価する。

このアプローチは、シグナルがモデルの内部表現に固有のものか、あるいは入力構造やコンテキストの違いによるアーティファクトであるかを区別するために用いられる。

実験パイプライン

1. 生成前プローブ (Section 3):

   • 線形プローブ（StandardScaler $\to$ PCA $\to$ Logistic Regression）を用いて、プロンプト最終隠れ状態からパス/失敗のラベルを予測するように学習を行う。
   • レイヤー選択: テストセットへのリークを防ぐため、入れ子状の交差検証（50回の外部スプリット、5分割内部CV）を用いて、最適なレイヤーと正則化強度（$C$）を選択する。
   • ベースライン: 生の隠れ状態、残差化された隠れ状態（プロンプト長を除去したもの）、およびプロンプト長のみのベースラインと比較する。

2. 修復方向解析 (Section 4):

   • デルタの構築: attempt 0 が失敗し、attempt 1 が存在するタスクにおいて、隠れ状態のデルタを $\delta = h_{\text{attempt 1}} - h_{\text{attempt 0}}$ と定義する。
   • 対照的方向: ベクトル $v = \text{mean}(\delta_{\text{success}}) - \text{mean}(\delta_{\text{failure}})$ を計算する。
   • 検証: $v$ に対して2つのテストを適用する：
     • 大きさ（Magnitude）: ラベルをシャッフルしたヌル分布と比較した $v$ のノルム。
     • 傾斜（Inclination）: データの2つの半分から回収された方向間のスプリットハーフ余弦類似度。
   • 共変量チェック: 残差化を行う前に、統計的テスト（Welchのt検定、カイ二乗検定）を用いて、共変量が成功グループと失敗グループ間で異なっているかを確認する。残差化は、共変量に有意なグループ間の差が見られる場合にのみ適用される。
   • 共変量: $\Delta$prompt_tokens、code_length_attempt_0、および failure_type。

主要な結果

1. 生成前の正当性は線形にデコーダブルである

• 生のシグナル: プロンプト最終隠れ状態に対して学習された線形プローブ（入れ子状のCVによりレイヤー29を選択）は、50回のランダムスプリット全体で、リークのない AUC 0.931 ± 0.008 を達成した。
• プロンプト長に対する頑健性: プロンプト長に対して隠れ状態の次元を残差化した後も、プローブの性能は 0.911 ± 0.010 と高い水準を維持した。
• ベースライン比較: プロンプト長のみのベースラインは AUC 0.754 ± 0.014 を達成した。プロンプト長のみで学習された非線形モデル（Random Forest, Gradient Boosting, MLP）は、このベースラインを超えなかった。
• 結論: 隠れ状態には、単一の出力トークンが生成される前に存在する、プロンプト長に還元できない頑健な正当性シグナルが含まれている。

2. 修復方向は、孤立した特徴ではなくコンテキストの相関物である

• 生のシグナル: 生のデルタ（236個のクリーンな遷移：成功128、失敗108）において、対照的な方向が存在する。これは、ラベルをシャッフルしたヌル分布に対して、大きさ（$p < 0.001$）およびスプリットハーフ余弦（$p < 0.001$）の両方のテストを通過した。
• 共変量の不均衡: 統計的テストにより、成功グループと失敗グループの間で $\Delta$prompt_tokens、初期コード長、および失敗タイプの分布が有意に異なっていることが明らかになった（すべてにおいて $p < 0.001$）。
• 残差化の効果: デルタをこれら3つの共変量に対して残差化したところ：
  • 方向の大きさは 9.76 から 3.72 へと低下した（元の38%）。
  • スプリットハーフ余弦は 0.767 から 0.140 へと低下した。
  • いずれのテストも統計的に有意ではなくなった（大きさ $p=0.126$、スプリットハーフ $p=0.942$）。
• 結論: 生のデルタで観察された幾何学的方向は、修復コンテキストの構造（例：特定のエラーメッセージやコードの長さの違い）によって駆動される修復成功の相関物であり、活性化空間における孤立した「修復理解」機能ではない。

3. 多段階修復における限界

• 本研究では、最初の修復試行（Attempt 1）の後に合格率が急激に低下することを見出した（Attempt 1: 36.4%、Attempt 2: 6.7%）。
• $0 \to 1$ 以外の遷移（例：$1 \to 2$）のデータは極めて乏しく（$1 \to 2$ の成功はわずか13件）、意味のある対照的方向解析を行うには不十分である。

貢献と意義

本論文の貢献は、経験的であると同時に方法論的でもあると主張している：

1. 診断的正実性（Diagnostic Honesty）: 本研究は、2つの相反する方向において、単一の交絡制御手順（残差化）の有用性を実証している。
   • 生成前のケースでは、残差化は主要な交絡因子（プロンプト長）を除去した後もシグナルが維持されることを示すことで、主張を支持した。
   • 修復のケースでは、同じ手順が、コンテキスト共変量を除去するとシグナルが崩壊することを示すことで、当初の解釈を覆した。
2. 方法論的厳密さ: 本研究は、残差化を行う前に共変量の分布を確認することの必要性を強調している。共変量の平均が等しい場合には残差化は不要であり、むしろ誤解を招く可能性がある一方で、平均が異なる共変量に対しては、潜在的な特徴を分離するために残差化が不可欠であることを論じている。
3. 経験的知見:
   • コードの正当性が、生成が始まる前に隠れ状態に判読可能であることを確認した。
   • 「修復の成功」のための安定した孤立した幾何学的方向が、生の隠れ状態のシフトには存在しないという仮説を否定し、観察されたシグナルを修復コンテキストの違いに帰着させた。

本論文は、LLMはコードの正当性に関する豊かな情報をエンコードしているものの、隠れ状態における幾何学的シフトを解釈するには、入力コンテキストの慎重な切り分けが必要であり、一見「特徴」に見えるものは単にプロンプト構造の反映である可能性があると結論付けている。