技術要約：ハード・デシジョン・レイヤー（Hard Decision Layer）

問題提起

トランスフォーマーベースの言語モデル（LLM）がどのように予測を確定させるのか、その内部メカニズムを理解することは、メカニスティック・インタープリタビリティ（機械論的解釈可能性）と計算効率の両面において極めて重要である。既存の研究は、モデルが計算の深さを動的に割り当てていること（初期レイヤーでの語彙フィルタリングと、後続レイヤーでの候補の精緻化）を示唆しているが、モデルが最終的な決定に至るために、いつ、どのように推論を本質的に組織化しているのかという点については、依然として理解の空白が存在する。

決定プロセスを分析するための既存のアプローチは、動的な手法（早期終了のための学習済みルーティング・ポリシー）または静的な分析（事後的なレイヤー・プルーニング）のいずれかに依存している。しかし、これらの手法は、学習されたルーティング・メカニズムとは無関係に、予測の安定化を支配する自然かつ内在的なアーキテクチャ特性を特徴付けてはいない。本論文では、推論中に回答の選択肢のランキングが突如として安定するという、自然で静的な特性がトランスフォーマー・アーキテクチャ内に存在するかどうかを調査する。

手法

本研究では、自由形式の生成から離散的な推論を分離するために、制御された設定として多肢選択式質問回答（MCQA）に焦点を当てる。著者らは、中間レイヤーの表現を語彙空間へと投影する**ロジット・レンズ（Logit Lens）**技術を採用し、ネットワークの全レイヤーにおけるトークンのランキングを観察することを可能にした。

実験設定

• モデル: 4つのインストラクション・チューニング済み言語モデル（Qwen3-4B、Llama-3.1-8B、IBM Granite-3.3-2B、Mistral-7B）を評価した。
• データセット: CommonsenseQA、QASC、MMLU-Pro、SuperGPQAの4つのベンチマークを使用した。一貫性を保つため、質問は正確に4つの選択肢を含むように正規化された。
• ファインチューニング: 不変性をテストするため、QwenおよびLlamaモデルに対し、個別のトレーニングセットを用いて低ランク適応（LoRA）によるファインチューニングを行った。
• タスクのバリエーション: ロバスト性を評価するため、選択肢のラベル形式（アルファベット、アラビア数字、ローマ数字）および選択肢の数（3〜5個）を変化させて実験を行った。
• オープンエンド生成: 自由形式の生成においても同様の安定化パターンが存在するかを観察するため、GSM8Kを用いた予備的な実験を実施した。

ハード・デシジョン・レイヤー（HDL）の定義

著者らは、**ハード・デシジョン・レイヤー（HDL）**を、最終的な予測となる回答の選択肢の平均的なランキングが、最も急激な低下（ランク値の最大の減少）を示すネットワーク内の特定のレイヤーとして定義する。形式的には、予測される回答トークンのレイヤー $\ell$ における平均ランクを $rank_\ell(1)$ とすると、HDL ($\ell_{HDL}$) は以下のように特定される：
$$\ell_{HDL} = \arg \max_{\ell \in \{1,...,L\}} [rank_\ell(1) - rank_{\ell-1}(1)]$$
このレイヤーは、モデルが最終的な回答への「コミットメント」を行う地点であり、その後、ランキングは概ね安定する。

主な貢献

1. HDLの特定: 本論文は、MCQAの推論過程において、回答の選択肢のランキングが安定する自然なアーキテクチャ特性として、ハード・デシジョン・レイヤー（HDL）を特定した。この現象は、学習されたルーティング・ポリシーなしに発生する。
2. 訓練および複雑さに対する不変性: 包括的な実験を通じて、著者らはHDLがモデルのファインチューニング（LoRA経由）に対して不変であり、選択肢の数に対してもロバストであることを示した。これにより、HDLが訓練のアーティファクトではなく、内在的なアーキテクチャ特性を反映していることが確認された。
3. ラベル表現への依存性: 本研究は、HDLの顕著性が選択肢のラベル表現に決定的に依存していることを明らかにしている。アルファベットおよびアラビア数字のラベルは、ローマ数字と比較して、より鋭い決定境界を生み出す。

結果

• 存在と一貫性: 評価した4つのモデルすべてにおいて、テストされたすべてのMCQAデータセットにわたって固定されたHDLが示された。HDLの位置は、使用されるデータセットに関わらず、特定のモデルに対して一貫している。
• 精度の向上: HDLにおいて顕著な精度スパイクが発生する。例えば、Qwenを用いたCommonsenseQAでは、精度は事前HDL（ランダムチャンスに近い状態）の約26%から、HDL到達時/到達後には約87%へと上昇し、+0.61の利得を得た。HDL以降、パフォーマンスは安定し、最終出力レイヤーまでの間の改善は最小限であった。
• ランキングの安定性: HDLにおいて、トップランクの選択肢の位置の標準偏差は急激に低下し、これはモデルが特定の回答にコミットしたことを示している。QASCにおけるQwenの場合、HDLはレイヤー25（全36レイヤー中）で発生し、その後、最終レイヤーまでランキングは安定したままとなる。
• モデル容量との相関: モデルのパラメータ数が多いほど、HDLが全レイヤーのうちより低い割合（例：Llamaは深さの56.25%に対し、Graniteは80.00%）で発生するという傾向が観察された。これは、高容量のモデルほど、ネットワークのより早い段階で回答の選択を完了することを示唆している。
• ファインチューニングへのロバスト性: ファインチューニングされたモデルは、全体的な精度の向上を示したにもかかわらず、ベースモデルと同じHDLの位置を保持していた。
• ラベルの感度: 決定境界の鋭さはラベル形式によって異なり、ローマ数字はアルファベットやアラビア数字よりも不明瞭な境界を示した。

意義と主張

本論文は、これらの知見がトランスフォーマーの推論に関するメカニスティックな洞察を提供し、モデルがアーキテクチャおよびタスクの特性に従って推論を本質的に組織化していることを明らかにしていると主張している。HDLの発見は、以下のことを示唆している：

• トランスフォーマーは、さらなる計算がランキングの安定性に限定的なリターンしか与えない、自然で静的な「決定点」を保持している。
• この特性は、特定の訓練データやルーティング・ポリシーのアーティファクトではなく、モデルのアーキテクチャに根ざした基本的事項である。
• HDLを理解することは、効率的な推論（例：自然な安定化ポイントに基づく早期終了戦略）やモデルのステアリング（制御）の機会を開くものである。

著者らは、本研究の範囲を控えめに維持している。MCQAにおいてはこの現象がロバストである一方、自由形式の生成（GSM8K）に関する予備的な実験は、一般的な性質を評価するために行われたものであり、決定的な結論ではなく、あくまで予備的な観察として提示されている。本研究は、新しい訓練アルゴリズムや特定のデプロイメント・アーキテクチャを提案するものではなく、ネットワーク内で「どこで」、そして「どのように」推論の決定が最終化されるかという基礎的な理解を提供するものである。