技術的概要：スパースクエリ特徴量に対する勾配ベース最適化による誘導生成

1. 問題定義

実世界における大規模言語モデル（LLM）の展開には、スタイル、安全性、論理的整合性に関するユーザー定義の制約への厳密な準拠が求められる。プロンプトエンジニアリングは一般的な戦略であるが、複雑な制約、特に小規模なオープンソースモデルにおいては、長文脈内で指示が希薄化したり、高い計算オーバーヘッドを伴う過剰なコンテキスト内学習デモンストレーションを必要としたりするため、しばしば効果的ではない。

既存の潜在空間誘導法（活性化エンジニアリング）は、静的な誘導ベクトルを用いて内部モデル活性化に直接介入する。しかし、これらの手法は通常、異なる意味特徴が絡み合う「超位置仮説」に悩まされる密な活性化空間（例えば、残差ストリーム）で動作する。これらの密な空間への介入は、文脈を上書きし、意図しない副作用を誘発し、論理的妥当性などのハード制約や微妙なスタイル制御に必要な精度を欠く。

2. 手法

著者は、推論時に生成を誘導するためにスパースオートエンコーダ（SAE）と勾配ベース最適化を組み合わせる「プロトタイプベーススパース誘導」を提案する。核心的な仮説は、アテンションクエリ活性化が、一般的な状態介入よりも鋭い誘導性を提供する高忠実度の制御面として機能するというものである。

2.1. 介入部位：クエリ活性化

残差ストリームを変更するのではなく、本手法はセルフアテンションのクエリ活性化に介入する。クエリは、トークンが文脈から情報をどのように取得するかをパラメータ化する。著者は、クエリを変更することで、蓄積された残差状態を直接上書きすることなく、どの情報が取得されるかを局所的に制御でき、それによりグローバルな歪みを低減できると主張する。

2.2. SAE によるスパース表現

特徴を分離するために、本フレームワークは特定の介入層 $\ell$ におけるクエリ活性化にスパースオートエンコーダ（SAE）を適用する。

• アーキテクチャ: 各クエリアテンションヘッドごとに、単層の ReLU オートエンコーダ（$Enc$および$Dec$）が訓練される。
• 目的: SAE は、スパース潜在表現 $z$ から活性化 $s$ を再構成するように訓練され、再構成損失、L1 スパース性ペナルティ（$\lambda \|z\|_1$）、およびバイアス減衰項を最小化する。
• 結果: これにより、密なクエリ活性化が解釈可能な特徴のスパースな集合に分解され、制御方向が因数分解される。

2.3. プロトタイプを用いた勾配ベース最適化

静的な誘導ベクトルを追加するのではなく、本手法は制御を最適化問題として扱う。

1. プロトタイプの定義: 各ターゲット属性クラス $k$（例：「安全な経路」、ブルームの分類学における「評価」）に対して、トレーニング例のサポートセットのスパース潜在表現の平均としてプロトタイプ中心 $c_k$ を計算する。
2. 最適化目的: 初期生成が与えられた場合、ターゲット属性 $k_T$ の尤度を最大化するように、スパース潜在表現 $z$ が勾配上昇法によって最適化される。尤度は、すべてのクラスプロトタイプまでの負の距離に対するソフトマックスによって定義される：
   $$P_\phi(a = k_T | z) = \frac{\exp(-d_{k_T})}{\sum_{j=1}^K \exp(-d_j)}$$
   ここで $d_k = \|z - c_k\|_2^2$ である。
3. 手順: 潜在 $z$ は収束するまで反復的に更新される（$z^{(t+1)} = z^{(t)} + \eta \nabla_z \log P_\phi$）。その後、最適化された潜在は活性化空間にデコードされ、モデルに注入されて生成を継続する。

3. 主要な貢献

1. プロトタイプベースのスパースクエリ最適化: プロトタイプ分布目的を用いた、スパースクエリ潜在に対する勾配ベース最適化としての推論時制御の定式化。これにより、ベースモデルの重みを固定したまま適応的な誘導が可能となる。
2. クエリレベル制御の忠実度: アテンションクエリ活性化が、残差ストリームよりも局所的で歪みの少ない介入部位を提供することを示す定量的証拠。クエリレベルの介入は、一致した誘導強度において、層間横断活性化の偏差が有界であり、次のトークンのジェンセン・シャノン発散（JSD）が低いことを示す。
3. 誘導指向の評価データ: ブルームの分類学に基づく認知スタイル誘導用の新規データセットの構築、およびルールベース評価を可能にする互いに明確に区別される安全、短、長経路のために設計されたフィルタリングされた Textualized Gridworld（TGW）の部分集合。
4. 実験的検証: ハードな計画制約（TGW）、ソフトな認知スタイル制御（ブルームの分類学）、および真実性の誘導（TruthfulQA）にわたる包括的な評価。

4. 結果

4.1. ハード制約（Textualized Gridworld）

最短、最安全、最長の経路という厳密な妥当性と属性制約を満たす必要がある TGW 環境において：

• 性能: 提案手法（SAE-OPT）は、コンテキスト内学習（ICL）、コントラスト活性化追加（CAA）、静的 SAE 誘導を含むベースラインと比較して、3 つのオープンウェイトモデル（Qwen、Phi、LLaMA）において、最高または同率最高の成功率を達成した。
• 妥当性: 決定的なことに、本手法は低い論理違反率を維持した。経路の妥当性をしばしば破る密な残差ストリーム介入とは異なり、クエリレベルの誘導は有効多様体内で経路を再経路化した。
• 比較: 勾配ベースのプロトタイプ最適化は、特に「安全」や「長」経路といった困難なターゲットにおいて、静的誘導ベクトルを上回った。

4.2. ソフト意味制御（ブルームの分類学）

教育フィードバックのドメインにおいて、本手法はフィードバックの認知複雑さ（記憶、理解、適用、分析、評価、創造）を誘導した：

• 精度: SAE-OPT は、意図された認知レベルを分類する際、平均ヒット率が最も高く、「記憶」や「創造」のような識別性の高いターゲットにおいて大幅な改善を示した。
• 関連性: 本手法は入力コードとの高い関連性を維持したが、残差ストリーム手法は関連性が低く、クエリ介入はスタイルを再誘導しつつ基盤を移動させないことを示唆している。
• AxBench 評価: 本手法は 6 つのブルームレベルのうち 5 つで調和平均スコアが最も高く、指示追従や流暢さを犠牲にすることなく概念への準拠が向上したことを示した。

4.3. 真実性と分布コスト（TruthfulQA）

• 精度対歪み: TruthfulQA において、勾配ベース手法（Dense-opt）は、静的ベクトル追加ベースラインと比較して、真実性/情報性スコア（%T×I）を高めながら、平均 JSD（分布コスト）を 1 桁以上低減した。
• 最適化軸: これは、同じ介入部位に適用された場合でも、勾配ベースの更新は静的ベクトル追加よりも低い分布歪みを伴うことを確認する。

4.4. スパース性の利点

オートエンコーダにおける L1（スパース）対 L2（密）正則化の比較：

• 分離: L1 正則化は、「非ターゲットドリフト」（非ターゲットプロトタイプ幾何学における付随的な移動）を大幅に低減した。L1 は、他の属性への干渉を少なくしてターゲット収束を達成する、よりクリーンな誘導インターフェースを提供した。

5. 意義と主張

本論文は、スパースクエリ表現が、論理的計画とスタイルの微妙なニュアンスの両方に対する統一的で解釈可能な制御に必要な分離を提供すると主張する。

• メカニズム: アテンションクエリを標的とすることで、本手法は残差ストリーム介入の「上書き」効果を回避し、ハード制約タスクにおける構造的妥当性を維持する。
• 最適化: 静的ベクトルではなくスパースプロトタイプに対する勾配ベース最適化を使用することで、本手法は低い分布コストで高い制御忠実度を達成する。
• 一般化性: このアプローチは、硬直的なグリッドワールド計画から教育フィードバックの微妙な認知スタイルまで、多様なドメインで有効であることが示され、より大きなグリッドサイズや異なるモデルアーキテクチャにも一般化される。

著者は、この研究を、静的な活性化エンジニアリングから適応的、スパース、局所的な介入へと移行する、制御可能な生成のための原理的なメカニズムとして位置づけている。