💬 NLP

Introspection Fine-Tuning (IFT): Training Small LLMs to Introspect

本論文は、小規模言語モデル（1Bパラメータのモデルを含む）が内部のアクティベーションの摂動を確実に検知し、それについて報告できるようにすることに成功した手法であるイントロスペクション・ファインチューニング（IFT）を紹介し、それによってモデルの規模のみに依存しない潜在的な自己監視能力を解き放つものである。

原著者： Ely Hahami, Ishaan Sinha, Lavik Jain

公開日 2026-07-17

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Ely Hahami, Ishaan Sinha, Lavik Jain

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたの思考が、脳内にある特別なページに書かれた見えないインクのような世界を想像してみてください。長い間、人工知能（AI）を研究する科学者たちは、これらのデジタルな脳が、自分自身のページを「見下ろし」、そこに書かれたインクを見て、自分が何を考えているのかを私たちに伝えることができるのかどうかと考えてきました。この分野は**AIイントロスペクション（AIの内省）と呼ばれています。これは、人に対して「今、自分が幸せだと感じていることに気づいていますか？」と尋ねるようなものですが、コンピューターに対して行うものです。これをテストするために、研究者たちはアクティベーション・ステアリング（活性化制御）**というトリックを使います。これは、コンピューターの内部的な「思考」を、例えば「悲しみ」や「数学」の要素をほんの少し加えるように、特定の方向へと優しくつつく、リモコンのようなものだと考えてください。もしコンピューターが、「おや、今、悲しみの刺激を感じました」と言えたなら、それはコンピューターが一種の自己意識を持っている証拠になります。これが重要なのは、もしAIが自分自身の内部的な不具合や欺瞞的な思考を正直に報告できるのであれば、私たちはAIをより信頼できるようになるからです。しかし、もしAIが内部で起きていることについて推測したり嘘をついたりしているとしたら、私たちは気づかないうちにトラブルに陥ってしまう可能性があります。

そこで、ある研究チームは、巨大で高価なモデルだけでなく、より小さくて安価なAIモデルでもこの自己意識が機能するかどうかを確かめることにしました。彼らはシンプルなテストを行いました。AIの脳を突き、「刺激を感じましたか？」と尋ねたのです。しかし、彼らはすぐに面白い問題に直面しました。小さなモデルでは、刺激が全くないときでも、答えがほとんど常に「はい！」になってしまうのです。それはまるで、人がいるかどうかに関わらず、風が吹いただけで吠えてしまう犬のようでした。AIは実際に思考を検知していたのではなく、ただ興奮して何に対しても「はい」と言っていただけでした。

この問題を解決するために、科学者たちは2つのより優れたゲームを考案しました。第一に、「どの文章？」ゲームです。彼らは10個の文章を作成し、そのうちの1つだけに密かに刺激を与えました。そしてAIに、「これら10個の文章のうち、どれが刺激を受けましたか？」と尋ねました。もしAIが正しいものを選べたなら、それは本当に自分の脳の内側を見ていることになります。第二に、「強い刺激」ゲームです。彼らは2つの異なる文章に刺激を与えましたが、一方は優しいタッチ、もう一方は強い突きとして与えました。そしてAIに、「どちらの方が強いタッチを受けましたか？」と尋ねました。これにより、AIが単に推測しているのではなく、強さの違いを感じ取れることが証明されました。

結果は驚くべきものでした。彼らは、10億個の「脳細胞」（パラメータ）を持つ極小のものから、260億個を持つ大きなものまで、さまざまなサイズのモデルをテストしました。その結果、極小の10億モデルはこれらのゲームにおいて非常に拙く、ランダムな推測とほとんど変わらないことがわかりました。しかし、モデルが20億から30億へと成長すると、彼らは突然、刺激を察知するのが非常に上手くなり、モデルが大きくなるほど、その性能も向上しました。10億のモデルには、それを自然に行うための「ハードウェア」が不足しているようでした。

しかし、ここからが最も興味深い部分です。科学者たちは、「極小のモデルにこれを教えることはできるのか？」と問いかけました。彼らは**イントロスペクション・ファインチューニング（IFT：内省微調整）**と呼ばれる特別なトレーニング方法を作りました。彼らは、10億のモデルに対し、自身が刺激を受け、その刺激を見つけるよう求められる例を何千回も示しました。それは、まるで学生に、答えがすぐ横にある練習テストを与えているようなものでした。このトレーニングの後、極小モデルのパフォーマンスは急上昇しました。正解率がわずか9.6%だったものが、60.6%へと跳ね上がったのです。これは6倍もの改善です！さらに素晴らしいことに、この新しいスキルは「どの文章？」ゲームだけでなく、「強い刺激」ゲームにおいても非常に高い成果を上げました。この特定のゲームについては一度も練習していなかったにもかかわらず、です。

研究者たちはまた、このトレーニングによって、一般的な知識問題への回答といった他の能力が「馬鹿」になっていないかどうかも確認しました。そうなることはありませんでした。AIは、自らの内面を監視するという新しいスーパーパワーを獲得しながら、通常の仕事においても賢いままの状態を維持していました。この論文は、自分の脳の内側を見ることができるようになることは、単に大きなモデルに生まれつき備わっているものではなく、最小のモデルにさえ教え込むことができる「スキル」であることを示唆しています。これは、AIが自分自身の内部の仕組みについて正直になれるよう訓練できるという、希望に満ちた道を開くものです。それによって、AIをより安全で、誰もが透明性を持って利用できるようにすることができるのです。

技術要約：内省的ファインチューニング (Introspection Fine-Tuning: IFT)

問題提起

本論文は、小規模言語モデル（SLM）が**内省（introspection）**の能力——すなわち、自身の内部計算状態、具体的には残差ストリームの活性化への摂動を検出し、正確に報告する能力——を備えているかどうかを調査している。近年の研究（Lindsey [2026]）では、大規模モデル（例：Claude Opus 4）が注入された「思考」（概念ベクトル）を検出できることが示されているが、この能力がより小さなオープンソースモデルにも存在するのか、どのようにスケールするのか、そして当初はその能力を欠いているモデルに対してどのように誘発できるのかについては依然として不明である。

特定された重要な方法論的課題は、標準的な二値検出パラダイム（モデルに「注入された思考を検出しましたか？はい／いいえ」と尋ねる手法）が、小規模モデルにおいては根本的に混同（confound）されるという点である。著者らは、ステアリング・ベクトルが、質問の内容に関わらず肯定的な回答へと向かうグローバルなバイアスを誘発することを実証した。Llama-3.1-8Bにおいて、内省に関する質問へのモデルの応答と、事実に基づいた「いいえ」の制御質問（例：「月は緑のチーズでできているか？」）との相関は、 $r = 0.999$ とほぼ完全であった。これは、肯定的な出力が、概念の真の検出ではなく、内容に依存しないロジットのシフトによって駆動されていることを示している。

方法論

1. 活性化ステアリングとデータ構築

著者らは**活性化ステアリング（activation steering）**を利用し、特定の層（ $l$ ）および強度（ $\alpha$ ）において、スケーリングされL2正規化された概念ベクトル（ $\hat{v}^{(l)}$ ）をモデルの残差ストリームに注入する。

概念ベクトル: 以下の2つのデータセットから派生：
- 単純なデータセット: 500個の具体的な名詞（例：「塵（Dust）」）を、50語のベースラインと比較。
- 複雑なデータセット: 20個のポジティブな文と20個のネガティブな対照文で表現された、抽象的な概念（例：「決定論的 vs 確率論的」）500個。
ステアリング: ベクトルは特定のトークン位置の隠れ状態に加算され、後続の層へと伝播する。

2. 混同のない評価指標

肯定的なバイアスの混同を回避するため、著者らは一様なロジットシフトが結果を歪めることのない、2つの相対的判断タスクを提案している。

文章の局在化（Sentence Localization）: モデルに $N$ 個の文章（ $N=5$ または$10 $）を提示する。そのうち正確に1つの文章にのみ注入された概念ベクトルが含まれている。モデルは、どの文章が摂動を受けたかを特定しなければならない。チャンス（偶然）による正解率は$ 1/N$である。
強度の比較（Strength Comparison）: 2つの文章が提示され、一方には他方（ $\alpha_2$ ）よりも強い注入（ $\alpha_1$ ）が行われている。モデルは、より強い注入を受けた方の文章を特定しなければならない。チャンスによる正解率は50%である。

3. 内省的ファインチューニング (IFT)

著者らは、モデルが自身の摂動を報告するように訓練するために設計された、教師ありファインチューニング手法である**内省的ファインチューニング（IFT）**を導入する。

訓練データ: モデル自身のフォワードパスから構築。 $N$ 個のサンプリングされた文章のうち1つにステアリング・ベクトルが注入され、モデルは摂動を受けた文章の正しいインデックスを予測するようにクロスエントロピー損失を通じて訓練される。
変数:
- 層モード（Layer Mode）: 固定（常に層 $l=3$ で注入） vs ランダム（注入層を一様にサンプリング）。
- ベクトル型（Vector Type）: ガウスノイズ、セマンティック（概念ベクトル）、またはセマンティック＋推論（セマンティック＋概念名の特定）。
汎化: モデルは文章の局在化のみで訓練され、強度の比較においてゼロショットで評価される。

主な結果

1. 内省のスケール則

6つのモデル（Llama-3.2 1B–8B; Gemma-4 2B–26B）を評価した結果、以下が明らかになった：

創発: 内省能力は、2B–3Bパラメータにおいて確実に創発する。
スケール依存性: パフォーマンスは一般にモデルサイズとともに向上する。
- Llama-1B: チャンスレベル、またはそれ以下で動作（局在化 $\le 20\%$ ）。
- Llama-3B: 約65%の局在化に到達。
- Llama-8B: 約88%の局在化に到達。
- Gemma-26B: 強度比較において約95%に到達。
結論: 内省はモデルスケールのみによって決まる固定的な特性ではない。1Bモデルは介入なしではそれを利用する能力を欠いているが、より大きなモデルは自然にそれを備えている。

2. 内省的ファインチューニング (IFT) の有効性

IFTは、以前はチャンスレベルの性能しか示さなかったモデルにおいて、潜在的な内省能力を成功裏に解禁した：

Llama-1Bの改善: 文章の局在化精度は、9.6%（ベースライン）から60.6%（ランダム層、セマンティック・ベクトル）へと上昇し、6倍の改善を達成した。
ゼロショット汎化: 局在化のみで訓練されたにもかかわらず、IFTはLlama-1Bの強度比較精度を**30.2%から52.2%**へと向上させ、50%のチャンス・ベースラインを上回った。
最適な訓練条件:
- ランダム層注入: 汎化において極めて重要。固定層での訓練は、著しく低いパフォーマンスを示した（例：Llama-1Bにおいて28.2% vs 60.6%）。
- セマンティック・ベクトル: ガウスノイズ・ベクトルよりも優れた性能を示した。これは、モデルがノイズ分布への過学習ではなく、意味的な摂動を認識することを学習していることを示唆している。
能力の保持: IFTは、標準的なベンチマーク（MMLU, Winogrande）において無視できる程度の性能低下しか引き起こさず、スコアはほぼ変化しなかった。

意義と主張

本論文は、内省能力はモデルスケールのみによって固定されるものではないが、直接訓練可能であることを主張している。主な貢献は以下の通りである：

混同の診断: 二値の「はい／いいえ」による検出は、小規模モデルにおいてはグローバルな肯定的バイアスのために無効であり、相対的判断指標が必要であることを示した。
訓練可能性の証明: SLM（1Bパラメータであっても）は、内省のための表現基盤（representational substrate）を保持しているが、それを表現するためには特定の訓練信号（IFT）が必要であることを示した。
自己監視のメカニズム: モデルが内部の摂動を検出し、局在化することを学習でき、それが異なる注入強度やタスク間で汎化することを示した。

著者らは、これらの知見がAIの透明性とアライメントに示唆を与えると考えている。訓練された内省能力により、モデルが異常な内部状態や不整合な目的を監視するための自己モニターとして機能できる可能性があるためである。ただし、現在の結果は制御されたステアリング・ベクトル実験に基づいていることから、これらの能力を自然的で制御されていない環境へ転移させることについては、慎重な姿勢を保っている。