🤖 machine learning

Architecture Determines Observability in Transformers

本論文は、トランスフォーマーが自身の決定の質に関する信号を内部で保持する能力（観測可能性）が一般的な性質ではなく、特定のアーキテクチャの選択とトレーニング手法によって決定される創発的な特性であり、通常は低い損失を達成するモデルであってもしばしば失われることを示している。

原著者： Thomas Carmichael

公開日 2026-04-29

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Thomas Carmichael

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、論文「Architecture Determines Observability in Transformers（トランスフォーマーにおける観測可能性はアーキテクチャによって決定される）」を、平易な言葉と日常的な比喩を用いて解説したものです。

大きな問題：「自信に満ちた嘘つき」

AI の生徒と試験を受けていると想像してください。この生徒は、たまに答えを間違えますが、100% 確信を持ってそれが正しいと言います。「フランスの首都はこれだ！」と自信満々に書きながら、実際には「ベルリン」と書いてしまうのです。

現在の安全ツール（「信頼性モニター」と呼ばれるもの）は、AI がどれほど自信を持っているかに注目します。AI が自信満々に聞こえれば、そのツールはそれが正しいと仮定します。しかし、この論文が示す通り、これらのツールは、AI が自信を持って間違っているという一連のミスを完全に見逃してしまいます。

解決策：「ささやき」に耳を澄ます

研究者たちは、AI が「自信がある」と言っているときでも、その内部の脳（「隠れ層」）が異なる物語をささやいていることに気づきました。まるで「大丈夫だよ！」と言いながら手が震えている人のようなものです。

もしその内部のささやき（「活性化」）に耳を澄ませることができれば、信頼性モニターが見逃すミスを捉えることができます。この論文では、これを観測可能性と呼んでいます。つまり、AI の中間層から、その内部の「真実」を読み取る能力のことです。

意外な展開：知能の問題ではなく、設計図の問題

最も驚くべき発見は、すべての AI モデルにこれらの「ささやき」があるわけではないということです。

AI モデルを家だと考えてみてください。

「健全な」家： 一部の設計図（アーキテクチャ）は、家の中央に特別で静かな廊下を備えて建てられています。たとえ表玄関（出力）が「すべて順調だ」と言っても、その廊下を歩けば、何かがおかしいことを教えてくれる床のきしむ音（エラー信号）を聞くことができます。
「崩壊した」家： 他の設計図は異なって建てられています。これらの家では、廊下が封鎖されていたり、コンクリートで埋め尽くされていたりします。たとえ家が崩れかけていても、中間層は静かです。どれだけ耳を澄ませても、エラー信号は聞こえてきません。

この論文は、家がその「ささやき廊下」を持っているかどうかは、家の大きさや賢さではなく、完全に設計図（アーキテクチャ）と建設チーム（トレーニングのレシピ）に依存することを証明しています。

証拠：「Pythia」実験

研究者たちは、Pythiaと呼ばれる制御されたモデル群を用いてこれをテストしました。彼らは、全く同じ材料と建設規則を使用していくつかの家を建てましたが、設計図をわずかに変更しました。

結果： 彼らは、常に「崩壊した」家をもたらす特定の設計図（24 層、16 ヘッド）を見つけました。家の大きさ（小さから巨大まで）や使用されたレンガの種類（異なるデータセット）をどれだけ変えても、その特定の設計図は常に廊下を封鎖していました。
対照： 他の設計図（16 層や 32 ヘッドなど）は、廊下を開けたままに保ち、「健全」であり、エラー信号を聞き取れるようにしていました。

つまり、設計図の違いだけで、エラーを監視できる小さなモデルと、監視できない巨大なモデルが存在し得るということです。

「トレーニング」の謎：廊下が封鎖されたのはいつか？

研究者たちは、建設プロセスをリアルタイムで観察しました（トレーニング中のチェックポイントを確認）。

初期段階： 「健全な」設計図も「崩壊した」設計図も、最初は廊下が開いていました。信号は存在していました。
建設中： トレーニングが進むにつれて、「崩壊した」設計図は積極的に信号を消去しました。建設チーム（トレーニングプロセス）が廊下にコンクリートを埋め立てたのです。
結果： 家が完成する頃には、信号は消えていました。モデルはなおも完璧に話すことを学んでおり（仕事は上手くなっていた）、しかし間違いを犯しているときに「知る」能力を失っていました。

現実世界でも機能するか？

研究者たちは、一般テキスト（ウィキペディア）でトレーニングされた「リスナー（プローブ）」を持ち出し、医療質問や読解力テストなどの特定のタスクでテストしました。

注意点： 「健全な」設計図を持つモデルでは、このリスナーが信頼性モニターが見逃したミスの約**10〜13%**を捕捉しました。これらは、AI が自信を持って間違っていたエラーでした。
限界： 「崩壊した」設計図を持つモデルでは、リスナーは何も聞き取れませんでした。防音室でささやきを聞こうとするようなものです。

結論

AI モデルを選ぶことは、安全性の決定です。

AI の自信に満ちたエラーを監視したいのであれば、単に最大または最も賢いモデルを選んではいけません。正しい設計図を持つモデルを選ばなければなりません。

設計図が「崩壊」している場合、より優れた監視ソフトウェアをどれだけ導入しても役立ちません。信号が存在しないからです。
設計図が「健全」であれば、AI が隠そうとするミスを捉える監視システムを構築できます。

要約すると： 部屋自体が防音室である場合、より良いマイクを買っても壊れたモニターを直すことはできません。最初から部屋を別の方法で建てなければならないのです。

トーマス・カーマイケルによる論文「Architecture Determines Observability in Transformers（トランスフォーマーにおける観測可能性はアーキテクチャによって決定される）」の詳細な技術的サマリーを以下に示す。

1. 問題定義

自己回帰型大規模言語モデル（LLM）は、頻繁に確信に満ちた誤り（confident errors）を犯す。これは、モデルが誤ったトークンを高いソフトマックス確率（高い確信度）で出力する事象である。出力の確信度（例：最大ソフトマックス確率）に依存するか、最終層の学習済み予測器に依存する標準的な監視技術は、これらの誤りを検知することに失敗する。

本論文は、活性化ベースの監視が成功するためには、モデルが「トークンごとの決定の質」に関する内部シグナルを保持しなければならないと仮定している。このシグナルは出力確信度シグナルとは異なり、出力確信度シグナルからは完全に復元できないものである。しかし、このシグナルがトランスフォーマーの普遍的な性質なのか、それとも特定のアーキテクチャの選択や学習ダイナミクスに依存するものなのかは不明である。核心的な問題は、標準的なプロービング手法がしばしば「決定の質」と「出力確信度」を混同しており、監視可能性の過大評価を招いている点にある。

2. 手法

著者らは、出力確信度を制御した後に、凍結された中間層の活性化から決定の質を線形的に読み取れる度合いとして定義される観測可能性（Observability）を分離・測定するための厳密な枠組みを提案する。

主要な定義と指標

観測可能性（ $\rho_{partial}$ ）：隠れ状態（ $h^{(l)}$ $h^{(l)}$ ）上の線形プローブと、トークンごとの交差エントロピー損失（ $\ell$ $ℓ$ ）との間の部分スピアマン相関であり、以下の2つの交絡因子を制御する：
1. 最大ソフトマックス確率（ $\hat{p}_{max}$ ）。
2. 活性化ノルム（ $\|h\|$ ）。
  これにより、「確信度残差化された」シグナルが分離される。
出力制御残差（ $r_{OC}$ ）：より厳格な指標であり、最終層の表現上の学習済み多層パーセプトロン（MLP）予測器をもさらに制御する。もし $r_{OC} > 0$ である場合、中間層シグナルには、最終出力層が破棄するか、あるいは利用しきれていない決定の質に関する情報が含まれていることを意味する。
観測可能性の崩壊： $\rho_{partial}$ が検出閾値（約 $\le 0.15$ ）まで低下し、 $r_{OC}$ がゼロに近づく状態を指す。これは、アーキテクチャが出力に依存しない誤りシグナルを保持することに失敗したことを示す。

実験プロトコル

データ：プローブの学習には WikiText-103 を使用。運用検証には下流タスク（SQuAD、MedQA、TruthfulQA）を使用。
プロービング：凍結された活性化に対して学習された単純な線形ヘッド（ $w^T h + b$ ）を用いて、バイナリ目標を予測する。その目標とは、残差損失（ $\ell - \hat{\ell}$ ）が正であるか（つまり、モデルがその確信度よりもさらに間違っているか）である。
対照実験：非線形 MLP、logit エントロピー制御、シャッフルテストなど、アーティファクトを排除するための広範な対照実験を採用。
データセット：Pythia、GPT-2、QWEN 2.5、LLAMA、Mistral、Gemma、Phi-3 の 6 ファミリーにわたる 25 モデル。

3. 主要な貢献

A. プローブにおける「確信度の汚染」

本論文は、標準的な線形プローブが出力確信度によって強く汚染されていることを実証する。13 モデルにわたる分析において、最大ソフトマックス確率と活性化ノルムを制御することで、生プローブシグナルの**57.7%**が吸収された。これは、隠れ状態における「推論シグナル」を発見したと主張する先行研究の多くが、単にモデル自身の確信度レベルを検知していたに過ぎないことを示唆している。

B. アーキテクチャ構成が観測可能性を決定する

最も重要な発見は、観測可能性がトランスフォーマーの一般的な性質ではなく、特定のアーキテクチャ構成と学習レシピによって決定される点である。

崩壊現象：Pythiaスイート（制御された学習）において、(24 層、16 ヘッド) の構成クラスは、パラメータ数（410M から 1.4B）やデータセットのバリアント（Pile 対 Deduplicated Pile）に関わらず、一貫して $\rho_{partial} \approx 0.10$ まで崩壊する。
健全な範囲：他の構成（例：16L/8H、32L/32H）は、 $\rho_{partial} \in [0.21, 0.38]$ の「健全な」シグナル範囲を維持する。
LLAMA 対 QWEN：スケールを一致させた場合（30 億パラメータ）、QWEN 2.5は強力な観測可能性を保持する（ $\rho_{partial} \approx 0.26$ ）のに対し、LLAMA 3.2は崩壊する（ $\rho_{partial} \approx 0.09$ ）。プローブシードの分布は重なり合わず、根本的なアーキテクチャの違いを示している。

C. 学習に由来する崩壊

Pythia 1B（健全）対 Pythia 1.4B（崩壊）のチェックポイント分析を通じて、著者らは両方の構成が学習の初期段階でシグナルを形成することを示した。しかし、学習の途中段階において、(24L, 16H) アーキテクチャはこのシグナルを消去する一方、予測損失（パープレキシティ）は改善し続ける。健全な構成はシグナルを回復・保持する。これは、崩壊がアーキテクチャのシグナル表現能力の静的な欠如ではなく、学習ダイナミクスとアーキテクチャの相互作用の結果であることを証明する。

D. 運用上の有用性（排他的な検出）

本研究は、下流タスク（QA、医療、真実性）におけるこれらのプローブの実用的有用性を検証した。

排他的検出率：20% のフラグ率において、観測器は確信度監視が見逃す誤りの**10.9%–13.4%**を検知する。
転移性：WikiText で学習されたプローブは、タスク固有の再学習なしに下流タスクへ転移し、医療 QA や読解タスクにおける「確信に満ちた誤った」回答を検知する。
限界：観測器は、モデルが誤った事実を確信を持って主張する「流暢な幻覚」（TruthfulQA）を検知しない。これは、内部状態が出力確信度と矛盾するトークンレベルの予測失敗に特化して検知するものである。

4. 主要な結果

指標	健全な構成（例：GPT-2、QWEN、Mistral）	崩壊した構成（例：LLAMA 3B/8B、Pythia 24L/16H）
$\rho_{partial}$	0.21 – 0.38	$\approx$ 0.10（検出下限付近）
$r_{OC}$	正（0.09 – 0.17）	ほぼゼロまたは負
シグナル源	出力非依存、線形的に読み取り可能	学習によって消去；非線形プローブでも復元不可
排他的検出	誤りの約 12–15%（20% フラグ率時）	ほぼランダムなベースライン

非線形性：非線形プローブ（MLP）も崩壊した構成ではシグナルを回復できず、損失は線形読み取りの限界ではなく、表現論的なものであることを証明する。
スケール非依存性：健全なファミリー内（例：QWEN 2.5）では、観測可能性はパラメータ数 28 倍の範囲（0.5B から 14B）で安定している。
レシピ依存性：崩壊する特定の構成は学習レシピに依存する（例：Pythia は 24L/16H で崩壊；LLAMA は 28L/24H で崩壊）。

5. 意義と示唆

アーキテクチャ選択としての監視決定：本論文は、モデルアーキテクチャの選択が単なるパフォーマンスの決定ではなく、監視可能性の決定であると主張する。特定の構成（LLAMA 3B や Pythia 24L/16H など）が選択された場合、監視ツールがどれほど洗練されていようと、確信に満ちた誤りに対する活性化ベースの監視は不可能になる。
プロービング妥当性の再定義：本研究は、決定の質を標的とする将来のプロービング研究は、出力確信度を制御しなければならないと確立する。これらの制御なしでは、結果は「出力非依存」シグナルを 2〜3 倍過大評価する可能性が高い。
学習ダイナミクス：学習が当初存在したシグナルを能動的に消去するという発見は、観測可能性を保持することが非自明な最適化問題であることを示唆している。現在の学習目的（損失の最小化）は、安全性監視に必要な内部シグナルを誤って破壊している可能性がある。
補完的な監視：観測器は、出力確信度に対する補完的なシグナルを提供する。確信度監視は「不確かな」誤りを検知するのに対し、活性化監視は「確信に満ちているが誤っている」誤りを検知する。ただし、この能力はアーキテクチャがシグナルを保持する能力によって制限される。

結論：
本論文は、観測可能性はアーキテクチャによって決定されると結論づける。確信に満ちた誤りに対するモデルの監視可能性は、その構成と学習レシピの相互作用によって決定される上流の性質である。一度モデルが「崩壊した」構成で学習されると、事後のプローブ設計によって失われたシグナルを回復することはできない。したがって、監視可能性を確保するには、これらの内部の確信度非依存シグナルを保持するアーキテクチャと学習レシピを選択する必要がある。