💬 NLP

Weights to Code: Extracting Interpretable Algorithms from the Discrete Transformer

本論文は、連続表現と離散記号論理の間のギャップを埋め、温度アニーリングによるサンプリングを通じて超位置などの表現の絡み合いを解消し、人間が読み解けるアルゴリズムを直接抽出できる「離散トランスフォーマー」を提案するものである。

原著者： Yifan Zhang, Wei Bi, Kechi Zhang, Dongming Jin, Jie Fu, Zhi Jin

公開日 2026-03-20

📖 2 分で読めます☕ さくっと読める

原著者： Yifan Zhang, Wei Bi, Kechi Zhang, Dongming Jin, Jie Fu, Zhi Jin

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、**「AI（特に Transformer）の頭の中にある『黒箱』の仕組みを、人間が読めて実行できる『プログラム』として抜き出す」**という画期的な方法を紹介しています。

タイトルは『Weights to Code（重みからコードへ）』。つまり、AI が学習した「数字の羅列（重み）」を、人間が理解できる「アルゴリズム（計算式）」に変換する技術です。

以下に、専門用語を排し、日常の例えを使ってわかりやすく解説します。

🧩 1. 従来の問題：「混ざり合ったスープ」

これまでの AI（Transformer）は、非常に高性能ですが、その内部の仕組みは**「すべての具材が混ざり合ったスープ」**のような状態でした。

問題点: 「A という計算をする neuron（ニューロン）」と「B という計算をする neuron」が、同じ場所や同じ方向で情報を処理してしまっています（これを「超位置・エンタングルメント」と呼びます）。
結果: 研究者が「AI はどうやって計算しているの？」と覗き見ても、スープが混ざりすぎていて「あ、これは足し算だ！」と特定するのが極めて困難でした。

🏗️ 2. 解決策：「Discrete Transformer（離散型トランスフォーマー）」

この論文の著者たちは、AI の設計図そのものを変えて、**「料理の工程を分ける」**というアプローチを取りました。

彼らが作った新しい AI は、以下のように役割を明確に分けています：

配達人（Numerical Attention）: 「どのデータを持ってこい」という指示だけを出す。計算はしない。
計算機（Numerical MLP）: 配達人が持ってきたデータに対して、**「足す」「引く」「かける」**などの計算だけを行う。

このように役割を分けることで、AI の頭の中が**「レゴブロックのように組み立てられた機械」**のように見えてくるようになります。

🌡️ 3. 魔法の温度調整（Temperature Annealing）

AI を訓練する際、最初は「曖昧な状態」から始めます。

高温（訓練初期）: 配達人は「あっちもこっちもちょっとずつ持ってきてね」と曖昧に指示を出します。
低温（訓練後期）: 温度を徐々に下げていく（アニーリング）と、配達人は**「絶対にこの 1 つだけ持ってきて！」**とハッキリと指を差すようになります。

この「温度を下げる」プロセスが、AI を「曖昧な確率」から「ハッキリとしたルール（0 か 1 のみ）」へと変える魔法のスイッチです。

🔍 4. 結果：AI の頭から「Python コード」が飛び出す

訓練が終わると、AI は完全に「離散的（デジタルな）」な状態になります。ここで著者たちは、以下の 2 つのツールを使って、AI の中身を解析します。

配達のルールを調べる（仮説検定）:
- 「配達人はいつも『1 つ前のデータ』を持ってきているな」というパターンを見つけます。
- 例：「直前の数字をコピーする」というルール。
計算のルールを調べる（記号回帰）:
- 「計算機は、2 つの数字を足して、2 を引いているな」という数式を見つけます。
- 例：y = x + x_prev - 2

これらを組み合わせて、**「AI が使っていた複雑な計算を、人間が読める Python コードに変換」**することに成功しました。

🎯 5. 何がすごいのか？（これまでの技術との違い）

RNN（従来の技術）: 離散的なデータ（整数など）しか扱えませんでした。
この新技術（Discrete Transformer）: **連続したデータ（小数点を含む物理現象など）**も扱えます。
- 例：「自由落下の高さ」や「指数移動平均」といった、現実世界の物理法則を、AI が自ら発見し、それを人間が読める数式として抜き出すことができました。

🎨 6. 具体的な例え話

Imagine you have a mysterious machine that predicts the weather.

Before: You open the machine and see a giant, swirling cloud of gears and wires. You can't tell how it works.
Now (Discrete Transformer): You open the machine and see a clear assembly line.
- Worker A picks up a thermometer reading from yesterday.
- Worker B multiplies that number by 1.5.
- Worker C adds today's humidity.
- Result: You can write down the exact recipe: Tomorrow's Temp = Yesterday's Temp * 1.5 + Humidity.

💡 まとめ

この論文は、**「AI を単なる『黒箱』から、人間が理解・検証できる『透明な機械』に変える」**ための新しい設計図と、その中身を読み解く方法を提供しました。

これにより、AI が「なぜその答えを出したのか」を証明でき、科学の発見や、安全なアルゴリズムの作成に大きく貢献することが期待されています。AI が「魔法」ではなく、「論理的な計算」をしていることを、私たちが直接目撃できるようになったのです。

以下は、提示された論文「Weights to Code: Extracting Interpretable Algorithms from the Discrete Transformer」の技術的サマリーです。

論文サマリー：Discrete Transformer による解釈可能なアルゴリズムの抽出

1. 背景と課題 (Problem)

アルゴリズム抽出（Algorithm Extraction）とは、アルゴリズムタスクで訓練されたモデルから直接実行可能なプログラムを合成し、人間が記述したコードに依存せずに新たなアルゴリズムを発見する手法です。
近年、大規模言語モデル（LLM）はコード生成において卓越した成果を上げていますが、既存のトランスフォーマー（Transformer）アーキテクチャをこのパラダイムに適用するには大きな障壁があります。

表現の絡み合い（Representation Entanglement）: 標準的なトランスフォーマーでは、特徴量が重なり合った非直交な方向にエンコードされる「超位置（Superposition）」現象が発生します。これにより、内部表現が高度に絡み合い多義的（polysemantic）になり、記号論理や人間が読める数式への直接変換が困難になります。
連続性 vs 離散性: トランスフォーマーは連続的な高次元ベクトルを扱うのに対し、アルゴリズムは離散的で疎な記号論理で構成されます。このギャップを埋めることが主要な課題でした。

2. 提案手法：Discrete Transformer (Methodology)

著者らは、連続的な最適化と離散的な記号論理の橋渡しを行うために、Discrete Transformerという新しいアーキテクチャを提案しました。これは RASP（Restricted Access Sequence Processing）計算モデルに基づき、機能の分離（Functional Disentanglement）を厳格に強制する設計です。

アーキテクチャの構成

数値残差ストリーム（Numerical Residual Stream）:
- 従来のベクトルではなく、明示的なスカラー変数の集合として定義されます。これにより、情報の干渉を軽減し、計算履歴を分離された座標として保持します。
数値アテンション（Numerical Attention）:
- 特徴を混合するのではなく、**情報のルーティング（転送）**に専念します。
- 硬いアテンション（Hard Attention）を採用し、温度パラメータ（ $\tau$ ）によるサンプリングを通じて、特定のトークンへの「ポインタ操作」として収束するように設計されています。
- 入力変数の選択には、離散化された読み取りメカニズム（温度制御サンプリング）を使用します。
数値 MLP（Numerical MLP）:
- 要素ごとの算術・論理演算に専念します。
- 複雑な関数を単純な算術ステップの列に分解するため、入力次元と隠れ層幅を厳しく制限（ボトルネック）し、記号回帰（Symbolic Regression）が適用しやすい構造にしています。
線形出力ヘッド（Linear Output Head）:
- 抽出された離散的な計算ステップを集約し、最終予測を生成します。

学習と抽出パイプライン

温度アニリング（Temperature Annealing）: 学習初期には高い温度で探索を行い、徐々に温度を低下させることで、モデルを決定論的な離散状態へと収束させます。
モジュール化された抽出:
- アテンション: 仮説検定（Hypothesis Testing）を用いて、アテンションパターンが「固定オフセット（Fixed Offset）」や「ウィンドウ内の極値（Windowed Extrema）」などの解釈可能なパターンに収束しているかを検証します。
- MLP: 各サブモジュールの入出力データに対して、記号回帰ツール（PySR）を適用し、閉じた形式の数式（例： $y = x_1 + x_2$ ）を推定します。
- プログラム合成: 抽出されたルーティングパターンと数式を統合し、実行可能な Python コードを生成します。

3. 主要な貢献 (Key Contributions)

Discrete Transformer の提案: RASP に整合したアーキテクチャを設計し、機能の分離を通じて連続最適化と離散論理を橋渡ししました。
モジュール化された抽出パイプラインの開発: 仮説検定と記号回帰を組み合わせることで、機械的解釈性に基づく合成を連続変数領域へ拡張しました。
誘導バイアスによる制御性の実証: アーキテクチャ制約を調整することで、生成されるアルゴリズムの形式を制御可能であることを理論的・実証的に示しました。

4. 実験結果 (Results)

多様なアルゴリズム推論タスク（算術、変数追跡、非線形合成、連続ダイナミクス）において評価を行いました。

性能: 既存の RNN ベースの手法（MIPS）と同等かそれ以上の予測精度（MSE ≈ 0）を達成しました。
抽出の精度: 訓練された重みから抽出された Python コードは、タスクの正解率 1.00 を達成し、MIPS と同等の性能を示しました。
連続ダイナミクスへの対応: MIPS が離散潜在変数の近似に依存しているため扱えない浮動小数点タスク（指数移動平均、自由落下の高さなど）において、Discrete Transformer は連続変数をネイティブに処理し、高精度なアルゴリズム抽出に成功しました。
アルゴリズムの発見:
- 線形タスク: 単純な加算ロジック（ $y_t = x_t + x_{t-1}$ ）を正確に復元。
- 非線形タスク: パリティ（XOR）や最大値/最小値計算において、ReLU 演算を用いた代数式変換（例： $\max(a, b) = b + \text{ReLU}(a-b)$ ）として正確に再構築されました。

5. 意義と結論 (Significance)

トランスフォーマーの解釈性向上: 従来のトランスフォーマーが抱える「超位置」による解釈困難さを、アーキテクチャレベルの設計（機能分離と離散化）によって解決し、ブラックボックスモデルから白箱のアルゴリズムを抽出する道を開きました。
アルゴリズム発見の新たなパラダイム: 人間が記述したデータに依存せず、モデルの重みから「ゼロから（de novo）」アルゴリズムを発見・可視化できることを実証しました。
制御可能性: 研究者はアーキテクチャ制約（例：MLP の数をゼロにするなど）を操作することで、特定の形式のアルゴリズム（例：計算ではなく単なるコピーによる解決）を誘導でき、科学的発見における仮説検証ツールとしての可能性を示唆しています。

本論文は、機械的解釈性とプログラム合成の分野において、トランスフォーマーを「実行可能で人間が読めるアルゴリズムの生成器」として再定義する重要な一歩となります。