From Mechanistic to Compositional Interpretability

想像してみてください。動物の認識や言語の翻訳など、驚くべきことができる、極めて複雑なブラックボックスの機械があると。あなたはそれが「何」をするのかは知っていますが、「どのように」それを行うのかは全く分かりません。その内部は、人間が容易に理解できない、歯車、配線、レバーが絡み合ったカオスです。これが現在、多くの高度なAIモデルが置かれている状況です。

あなたが提供した論文は、このカオスを解きほぐす新しい方法を提案しています。それは、機械の仕組みを単に「推測」する段階から、それを説明するための厳密な数学的なルールブックを作成する段階へと移行させるものです。ここには、シンプルな比喩を用いて分解された核心的なアイデアがあります。

1. 問題点：「たまたまそうな」物語

現在、科学者たちがこれらのAIモデルを説明しようとする際、入出力（例えば、「猫を見たので『ニャー』と言った」）を見ています。そして、特定の配線を指差して、「この配線は毛皮を見ると点灯する」と言うかもしれません。

論文は、これが危険であると主張しています。それは、車のエンジンを見て、「このピストンは車が速く走ると動く」と言うようなものです。それは真実かもしれません。しかし、燃料がどのように運動に変換されるかという「メカニズム」を説明しているわけではありません。表面だけを見ると、一見正しく聞こえるが、機械が実際にどのように機能しているかについては誤っている物語を語ってしまう可能性があります。これを「たまたまそうな物語（Just-So Story）」と呼びます。これは事実には合致するが、真の内部論理を欠く物語です。

2. 解決策：「可換」なマップ

著者たちは、「構成的解釈可能性（Compositional Interpretability）」と呼ばれる概念を導入しています。これは、複雑な機械のための翻訳プロジェクトのようなものです。

機械を正しく説明するためには、互いに完全に一致しなければならない2つのマップが必要です。

• マップA（設計図）： これは機械の内部構造、つまり配線、歯車、そして「構文」を示します。
• マップB（振る舞い）： これはボタンを押したときに機械が実際に「何をするか」を示す、「意味」です。

論文は、良い説明が有効であるためには、これら2つのマップが**可換（commutative）**でなければならないと述べています。平易な日本語に訳せば、以下のようになります。

• 設計図において特定の歯車の経路をたどれば、それは振る舞いのマップにおいてその歯車が動くのと同じ結果に必ず導かれなければなりません。
• もしマップが整合しなければ、あなたの説明は破綻しています。ある歯車を「速度コントローラー」とラベル付けすることは、それが実際には別のことをしている場合、許されません。

これにより、あなたの説明が単なる推測ではなく、機械の内部と動作の間の検証済みのリンクであることが保証されます。

3. 目標：「最短の物語」（オッカムの剃刀）

有効なマップを得た後、どの説明が「最良」のものかどうやって知るのでしょうか？論文は**最小記述長（Minimum Description Length）**という原理を用います。

複雑なマジックトリックを友人に説明しなければならないと想像してください。

• 説明1： 「魔法使いは杖を振って、呪文を唱え、ウサギが現れた。」（シンプルだが、隠された仕掛けを見落としているかもしれない）
• 説明2： 「魔法使いは隠された仕掛け、バネ機構、そして特定の照明の角度を使ってウサギを出現させた。」（より複雑だが、正確である）
• 説明3： 「魔法使いは隠された仕掛け、バネ、照明の角度、特定の風の流れ、そして秘密のコードを使ってウサギを出現させた。」（複雑すぎて、過剰な説明である）

論文は、最良の説明とは、依然として完全に正確である最短のものであると主張しています。それは、重要な詳細を欠落させない（忠実性）一方で、不要な付け足しを加えない（複雑さ）という絶妙なバランス点です。

4. 手法：「圧縮的洗練」

この完璧で短い説明をどのように見つけるのでしょうか？著者たちは**圧縮的洗練（Compressive Refinement）**と呼ばれるプロセスを提案しています。

AIモデルを、散らかったレゴブロックの山だと考えてください。

• 現在の状態： ブロックは奇妙に絡み合った塊に接着されています。各ピースが何をしているのか見えにくいです。
• プロセス： 塊を慎重に分解し、整然とした明確な構造へと再構成します。構造を明確にするためにいくつかの「コネクタ（配線）」を追加するかもしれませんが、個々のピースをより理解しやすくするために単純化します。
• 結果： 「計算の原子（最も有用な最小単位）」がシンプルで明確になり、それらが接続される方法が論理的であるモデルが完成します。

論文は、この「再構成」を正しく行えば、機械が実際に何をするかを変えずに、よりシンプルで人間に優しい説明が保証されると証明しています。

5. なぜこれが機能するか：「楽観的」な仮定

論文は、これを機能させるために希望的な推測（仮説）を立てています：AIが問題解決に使用するパターンは、人間がそれらの問題を理解するために使用するパターンと同一である可能性が高い。

もしAIが猫の認識が得意なら、それは何らかの異星で理解不能な数学ではなく、耳やひげといったシンプルで論理的な特徴を使用している可能性が高いのです。モデルを圧縮してこれらのシンプルなパターンを見つけることで、本質的にノイズを「フィルタリング」し、内部に隠された人間が読み取れる論理を見つけ出していることになります。

まとめ

要約すると、この論文は次のことを述べています。

1. 推測を止める： AIが何をするかを見るだけでなく、その内部部品をその動作にマッピングし、それらが完全に一致することを確認する。
2. シンプルに保つ： 最良の説明とは、依然として100%正確である最短のものだ。
3. 機械を再配置する： AIの内部配線を体系的に再構成して、よりシンプルで明確にし、それによって人間が実際に理解できる説明へと自然に導く。

これにより、AIというブラックボックスを、透明で理解可能な機械へと変えるための数学的な「ルールブック」が提供されます。