A Differentiable Atari VCS:A Complex, Fully Known Ground Truth for Explainable AI

大きな問題：説明不可能なものへの説明

あなたが手品（マジック）の仕組みを説明しようとしている場面を想像してみてください。

• シナリオA： 手品が単純な「カードのすり替え」のような場合。どのように行われたのかがはっきりと分かります。説明するのは簡単ですが、あまり驚きはありません。
• シナリオB： 手品が非常に複雑で、何百万もの歯車を持つ巨大なブラックボックス・マシンを使っている場合。マシンが結果を生み出すことは見えますが、その内部で何が起きているのかは全く分かりません。なぜうまくいったのかを「推測」することはできますが、その推測が正しいか間違っているかを証明する方法がありません。

これが現在の**説明可能なAI（XAI）**の現状です。私たちは完璧に説明できる単純なAIモデルも持っていますし、一方で、その「正解（グラウンドトゥルース：内部構造の真実）」が分からないために全く説明できない複雑なAIモデル（ビデオゲームをプレイするものなど）も持っています。

解決策：「魔法の」ビデオゲーム・コンソールの構築

著者たちは、新しい種類のテスト対象物を構築することで、この問題を解決することにしました。彼らが求めたのは、**「（本物のコンピュータのように）興味を引くほど複雑」でありながら、「答えを検証できるほど完全に既知である」**ものです。

彼らは、1980年代のクラシックなビデオゲーム機であるAtari 2600を選びました。

• なぜか？ これは本物のプロセッサ、メモリ、グラフィックスチップを備えた本物のコンピュータだからです。十分に複雑で挑戦しがいがありますが、内部のすべての配線やスイッチをマッピングできるほど小さいのです。
• ひねり（工夫）： 彼らは単にゲームをコピーしたのではなく、現代のコードでコンピュータシステム全体をゼロから再構築しました。ただし、一つの強力な能力を持たせています。それは、**「微分可能（differentiable）」**であるということです。

「微分可能」とはどういう意味か？（「ソフト」なスイッチ）

通常のコンピュータでは、決定は「ハード（硬い）」です。

• 例： 「もしジョイスティックが右に押されたら、スプライトを列10に移動させる」。これは、10であるか、そうでないかのどちらかです。もし「ジョイスティックがどれくらいスプライトを動かしたか」を計算しようとしても、スイッチがバイナリ（オン/オフ）であるため、数学的に破綻してしまいます。

著者たちは、Atariが**「ソフトモード」**でも動作できるように再構築しました。

• 比喩： 電球のスイッチではなく、調光器（ディマー）を想像してください。電灯が厳密に「オン」か「オフ」かではなく、「50%オン」や「73%オン」といった状態になれるものです。
• 魔法： 彼らはコンピュータのロジック（CPU、メモリ、グラフィックスチップ）を、これらの調光器のように機能させました。
  • フォワードパス（結果）： コンピュータは依然として完璧にゲームをプレイします。画面はオリジナルのAtariと全く同じに見えます。数学的な証明により、「ソフト」バージョンが「ハード」バージョンと全く同じ画像を生み出すことが示されています。
  • バックワードパス（説明）： スイッチが「ソフト」であるため、コンピュータはこれで勾配（グラディエント）を計算できるようになります。これにより、「もしメモリの特定のバイトをほんの少し変えたら、画面上のピクセルはどれくらい変化するか？」といった問いに答えることができるのです。

結果：2つの新しいエミュレータ

チームは、この「スーパーAtari」の独立した2つのバージョンを構築しました。

1. jutari: Juliaプログラミング言語で記述。
2. jaxtari: JAX（高性能な数学用ライブラリ）で記述。

うまくいったのか？
はい。彼らは64種類の異なるAtariゲームに対してテストを行いました。

• メモリのチェック： 彼らの新しいバージョンにおけるメモリ（RAM）は、オリジナルのリファレンス・エミュレータと、バイト単位で100%同一でした。
• 画面のチェック： 画面上の画像は、ピクセル単位で100%同一でした。

これは、彼らの新しい「ソフト」コンピュータがシミュレーションではなく、特別な「説明モード」がオンになっただけの、オリジナルの完全なツインであることを意味しています。

「AIアシスタント」という要素

論文では、この構築プロセスについて驚くべきことが述べられています。

• 主張： このようなプロジェクト（コンピュータシステム全体の書き換え）は、通常、人間のチームが数ヶ月あるいは数年を要するものです。
• 現実： 著者たちは、約137時間の稼働時間（およそ6日間）で、2つの完全な動作バージョンを構築しました。
• どのように？ 彼らは、重労働をこなすためにAIコーディング・エージェント（高度なチャットボットのような、コードを書くAI）を使用しました。人間はマネージャーとして、仕事を確認し、バグを修正する役割を担い、AIがコードの大部分を執筆しました。

なぜこれが重要なのか（「グラウンドトゥルース」）

この論文以前は、もしAtariをプレイするAIがなぜその動きをしたのかを説明するためにAIツールを使ったとしても、そのツールが正しいかどうかを確認する術はありませんでした。「もっともらしく見える」と言うことしかできなかったのです。

現在、Atariシステムは完全に既知であり、かつ微分可能であるため：

1. システムに対して説明ツールを実行できます。
2. ツールの回答を、実際の既知の配線と比較できます。
3. そしてようやく、「この説明は正しい」、あるいは「この説明は間違っている」と言うことができるのです。

論文からの具体的な例

著者たちはこれを『スペースインベーダー』でテストしました。

• 問題： 本物のゲームでは、ジョイスティックを右に動かすとキャノンが動きます。しかし、コンピュータはこれを特定のメモリアドレスへの「ハードな」ジャンプによって行っています。標準的な数学ツールでは、このジャンプの部分で数学が破綻するため、「ジョイスティックは画面に対してゼロの影響を与えている」と答えてしまいます。
• 解決策： 彼らの「ソフト」バージョンを使用することで、このジャンプを滑らかにしました。
• 結果： 数学によって、ジョイスキックを右に押すと画面上のキャノンの端が光ることが正しく示されました。彼らは、ジョイスティックがどのように画面へと配線されているかを正確に知っていたため、その説明が正しいことを証明できたのです。

まとめ

著者たちは、「完璧に既知であり、かつ複雑なビデオゲーム・コンピュータ」を構築しました。これは、数学的な説明を可能にするための「滑らかな（スムーズな）」モードでも動作します。彼らは、このスムーズモードが実物と全く同じゲームを生み出しつつ、入力がどのように出力へと変わるかを正確に追跡できることを証明しました。彼らはAIアシスタントを使ってこれを驚異的な速さで構築し、私たちのAIによる説明が本当に真実を語っているのかを検証できる、最初の真の「テストベッド」を作り上げたのです。