What does a Bayes-filtered transformer believe? A predictive Monte Carlo approach

あなたは、謎めいた超スマートなロボットが何を考えているのかを突き止めようとしている探偵だと想像してください。あなたはロボットの脳の中を覗いたり、日記を読んだりすることはできません。できるのは、ロボットが「次の単語を当てる」ゲームをしている様子を観察することだけです。あなたが文章を与えるとたびに、ロボットは驚くべき正確さで次の単語を予測します。しかし、ここにパズルがあります。このロボットは、訓練中に見た膨大な回答リストを単に暗記しているだけなのでしょうか、それとも新しい状況に対して賢い推測を行うための、宇宙の隠れたルールを本当に学習しているのでしょうか？この問いは、機械学習、特に文脈からAIモデルがいかに学習するかを研究する分野の中核に位置しています。これを理解するには、「プライア（事前分布）」（手がかりを見る前のロボットの初期の推測）と「ポステリア（事後分布）」（証拠を見た後にその推測がどのように変化するか）について知る必要があります。科学者たちは、これらのロボットが真にベイズ推論（新しいデータに基づいて信念を更新するという高度な方法）を行っているのか、それとも単にその数学的な「見た目」を模倣しているだけなのかという疑問を長年抱いてきました。

この論文は、カーテンの裏側を覗き見るための巧妙な新しいトリックを紹介しています。研究者たちは、「ベイズ・フィルタリングされたトランスフォーマー（隠れたルールによって生成されたシーケンスで訓練された一種のAI）」を用い、「予測的モンテカルロ法（Predictive Monte Carlo: PMC）」と呼ばれる手法を開発しました。AIを、何百万ものスープを味わってきたシェフだと考えてみてください。もしあなたがそのシェフにレシピを説明してほしいと頼んだら、彼らは単に「鶏肉のような味がする」と言うかもしれません。しかし、もしあなたが特定の材料を与えて、その材料に基づいた「新しいバッチのスープを調理して」と頼み、そしてその新しいバッチを味わって、彼らが「本当のレシピ」について何を考えているのかを探ろうとしたら、より明確な姿が見えてくるはずです。著者らは、この「調理」メソッドを用いて、AIから何千もの偽の未来のシーケンスを生成します。これらの偽の未来を分析することで、彼らはAIの隠れた「信念」を再構築することができるのです。

この研究は、3つの異なる種類のパズルを用いてテストされました。「壺から色の付いた玉を取り出すゲーム」、「線形回帰タスク（散布図を通る直線を見つけること）」、そして「ボードゲームのように状態間を移動するゲーム」です。それぞれの場合において、彼らはAIをさまざまな「タスク（異なるレシピ）」の混合物で訓練し、そしてPMCを使用して、AIが実際に何を信じているのかを確認しました。彼らは、AIの内部的な信念が非常に興味深い形で変化することを発見しました。AIが少数のタスクの種類のみで訓練されると、それは「暗記者」として振る舞い、見た特定の例に固執します。しかし、訓練タスクの多様性が増すと、AIは「汎化器（ジェネラライザー）」へとシフトし、すべてに適用できるより広範なルールを学習します。興味深いことに、論文は、このシフトが滑らかに起こるわけではないことを示しています。ある特定のポイントで、AIは一時的に天才的な汎化器として振る舞った後、再び暗記者モードへと落ち着くのです。決定的なことに、著者らは、AIの最終的な予測（「次の単語を当てる」部分）だけを見ることでは、この現象を見ることはできないことを実証しています。2つの異なる内部的な信念体系は、全く同じ予測を生み出す可能性があるため、PMCを用いて、真の思考が行われている「潜在空間」を覗き込まない限り、AIの真の性質は不可視のままなのです。

探偵の新しい道具

では、この新しいツールであるPMCは、実際どのように機能するのでしょうか？AIが特定のルールに従って訓練された占い師だと想像してください。あなたは「空は……だから青い」といったプロンプトを与え、彼らが次の言葉を予測し始めるところを見守ります。通常、あなたは最初の予測だけを取って次に進みます。しかし、PMCを使えば、そこで止まってはいけません。あなたは占い師に、その始まりに基づいた長い物語を生成し続けるよう求めます。これを何百回も繰り返し、何百もの異なる物語を作成します。

これらの長い「偽の物語」を手に入れたら、その中のパターンを調べます。もしAIが「空」の後に必ず「青い」が来る世界で訓練されていたなら、物語はそのようになるでしょう。しかしより重要なのは、生成された物語の「全体」を分析することで、AIが「ゲームのルール」とは何かをどのように考えているのかを逆エンジニアリングできる点です。それは、手品師が帽子からウサギを取り出す様子を見ているようなものです。単にウサギを見るのではなく、その手品師が千個の異なる帽子から千個の異なるウサギを取り出す様子を見ることで、帽子がどのように細工されているのかを正確に把握しようとするようなものです。これにより、研究者はAIの「プライア（プロンプトを与える前の信念）」と「ポステリア（プロンプトを見た後の信念）」をマッピングすることができます。

大いなる転換：暗記者 vs 汎化器

研究者らは、AIにおける大きな問いを検証するためにこの手法を用いました。モデルは特定の例を暗記することを学ぶのか、それともルールを汎化することを学ぶのか？彼らは3つの異なる「タスク・ファミリー」を用いた実験を設定しました。

第一に、彼らは**「玉と壺（Balls-and-Urns）」を調査しました。赤と青の玉が入った壺を想像してください。AIの仕事は、次の玉を当てることです。「タスク」とは、その壺の中にある赤と青の具体的な割合です。もしAIが少数の特定の壺の組み合わせだけで訓練された場合、それは「暗記者」になります。「ああ、この特定の壺には赤が80%あるから、赤と予想しよう」と学習します。しかし、もしAIが、異なる割合を持つ膨大な種類の壺で訓練された場合、それは「汎化器」**になります。AIは「混ざり具合はランダムなので、次の展開を予想するために履歴を見るべきだ」というルールを学習するのです。

論文は、このシフトに関する「閾値（しきい値）」を発見しました。AIが訓練される異なるタスク（異なる壺の混合比）の数が少ないとき、AIは暗記者として振る舞います。しかし、タスクの数が増えるにつれて、AIは突然、汎化器として振る舞うように切り替わります。これは、**「タスク多様性閾値（Task-Diversity Threshold）」**と呼ばれる現象を裏付けるものです。

しかし、ここからさらに面白くなります。研究者らはまた、**「一時的な汎化（Transient Generalization）」**についても調査しました。これは、新しい主題を学んでいる学生を見守るようなものです。最初は、彼らは大局的な理解（汎化）を試みるかもしれませんが、その後混乱し、テストに合格するために特定の事実を暗記し始めることがあります。論文は、訓練プロセスにおいて、中程度のタスク多様性のレベルにおいて、AIは実際には汎化器として「開始」するものの、訓練が進むにつれて、再び暗記者へと漂流していくことを示しました。これは、より硬直した習慣へと落ち着く前の、一時的な輝きのフェーズなのです。

答えを見るだけでは不十分な理由

この論文の最も重要な発見の一つは、AIの答えを見るだけでは、AIが何をしているのかを判断できないということです。著者らは優れた比喩を用いています。2つの異なる都市の地図を想像してください。1つは、通りを詳細かつ正確に描いた地図です。もう1つは、主要な道路だけを示したスケッチです。もしあなたが両方の地図に特定のコーヒーショップへの道順を尋ねたら、両者は全く同じ指示を与えるかもしれません。もしあなたが指示（予測）だけを見ているなら、どちらが本物の地図であるかを判別することはできません。

AIの世界では、異なる内部的な「信念（ポステリア）」が、全く同じ予測をもたらすことがあります。論文は、AIの予測を「ゴールドスタンダード（正解）」と比較するだけのこれまでの研究が脆弱であった理由を、それが「真にルールを理解しているモデル」と「たまたま同じことを予測しているだけのモデル」を区別できなかったからだと主張しています。PMCを用いて「潜在空間（隠れた信念体系）」を覗き込むことで、研究者たちは、AIの内部地図が確かに暗記者のスケッチから汎化器の詳細な地図へと変化し、そして再び戻っていく様子を見ることができたのです。

クリスタル・ボールの限界

著者らは、この手法がすべてを解決する魔法の杖ではないことにも注意を払っています。PMCの妥当性は、実現するのが難しい特定の数学的条件が満たされることに依存しています。彼らの実験では、正解（グラウンド・トゥルース）が既知である合成タスク（玉と壺や単純な数学問題など）を使用しました。彼らは、PMCがそこで見事に機能し、AIの隠れた信念を正常に復元できることを見出しました。

しかし、現実世界の巨大なAIモデル（エッセイを書いたりチャットしたりするもの）に対して、その数学的整合性が完全に保たれているかどうかは、まだ分かっていないことも認めています。AIの内部ロジックがあまりに複雑であるため、私たちの「占い」メソッドでは、いくつかのニュ一アンスを見逃している可能性があります。しかし、こうした限界があるとしても、この論文はAIを調査するための強力な新しい方法を提供しています。AI自身の「もしも（what if）」のシナリオを生成し分析することで、私たちは、これらのモデルが単に何を「言っている」かではなく、実際に何を「考えている」のかを、ようやく理解し始めることができるのです。

結局のところ、この論文は単にAIがいかに学習するかを教えてくれるだけではありません。それは、学習プロセスそのものを見るための新しいレンズを与えてくれます。AIは単なる事実の静的なデータベースではなく、暗記と理解の間を揺れ動くダイナミックなシステムであり、適切な問い方さえ知っていれば、その変化を追跡できることを示しているのです。