Why the Third Axis Is Freedom

大いなるAI推測ゲーム

想像してみてください。あなたはロボットに絵を描くことを教えています。人工知能の世界では、これは通常「生成学習（generative training）」と呼ばれるプロセスを通じて行われます。ロボットは画像を作ろうと試みますが、もしそれが示された例と異なっていれば、「ペナルティ」や低いスコアを与えられます。ロボットはこのペナルティを最小限に抑えたいと考えているため、例をできる限り完璧に模倣するように学習します。しかし、ここに落とし穴があります。もしロボットが、目にする最も一般的な答えをただ一つ吐き出すことだけを学んでしまうと、その特定のものを模倣することには非常に長けていても、新しく異なるものに対処することには極めて弱くなってしまうかもしれません。それは創造的な芸術家ではなく、硬直したオウムになってしまうのです。

長い間、科学者たちはどのようにすればこれらのモデルをより柔軟にできるのかを考えてきました。彼らは「探索的モデリング（Explorative Modeling）」と呼ばれるトリックを発見しました。ロボットにたった一つの推測をするよう求める代わりに、一度に「多くの」推測をするよう求めます。例えば、10種類の異なる絵を描くように指示します。そして、ターゲットに最も近いもの一つだけに罰を与え、残りの9つは無視します。これにより、ロボットは、その中のどれかが正解であることを期待して、より幅広いアイデアを頭の中に保持し続けるよう強制されます。このアイデアは最近、AI学習における新しい「第三の軸」と呼ばれ、多くの異なる「モード」や回答のバージョンを保持する能力こそが、AIをより賢くする鍵であると示唆されています。

しかし、多くのアイデアを保持していることは、賢いことと同じなのでしょうか？ この論文は、より深い問いを投げかけます。「魔法は推測の数にあるのか、それともロボットが選ぶための『自由』にあるのか？」 著者は、単にモデルが生成できるモードの数を数えるだけでは不十分であると主張しています。真の秘密は「自由（freedom）」にあります。ここでの自由とは、モデルがルールを破ることなく、どれほど多くの異なる方法で正解になれるか、という意味です。それは、わずか10個の選択肢から選ぶことを強制されるロボットと、たとえ現在はそのうちの数個しか使っていなくても、膨大なライブラリの中から選ぶことが許されているロボットの違いのようなものです。この論文は、AIの学習を助けているのが、単なる推測の生の数ではなく、この「自由」なのではないかを探求しています。

第三の軸はカウントではなく「自由」である

著者であるマイケル・ティモシー・ベネットは、この「第三の軸」という概念を新たな視点から捉え直しています。彼は、「生成的な表現力（多くのモードを保持する能力）」という従来の考え方は興味深いものの、実は一種の「レッドヘリング（注意をそらす偽の手がかり）」であると主張しています。物語の真のヒーローは、自由なのです。

モデルの振る舞いを、ゲームのルールのセットとして考えてみてください。「弱い」ルールとは、あなたをあまり制限しないルールです。例えば、「どんな色のシャツを着てもよい」というルールは、何百万もの可能性があるため弱いです。「赤いシャツを着なければならない」というルールは、選択肢を一つに絞るため強いルールです。ベネットは、最高のAIモデルとは、正解でありながらも、そのルールをできる限り「弱く」保つモデルであると論じています。この「弱さ」こそが、彼が自由と呼ぶものです。それは、モデルが依然として想像しうる互換性のある補完（completion）のボリュームです。モデルが硬直的すぎると（強すぎると）、世界が変わったときに失敗する可能性があります。もし自由（弱く）であれば、特定の狭い道に自分を閉じ込めていないため、新しい状況に適応することができます。

この論文は、「第三の軸」が単にモデルが生成できる出力の数（モード数）に関するものであるという考えに異を唱えています。ベネットは、モデルが理論上膨大な数の出力を保持できたとしても、そのうちの一つしか決して使わないのであれば、汎化性能において極めて劣る可能性があることを示しています。逆に、許容される出力のセットが小さかったとしても、それらに対して注意を均等に分散させていれば、驚異的な力を発揮することがあります。論文では、自由とはモデルの「形式（form）」（パラメータ数や層の数）ではなく、モデルの「機能（function）」（実際に何を行うか）の特性であることを数学的に証明しています。モデルのサイズや学習データを変えても、その振る舞いの「自由」が変わらなければ、汎化能力は変わらないのです。

「Best-of-K」の魔法

では、どのようにしてこの自由を得るのでしょうか？ 論文では、モデルが $K$ 個の候補を生成し、その中で最善のものを選択するという**探索的モデリング（XM）**という手法に注目しています。著者は、このプロセスがどのように機能するかを示す数学的公式を導き出しています。

暗い部屋の中で特定の鍵を探している場面を想像してください。

• もし一度しか探さない（$K=1$）なら、たとえ鍵が目の前にあっても見逃してしまうかもしれません。
• もし10回探す（$K=10$）なら、鍵を見つける確率は上がります。

論文は、この「10回探す」というプロセスが、モデルの自由に対する「拡大鏡」として機能することを示しています。これは、モデルがゼロから新しい自由を生み出しているのではなく、モデルが持つ広い「許可プロファイル（permission profile）」に報酬を与えているのです。もしモデルが多くの異なる出力を許容していれば（高い自由度）、この「Best-of-K」のプロセスによって優れた一致を見つける可能性が高くなります。もしモデルが硬直しており、一つの退屈なものしか出せないようであれば、10回探しても、10個の推測がすべて同じ退屈なものになるため、あまり意味がありません。

著者は、$K$（推測の数）を増やすにつれて、学習プロセスが自然にモデルをより「弱く（＝より自由に）」していくことを証明しています。モデルは、単一のものの完璧なコピーになろうとするのをやめ、より広範な可能性をカバーすることを学び始めます。これは、ターゲット（モデルが学習しようとしている対象）がすべて同一ではない場合に特に顕著です。ターゲットの中に珍しいものと一般的なものが混在している場合、小さな $K$ ではモデルは一般的なものだけに集中してしまいます。しかし、$K$ が大きくなるにつれて、モデルは珍しいものにも注意を払うことを余儀なくされ、最終的にはすべての有効な選択肢に対して「許可」を分散させるようになるのです。

実験：理論をテストする

論文は数学の領域に留まらず、ニューラルネットワークの実世界においてこの理論が成り立つかどうかを確認するために、2つの主要な実験を行っています。

実験1：推測を増やすことはモデルをより自由にさせるか？
研究者たちは、異なる $K$ の値（1から32まで）を用いてAIモデルを訓練しました。そして、訓練されたモデルが実際に生成することを許容されている異なる有効な出力の数を数えることで、モデルの「自由」を測定しました。

• 結果： より高い $K$ を使用すると、モデルは著しく自由になりました。例えば、一様分布のターゲットの下では、$K$ を1から8に増やすことで「平均対数自由度（mean log freedom）」は約8.3増加しました。モデルは単に推測が上手くなっただけでなく、より多くの有効な可能性を含むように、自らの「許可プロファイル」を実際に拡張したのです。これにより、この学習手法が「推測の予算」を「機能的な自由」へと正常に変換していることが確認されました。

実験2：より「自由な」モデルを選ぶことは、より優れた結果をもたらすか？
ここでは、研究者たちは大量のモデルを訓練した後、ルールがわずかに変化した新しい状況（ゲームのルールが変わった状況）で使用する最適なモデルを選ばなければなりませんでした。彼らは2つの選択方法を比較しました。

1. 子タスク検証（Child-Validation）： 元の学習データ（「子」タスク）で最も成績が良かったモデルを選ぶ方法。
2. 自由度による選択（Freedom Selection）： 元のデータで絶対的な最高成績を収めていなくても、最も高い「自由度」スコアを持っていたモデルを選ぶ方法。

• 結果： 「自由度による選択」を用いた方法が、30回中29回で勝利しました。自由度によって選ばれたモデルは、新しいバランスの取れたデータにおいて、より優れたパフォーマンスを示しました（ヒット率が約0見 0.317 から 0.389 へ向上）。これは、自由度に基づいて選択することで、たとえ特定のデータに対しては見た目が少し完璧さに欠けていたとしても、より堅牢で適応力の高いモデルを選択できることを示唆しています。

大きな構図：手段と目的

論文は、「道具」と「目的」の明確な区別をもって締めくくられています。

• **探索（$K$ 回の推測）**は、手段です。それはメカニズムであり、予算であり、モデルに周囲を見渡させるための方法です。
• 自由は、目的です。それは、モデルを優れたものにする実際の特性です。

著者は、「生成的な表現力（多くのモードを持つことが目標であるという考え）」は、自由の代用（プロキシ）に過ぎないと論じています。それは可能性を数える方法ではありますが、それらの可能性が「どのように」使われているかというニュアンスを見落としています。モデルは高いモード数を持っていても、それらをうまく使いこなせなければ硬直的であり続けます。真の汎化能力は、自由――すなわち、モデルが多くの互換性のある未来に対して開かれた状態であり続ける能力――から生まれるのです。

結局のところ、論文は「第三の軸」とは常に「自由」であったことを示唆しています。探索的モデリングのような新しい手法は、モデルをより制約の少ない、硬直していない、そして未来に何が起きても対応できる状態にするための、巧妙な方法に過ぎないのです。より多くの推測を用いて訓練することで、私たちは単にAIに推測の仕方を教えているのではありません。私たちは、AIにより「自由」になることを教えているのです。