Training with (Swap) Regret Loss in a Single-Layer Self-Attention Model: A Case Study on the Probability Simplex

コンピュータが単に質問に答えるだけでなく、私たちと共にゲームをプレイし、交渉を行い、意思決定を行う世界を想像してみてください。これは人工知能の最前線、具体的には「マルチエージェント学習」と呼ばれる分野です。この領域において、AIは単なる受動的なツールではありません。それは独自の目標を持ち、変化し続ける環境の中で他のプレイヤー（他のAIや人間）と相互作用する一人のプレイヤーなのです。ここでの大きな課題は「後悔（レグレット）」です。後悔とは、ジャンケンをした後に、「ああ、相手はいつもグーを出してくるから、パーを出しておけばよかった」と気づいた時に感じる、あのモヤモヤとした感覚のようなものです。AIの世界における「後悔の最小化」とは、たとえ未来が予測不可能であったとしても、振り返ってみた時に「これが最善の戦略だった」と言えるような選択をする方法を学ぶことを意味します。

長い間、科学者たちは数学的な公式を用いて、コンピュータにこの後悔を最小化する方法を教えてきました。これにより、ゲームにおいて公平にプレイし、安定した結果に到達することを保証してきました。しかし、そこには一つの謎がありました。チャットボットを動かしている「Transformer」モデルをはじめとする現代のAIは、「自己注意（セルフアテンション）」と呼ばれるメカニズムに基づいています。これは、AIが物語や会話の最も重要な部分に焦点を当てるための「スポットライト」のようなものです。私たちは、これらのモデルが言語において非常に賢いことは知っていますが、意思決定や後悔という泥臭い数学をどのように扱うのかについては、完全には理解していませんでした。彼らは単に人間の間違いを模倣しているのでしょうか、それとも数学者が設計した完璧な戦略を密かに学習しているのでしょうか？ 本論文はこの問いを掘り下げ、AIの注意メカニズムを「訓練可能な小さなゲームプレイヤー」として扱い、AIが自力で完璧な意思決定のルールを学習できるかどうかを検証しています。

この論文の大きな発見：ルールに従ってプレイすることを教える

本論文の著者たちは、ある特定のアイデアをテストすることにしました。それは、「非常に単純なAIモデル（単層のセルフアテンション・モデル）を、特別な『後悔損失（レグレット・ロス）』を用いて訓練したらどうなるか？」というものです。単にAIに「正解を出せ」と命じるのではなく、後悔の感覚そのものを直接最小化するように訓練したのです。彼らは、この訓練を通じて、AIが複雑なゲーム理論の数式を明示的にプログラムされることなく、自然に完璧な意思決定者へと進化するかどうかを確かめたいと考えました。

「平滑化された虚偽プレイ（Smoothed Fictitious Play）」の魔法
第一の大きな発見は、まるで「負けを悔やまないように」と言われた新米プレイヤーが、突然グランドマスターのようにプレイし始めるのを発見したかのようです。研究者たちは、単一ヘッドのアテンション・モデル（一つの「スポットライト」を持つモデル）を外部後悔を最小化するように訓練したとき、モデルがある特定の状態に落ち着くことを見出しました。この状態において、モデルの振る舞いは「平滑化された虚偽プレイ」と呼ばれる古典的なアルゴリズムと数学的に同一でした。

例え話を使うと、あなたが「相手が次に何をするか」を予想しなければならないゲームをしていると想像してください。「虚偽プレイヤー（fictitious player）」は、相手が過去に行ったすべての行動を見て、相手が再び同じことをすると予想します。「平滑化（smoothed）」とは、相手を盲目的にコピーするのではなく、ループに陥らないように少しのランダム性や「平滑化」を加えることを意味します。論文は、訓練後のAIがまさにこれを行っていることを証明しています。AIは損失の履歴（自分が犯した「悪い手」）を見て、後悔をなくすことが数学的に証明されている方法で戦略を更新します。AIが自然に見出す「ステップサイズ（学習のために踏み出す歩幅）」は、プレイしたラウンド数 $T$ に対しておおよそ $1/\sqrt{T}$ です。これは単なる幸運な推測ではなく、この特定の条件下において、AIの内部的な数学が理想的な学習戦略と完璧に一致することを著者らが証明したものです。

「スワップ後悔」へのアップグレード：マルチヘッドの司令塔
しかし、研究者たちはそこで止まりませんでした。時には、単に後悔を避けるだけでは不十分な場合があることに気づきました。例えば、「もし私がパーを出す代わりに毎回グーを出していたら、もっと勝てていたはずだ」といった、選択肢を入れ替えることを考えたい場合があるでしょう。これは「スワップ後悔（swap regret）」と呼ばれます。これを扱うために、彼らは新しい「スワップ後悔損失」と、複数の「ヘッド（複数のスポットライトが連携して働く仕組み）」を持つより複雑なAIアーキテクチャを導入しました。

彼らは、各「ヘッド」がミニ専門家として機能し、それぞれが特定の種類の後悔を最小化するように学習するシステムを設計しました。そして、これらのヘッドが協力して遷移行列（戦略を切り替えるためのマップ）を形成し、「不動点（誰も戦略を変えたがらない安定した状態）」を見つけ出します。論文は、このマルチヘッド・モデルが新しい損失関数を用いて訓練されたとき、ブルム＝マンサー（Blum–Mansour）アルゴリズムという有名なアルゴリズムを完璧に模倣することを示しています。

これは、チームで動く探偵隊のようなものです。各探偵（ヘッド）は、事件の異なる角度（後悔）を調査します。個々としては、手がかりを見つけるのが得意です。しかし、彼らが調査結果を統合し、すべての手がかりが一致する「不動点」を見つけたとき、彼らは事件を解決します。論文は、スワップ後悔を最小化するように訓練されたこのAIチームが、自然にこの完璧な探偵チームのように振る舞うよう組織化されることを証明しています。

これが未来に意味すること
この論文の最も刺激的な部分は、ゲームや交渉におけるAIの未来に対してこれが何を意味するかという点です。著者らは、これらのアテンション・モデルを後悔を最小化するように訓練すれば、モデルは単にゲームが上手くなるだけでなく、プレイヤーのグループ全体を「均衡状態」へと自然に導くことを示しています。

• もしAIが外部後悔を最小化する場合（単一ヘッド・モデル）、プレイヤーのグループは自然に「粗い相関平衡（Coarse Correlated Equilibrium）」に達します。これは、誰も無条件に戦略を変えたがらない状態です。
• もしAIがスワップ後悔を最小化する場合（マルチヘッド・モデル）、グループは「相関平衡（Correlated Equilibrium）」に達します。これは、指示された内容に基づいて戦略を変えたくないと誰もが考える、より強力で洗練された状態です。

本論文は、これらのモデルがこれらの複雑なゲーム理論のルールを手動でプログラミングされる必要があるという考えを明確に否定しています。代わりに、「後悔損失」が、AIがこれらのルールを自力で発見するように導く「教師」として機能するのです。著者らは、これらの結果が、特定の簡略化されたモデル（単層の線形アテンション）において、特定の訓練条件（ガウスノイズ）の下で証明されたものであることに細心の注意を払っています。彼らは、100層もの大規模なチャットボットが自動的にこれを行うことをまだ証明したわけではありませんが、最も単純なバージョンのテクノロジーにおいて、その「メカニズム」が存在することを証明しました。

要約すれば、この論文は、AIにおける「アテンション（注意）」メカニズムが単に文章を読むためのものではなく、公平にプレイする方法を学ぶための隠れたエンジンであることを明らかにしています。単にAIに「後悔を感じるのをやめる」ように教えるだけで、複雑なゲームにおいて数学的に健全かつ自然に創発されるレベルの戦略的知能を解き放つことができるのです。これは、AIエージェントがいつの日か、私たちと協力し、競い合うための方法を、あらかじめ組み込まれたルールなしに、自然な形で学習していくプロセスへの一歩となります。