あなたは、ガラスの箱の中に閉じ込められた超天才なロボットの脳を持っていると想像してみてください。その脳の考え方を変えたり、新しいことを学習したりすることはできません。配線は凍結されています。しかし、その脳が住んでいる「部屋」を変えることはできます。家具を配置し直し、新しい道具をベルトに付けたり、より優れた地図を与えたりすることができるのです。人工知能の世界では、この「部屋」は**ハーネス（harness）**と呼ばれます。それは、大きなAIモデルを取り囲み、問題を解決するのを助けるための指示、道具、およびメモリシステムの集合体です。長い間、科学者たちはAIをより賢くするためには、脳そのものをアップグレードしなければならないと考えてきました。しかし、もしその「部屋」を完璧に整えることで、凍結された脳が突然天才になったとしたらどうでしょう？これこそが、この論文が取り組んでいる大きな問いです。「自ら学ぶことができないロボットの脳は、より良い部屋を作る方法を自習できるのか？」という問いです。

この研究の背後にいる研究者、Tailin Zhou氏は「イエス、ただし限界はある」と述べています。彼らは**階層的自己改善（Hierarchical Self-Improvement: HSI）**と呼ばれるシステムを作り上げました。これは、同じ凍結された脳がすべてのフロアに住んでいるけれど、それぞれ異なる仕事をしている「3階建てのビル」だと考えてください。1階では、脳は特定のルール（ハーネス）を使ってゲームをプレイしています。中間の2階では、脳はそのルールを観察し、より高いスコアを得るためにルールを書き換えようとします。最上階の3階では、脳はその「ルールを書き換えるプロセス」自体を観察し、そのプロセスをより良くしようとします。魔法のトリックは、最上階の脳は自身のロジックにおいて「凍結」されていることです。つまり、自分自身を書き換えることはできず、混乱したりすべてを壊したりすることを防いでいます。これは、レシピ（中間のフロア）を変えることも、レシピ本の書き方（最上階のフロア）を変えることもできるけれど、シェフ自身の「手」と「脳」は固定されているようなものです。

チームはこの手法を、ビデオゲームのようなパズルであるBALROGを用いてテストしました。その結果、中程度の難易度のゲームにおいては、このシステムは実に見事に機能しました。AIに自分の指示を何度も書き換えさせることで、脳自体を変えることなく、ゲームの成績が大幅に向上したのです。例えば、「BabyAI」というゲームではスコアが**39.3%跳ね上がり、「Crafter」では33.0%**上昇しました。さらに、見たこともない新しいレベルをプレイすることもできており、単に答えを暗記しているのではないことを証明しました。しかし、この論文は一つの壁も見出しました。もしゲームがあまりにも難しすぎて、凍結された脳がそもそも理解できない場合（非常に複雑なダンジョン探索ゲームであるNLEなど）、いくら部屋を整え直しても効果はありませんでした。脳が、学習のための正しい信号を生み出すことができなかったのです。

したがって、主な教訓は、固定されたAIからより多くのパフォーマンスを引き出すには、その「ユーザーマニュアル」と「ツールベルト」を絶えずアップグレードさせればよいということですが、弱すぎる脳をスーパーブレインに変えるために家具を変えることはできない、ということです。この改善は現実的で測定可能であり、驚くほど効果的ですが、元の脳が実際にどれほど賢いかによって決まる天井が存在します。

三階建ての脳のビルディング

これがどのように機能するかを理解するために、一つの凍結されたAIの脳（これを「M」と呼びます）が、新しい事実を学ぶには賢すぎるが、自身のコードを書き換えるには頑固すぎる、という状況を想像してください。研究者は、この脳が住むための3階建てのビルを構築しました。各フロアは異なる役割を表しています。

1階：プレイヤー
ここでは、脳Mはゲームをプレイしています。彼には「ハーネス（H）」があります。これは、特定の道具セット、メモ帳、そしてゲームと対話するためのルールを備えた、カスタムメイドの鎧のようなものです。これが実際に作業を行う部分です。もしゲームが「赤い鍵を探せ」であれば、ハーネスは脳に対して、鍵をどのように探し、どこに置くべきかを伝えます。

2階：設計者（アーキテクト）
上の階では、同じ脳Mが今度は設計者として動いています。彼は1階のプレイヤーを観察し、プレイヤーがどこで失敗したかを見極め、ハーネスを書き換えます。例えば、「プレイヤーが左の部屋に鍵があることを忘れ続けていた。メモリシステムに付箋を追加しよう」といった具合です。これが**エボルバー（Evolver）**です。彼はゲームをプレイするのではなく、プレイヤーのためのルールを変更するのです。

3階：設計図のデザイナー
最上階の3階では、脳Mは「設計図のデザイナー」となります。彼は2階の設計者を観察します。例えば、設計者がミスを見つけるのが遅すぎたり、あるいは同じ種類のミスを繰り返したりしているかもしれません。デザイナーは設計者の戦略を書き換えます。「直前の20手を見るのではなく、直前の5手を見ろ」といった指示を出すこともあります。これが**メタ・エボルバー（Meta-Evolver）**です。

安全ロック
最も重要な点は、このビルには安全ロックがあることです。設計図のデザイナー（最上階）は設計者の戦略を変えることができますが、自分自身のコードを変更することはできません。最上階を実行するコードは「凍結」されており、変更不可能です。これにより、システムが自分自身を書き換え続けようとして、すべてを壊してしまうというループに陥るのを防いでいます。これは、教師が学生のためにレッスンプランを変更でき、校長が教師のレッスンプランを変更できるけれど、校長自身の職務記述書は石に刻まれていて変えられない、というようなものです。

「思考のオン/オフ」スイッチ

AIが単にパズルを解くために、より多くの脳のパワーを使っているのではないことを確認するために、研究者は巧妙なトリックを用いました。脳がゲームを「プレイ」しているとき（1階）、彼らは「思考」モードをオフにしました。脳は最初の直感に従って行動しなければなりません。しかし、ルールを「書き換えている」とき（2階と3階）は、思考モードをオンに戻しました。これにより、改善が（脳が突然賢くなったり長く考えたりしたことによるものではなく）より優れたルール（ハー景）からもたらされたことが証明されました。

結果：成功する場合と失敗する場合

チームは、異なる難易度のテキストベースのアドベンチャーゲームのコレクションであるBALROGというベンチマークでこのシステムをテストしました。

成功の物語
中程度の難易度のゲームにおいて、このシステムはスーパースターでした。

• BabyAI: スコアが +39.3% 向上。
• Crafter: スコアが +33.0% 上昇。
• TextWorld: +25.0% のブースト。
• MiniHack: +15.0% の獲得。

さらに印象的なことに、「BabaIsAI」というゲームでテストした際、AIは一度も見たことがない新しいレベルでも機能するルールを学習しました。「BreakStop」というサブゲームでは0.98（ほぼ完璧）のスコアを獲得し、「GoTo」では1.00（完璧）を獲得しました。これは、AIが練習した特定のレベルを単に暗記したのではなく、再利用可能なより良い戦略を実際に学習したことを意味します。

明確な限界
しかし、論文は明確な境界線も見出しました。深い推論を必要とし、ヒントが極めて少ない「NLE」という非常に難しいゲームに対して試みたところ、システムは改善できませんでした。スコアは 0.0 のまま停滞しました。

なぜでしょうか？それは、凍結された脳が、そもそもゲームを理解できるほど賢くなかったからです。ハーネスは道具を並べ替えることはできますが、脳に解決策を見通すための「新しい目」を与えることはできません。論文は、ハーネスの進化は**乗数（マルチプライヤー）**のようなものであると示唆しています。もし脳がそのタスクに対してある程度の実力を持っていれば、ハーネスはそれを素晴らしいものにできます。しかし、もし脳がそのタスクに対して全くダメであれば、どんなにツールを並べ替えても上手にはなりません。

これが将来にとって何を意味するか

この研究は、巨大で高価な新しいモデルを訓練することなく、AIをより良くするための新しい方法を示唆しています。より賢い「脳」を作ろうとする代わりに、脳が住むためのより賢い「部屋」を作ることができるのです。この論文は、単一の凍結されたAIが、タスクが難しすぎず、かつAIが何が正しく何が間違っていたかについて明確なフィードバックを得られる限り、自分自身の指示を改善する方法を自習できることを示しています。

これは、ある人に固定されたスキルセットを与えつつ、彼らが自分自身のワークショップを設計できるようにするようなものです。もし仕事が彼らのスキル範囲内であれば、彼らは非常に効率的なワークショップを構築し、熟練した職人になれるでしょう。しかし、もしその仕事が彼らが持っていないスキルを必要とするならば、どんなワークショップのデザインも、タスクを完了させる助けにはなりません。この論文は、多くのタスクにおいて、ワークショップのデザインこそが、私たちがすでに持っているツールの潜在能力を解き放つための欠けている鍵であることを証明しています。