HELIX: Model-Harness Co-evolution for Recursive Self-Improvement

あなたは、壊れた時計を直そうとしている、優秀だが経験の浅い弟子に教えようとしているところだと想像してください。人工知能の世界において、この「弟子」とはAIモデルのことです。膨大な知識を持っていますが、現実世界での振る舞い方は知りません。長い間、科学者たちは、弟子をより良くする唯一の方法は、その脳をより賢くすることだと考えてきました。彼らはより多くの本、より多くのデータ、そしてより複雑なレッスンを、その脳に与えてきました。

しかし、一つ問題があります。弟子は真空の中で働いているわけではないのです。彼らは「ワークショップ（作業場）」の中で働いています。このワークショップこそが「ハーネス（装着具）」です。それは、いつドライバーを手に取るべきか、どのように助けを求めるべきか、部品を落としたらどうすべきか、そしていつ作業を止めるべきかを教える、一連のルール、道具、指示です。もしワークショップが散らかっていれば、弟子は混乱します。もし道具が鈍ければ、たとえ弟子が天才であっても失敗します。これからあなたが読む論文は、弟子を真に向上させるためには、単にその脳をアップグレードするだけでは不十分であり、脳とワークショップの両方を、互いに高め合うループの中で同時にアップグレードしなければならないということを示唆しています。

---

ヘリックス（HELIX）：脳とワークショップのダンス

香港大学の研究者によって作られた新しいシステム、HELIXを紹介しましょう。HELIXを、完璧なロボットを作る秘訣は、単にロボットの脳を賢くすることではないと気づいた熟練の職人だと考えてください。それは、ロボットの「脳」（AIモデル）とその「ワークショップ」（ハーネス）が、共に成長していくべき親友であると気づくことなのです。

通常、AIを改良しようとする際、私たちは脳とワークショップを別々のものとして扱います。脳を作り、その周りにワークショップを構築し、それらがうまくいくことを期待します。しかし、HELIXは、これは泳ぎ手を教える際に、水温やプールのルールを全く変えずに、筋肉だけを変えようとするようなものだと主張しています。泳ぎ手は強くなるかもしれませんが、水が冷たすぎたりルールが混乱していたりすれば、依然として溺れてしまうかもしれません。

大きなアイデア：共進化
HELIXは「モデルとハーネスの共進化」という概念を導入しています。ビデオゲームをプレイしている場面を想像してください。キャラクターがモデルであり、ゲームのコントロール（ボタン、物理演算、マップ）がハーネスです。

• 従来の方法： キャラクターを強くするために何時間も苦労してレベル上げをしますが、同じ退屈で壊れたレベルでプレイし続けています。
• HELIXの方法： レベルをプレイします。もし勝てば、どのように勝ったのかを学びます。もし負ければ、なぜ負けたのかを学びます。次に、次のレベルが少し異なるものになるようにゲームのコントロール（ハーネス）を微調整し、起きた出来事に基づいてキャラクターのトレーニング（モデル）を微調整します。これを何度も繰り返します。キャラクターはゲームが上手くなり、ゲームはキャラクターを教えるのが上手くなります。

HELIXの仕組み：ビルド・アップデート・リビルドのループ

論文では、**ビルド・アップデート・リビルド（構築・更新・再構築）**と呼ばれる3段階のダンスについて説明しています。HELIXシステムにおける流れは以下の通りです。

1. ビルド（構築）： システムは固定されたAIの脳を取り、そのために多くの異なる「ワークショップ」を構築します。これは、それぞれが少し異なる道具、ルール、または安全チェックを備えた65種類の異なるバージョンのワークショップを構築するようなものです。
2. アップデート（更新）： AIの脳が、すべてのワークショップ（例えば、コードのバグ修正のような問題）を解決しようと試みます。いくつかのワークショップは成功を助け、いくつかのワークショップは面白い失敗を誘発します。HELIXは失敗をただ捨てることはしません。それを保存します！それは「兄弟」の記録を作成します。「これはワークショップAで脳がどのように解決したか、そしてこれはワークショップBでどのように失敗したか」という記録です。これらの記録は、脳のための特別なトレーニングマニュアルになります。
3. リビルド（再構築）： 脳はトレーニングマニュアルによって少し賢くなります。しかし、今や古いワークショップは、その新しい、より賢くなった脳には最適ではないかもしれません。そこで、HELIXはワークショップを再構築し、脳の新しいスーパーパワーに適合する新しい道具やルールを設計します。

彼らが発見したこと：単なる優れた脳以上のもの

研究者たちは、100個のコーディングタスク（コンピュータプログラムのバグ修正など）を使用して、このアイデアをテストしました。彼らは「Pi」と呼ばれる標準的なセットアップからスタートし、HELIXによって64種類の新しいワークショップのバリエーションを進化させました。

結果：

• 最高の単一ワークショップ： 異なるワークショップのパーツを組み合わせることで、HELIXは100個のタスクのうち52個を解決する特定のセットアップを見つけ出しました。オリジナルのセットアップは50個しか解決できませんでした。劇的な飛躍ではありませんでしたが、ワークショップを変えることが脳のパフォーマンス向上に役立つことを証明しました。
• ポートフォリオの力： これが本当に素晴らしい部分です。もし65個のワークショップすべてをまとめて見ると、それらは100個中79個のタスクを解決しました。つまり、単一のワークショップでは完璧ではありませんでしたが、ワークショップの「グループ」はより広い範囲をカバーできました。これは、65人の異なるメカニックのチームを持っているようなものです。たとえ一人のメカニックがすべての車を直せなくても、チーム全体ならほとんど何でも直せます。
• データの宝庫： 最も重要な発見は、解決されたタスクの数ではありませんでした。それはデータです。HELIXがこれらの異なるワークショップを通じてAIを実行した結果、438件の検証済みトレーニング記録が生成されました。これらは単なる「勝ち」や「負け」のスコアではありませんでした。それらは詳細な物語でした。「この解決策は機能したが、乱雑だった」「この解決策は安全ルールを破ったために失敗した」「この解決策は完璧だった」。この豊かなデータこそが、AIが次回より良く考える方法を学ぶために必要なものです。

なぜこれが重要なのか

この論文は、私たちがAIの向上を間違ったレンズを通して見てきたことを示唆しています。私たちは、「脳を大きくすれば、すべてを解決できる」と考えてきました。しかし、HELIXは、脳は物語の半分に過ぎないことを示しています。それが存在する環境（ルール、道具、安全チェック）も同様に重要なのです。

脳とワークショップを共に進化するチームとして扱うことで、HELİŞは自己改善のサイクルを生み出します。ワークショップは脳の学習を助け、より賢くなった脳はより良いワークショップの設計を助けます。これは、よりタイトで効率的なループです。

研究者たちは、これがすべてを解決する魔法の杖ではないと慎重に述べています。彼らは、すべての新しいワークショップが優れていたわけではなく、中には劣るものもあったことを指摘しています。また、このデータを使って実際に新しい脳をまだ「訓練」していないことも述べています。彼らは単にデータを収集しただけです。しかし、彼らはこの手法が有効であることを証明しました。AIが世界と相互作用する方法を進化させるだけで、高品質で検証済みの学習教材を生成できるのです。

要約すると、HELIXは、AIが単独で賢くなるのではなく、より良い遊び場を作り、そして賢くなったバージョンのためにさらに良い遊び場を作り続けることで、より賢くなっていく未来の設計図なのです。それは、子供に泳ぎを教える際に、浴槽の中で教えるのか、それとも成長するスキルに合わせて形を変えるプールで教えるのかの違いなのです。