あなたは、ロボットに存在するあらゆるビデオゲームをプレイさせる方法を教えていると想像してください。昔、科学者たちは、これを実現する唯一の方法は、ロボットの頭の中に単一の超スマートな脳を構築することだと考えていました。彼らはロボットにレベル（ステージ）を教え込み、学習させ、それから次のレベルを教え込むという作業を繰り返していました。しかし、ここには落とし穴がありました。新しいゲームを学習するたびに、ロボットは古いゲームの遊び方を忘れてしまうように見えたのです。それはまるで、日記に新しい章を書き込もうとしているのに、前のページのインクが滲んで消えてしまうようなものでした。「破滅的忘却（catastrophic forgetting）」として知られるこの問題は、「継続学習（Continual Learning）」と呼ばれる分野における大きな悩みの種でした。

長い間、解決策は単純に見えました。新しいゲームに合わせてロボットの内部の脳（その「パラメータ」）を微調整し、古いものを消去しないようにすることです。しかし現在、私たちはチャット、コード作成、複雑なパズルを解くことができる、巨大で超強力なAIモデルの時代にいます。これらのモデルは非常に大きく複雑であるため、従来の「ただ脳を微調整する」というアプローチは機能しなくなっています。私たちは新しい考え方を必要としています。ロボットの脳をどう更新すべきか（How）と問う代わりに、「いつ（When）」学習すべきか？「どこに（Where）」知識を保持すべきか？そして「どのように（How）」自身を更新すべきか？と問う必要があるのです。

**「Continual Learning in Transition（移行期における継続学習）」**と題されたこの論文は、この新しい領域への地図のようなものです。著者らは、ロボットの脳が学習が行われる唯一の場所であるという考え方から、私たちは脱しようとしていると主張しています。彼らは、AIが人間のように変化する世界に適応できる真の汎用知能（AGly）になるためには、システム全体を見る必要があると示唆しています。それは単なる「脳」の問題ではありません。ロボットのノート、道具箱、そしてルールブックについても考える必要があります。この論文は、膨大な量の新しい研究を調査し、学習とはロボットが出動する前に行われる単一のイベントではないことを示しています。学習は、脳だけでなく、外部メモリやツールを用いて、出動前、出動中、さらには出動後にも行われる継続的な旅なのです。

3つの大きな問い：いつ、どこで、どのように

著者らは、これらすべての異なる手法を、3つのシンプルな問いを用いて整理することを提案しています。これは、ロボットがどのように学ぶかを整理するための、巨大な図書館の分類のようなものです。

1. いつ（When）：学習のタイムライン
かつて、学習は一つの大きなブロックとして行われていました。モデルをトレーニングし、それを仕事に送り出し、それで終わりでした。モデルは固定されていました。

• 新しい視点： 学習はスプリント（短距離走）ではなく、マラソンです。それは3つの明確なフェーズで行われます。
  • 事前学習（Pre-training）： ロボットは、特定の仕事を始める前にインターネット全体を読み込むように、膨大なデータのストリームから学習します。
  • 事後学習（Post-training）： 初期の学習の後、ロボットは微調整（ファインチューニング）を受けます。指示に従うこと、礼儀正しくあること、あるいは特定のパズルを解くことを学びます。これは専門的な訓練キャンプのようなものです。
  • 推論時（Inference-time / 「今まさに」）： これが大きな変化です。ロボットは「働きながら」学習します。もし新しい状況に遭遇したり、フィードバックを得たりした場合、即座に自分自身を更新できます。これは、試験前に勉強するだけでなく、テストを受けている最中も答えを調整し続ける学生のようなものです。

2. どこで（Where）：知識の蓄積
伝統的に、すべての知識はロボットの脳（内部パラメータ）の中に保存されていました。新しい事実を追加したい場合は、脳を書き換えなければなりませんでした。

• 新しい視点： 脳はもはや唯一のストレージユニットではありません。著者らは、脳の「外側」にある、ロボットが使用するあらゆるものを指す**「ハーネス（Harness）」**という概念を導入しています。
  • メモリ（記憶）： ロボットが持ち歩くノートを想像してください。ロボットは脳を変えることなく、事実や会話、経験をここに書き留めることができます。後でこのノートを読み返すことで、物事を思い出すことができます。
  • スキル（技能）： これらは道具箱の中の道具のようなものです。新しいスキルを脳にハードコーディングする代わりに、ロボットは新しい道具（コード生成器や計算機など）を手に取り、それを使うことができます。さらには、進みながら新しい道具を作り出すことさえ可能です。
  • プロトコル（規約）： これらはロボットが従うルールブックやスクリプトです。ロボットの脳にゲームのルールをハードコーディングするのではなく、ルールは紙に書かれ、ロボットがそれを読み、更新できるようにします。
  • 転換： 論文は、能力が分散していることを示唆しています。それはもはや脳の中だけにあるのではありません。脳、ノート、道具箱、そしてルールブック全体に分散されているのです。

3. どのように（How）：更新の手法
ロボットは実際にどのように学ぶのでしょうか？

• 旧来の方法（オフポリシー / Off-Policy）： ロボットは、他人が書いた教科書のような静的なデータセットから学習します。古い例を見て、それに適合しようとします。新しいデータが古いデータと衝突する場合、これが忘却を招く原因となります。
• 新しい方法（オンポリシー / On-Policy）： ロボットは「自分自身の行動」から学習します。何かを試し、何が起きたかを見て、その特定の経験から学びます。これは、マニュアルを読むのではなく、実際に自転車に乗って転びながら練習して学ぶようなものです。これにより、ロボットは一貫性を保ち、忘却を抑えることができます。
• 勾配を超えて（Beyond Gradients）： また、標準的な「数学的な」学習方法（バックプロパゲーション）を使用しない方法もあります。
  • モデル・マージ（Model Merging）： 異なる2つの学習済み脳を取り込み、再学習させることなく、それらを数学的に組み合わせて一つのスーパー脳にする様子を想像してください。
  • プロンプト進化（Prompt Evolution）： 脳を変える代わりに、与える指示（プロンプト）を進化させます。ロボットは、あなたとの話し方を進化させることで学習します。
  • ゼロ次（Zeroth-Order）： これは、エラーの正確な数学的な傾きを計算する必要なく、ロボットが「推測と検証」によって学習するという、少し高度な言い方です。

なぜこれが重要なのか：大きな全体像

著者らは、私たちが転換点にいると考えています。私たちは以前、「破滅的忘却」を解決するには、脳を更新するためのより優れた数学的なトリックを見つけることだと考えていました。しかし現在、彼らは、解決策はもっと大きいと主張しています。それは**「システムレベルの適応」**です。

彼らは、単にロボットの「ノート（メモリ）」を大きくしたり、より多くの「道具（スキル）」を与えたりするだけでは不十分であると指摘しています。もしロボットがそれらを自ら管理できなければ意味がないからです。現在、人間がこれらのノートや道具を手動で更新しなければならないことがよくあります。論文は、AIが「人工汎用知能（AGI）」——人間のように適応できるレベル——に到達するためには、ロボットが自身のメモリ、スキル、およびルールを自動的に管理できなければならないと示唆しています。

また、論文はいくつかの課題も浮き彫りにしています。例えば、ロボットが「ノート（コンテキストウィンドウ）」に頼りすぎると、ノートがいっぱいになった時に忘れてしまうかもしれません。逆に「脳」に頼りすぎると、古いことを学ぶ際に新しいことを忘れてしまうかもしれません。理想的な未来は、いつノートに書き込み、いつ新しい道具を作り、いつ脳を恒久的に更新すべきかを、ロボット自身が判断できるシステムです。

次は何が来るのか？

著者らは慎重でありながらも、楽観的です。彼らはすべてを解決したと主張しているわけではありません。実際、これらの新しい手法の多くは、まだ初期段階にあることを指摘しています。知識を脳、ノート、道具の間でシームレスに移動させる完璧なシステムは、まだ存在しません。

彼らは、AI研究の未来は単に「脳を大きくすること」だけではないと考えています。むしろ、これらすべての異なる部分をどのように調整するかを見つけ出す必要があります。それは都市を建設することに似ています。単に大きな家（脳）を建てるだけでは不十分です。道路、図書館、発電所（ハーネス）を建設し、それらがどのように連携して機能するかを考えなければなりません。

要約すると、この論文は「一つの脳、一つの更新」の時代は終わったと告げています。学習の未来は、ダイナミックで多層的なダンスです。AIは、内部のニューロンから外部のツールに至るまで、システムのあらゆる部分を使用して、決して止まることのない世界に適応するために、継続的に学習していくのです。それは、壊れた記憶を修理しようとする試みから、経験とともに成長していく、生きているシステムを構築することへの転換なのです。