Sandwich-Residuals: Parameter-Efficient Test-time Adaptation of World Models

自らの動きを計画できるロボットは、多くの場合、世界がどのように機能するかについての内部マップに依存しています。例えば、テーブル上のブロックを押し動かそうとするロボットアームを想像してみてください。賢いロボットは、単にその瞬間に見えているものに反応するのではなく、「もしここを押せば、ブロックはあそこへ滑っていく」というように、「こう動けば、こうなる」という予測を行うメンタルモデル（精神モデル）を構築します。このメンタルモデルは、しばしば「世界モデル（world model）」と呼ばれます。これにより、ロボットは実際に動く前に、頭の中で将来の行動をシミュレーションすることができ、間違いを避け、効率的に目標に到達することができます。これらのモデルは通常、照明が完璧で物理法則が一貫しているコンピュータ・シミュレーションのような、制御された環境で訓練されます。しかし、現実の世界は混沌としています。シミュレーションで訓練されたロボットが、照明が異なっていたり、テーブルの表面が滑りやすくなっていたりする新しい部屋に置かれると、その内部マップは狂ってしまうことがあります。その予測は現実と一致しなくなり、ロボットはタスクを完了できなくなります。長年、この問題に対する標準的な解決策は、ロボットが作業している間に、新しい条件に適合するように数百万もの内部設定を調整し、ロボットの脳の一部を再学習させることでした。このプロセスは負荷が高く、時間がかかり、ロボットに自身の動きに関する理解を常に書き換えさせることを要求します。

ある研究チームが、この問題を解決するためのより軽量な方法を発見しました。ロボットに内部マップ全体を書き換えさせる代わりに、ロボットが情報を読み取る入力端と、情報を出力する出力端の「エッジ（端）」を調整するだけで十分であることを見出したのです。新しい研究において、研究者たちは「サンドイッチ・レジデュアル（Sandwich-Residuals）」と呼ぶ手法を導入しました。彼らは、シミュレーション内で動き方を学んだ済みのロボットを取り出し、その数百万もの学習済み設定が一切変わらないよう、その内部の脳を完全に凍結させました。そして、ロボットの脳に入ってくる情報を微調整する層と、出てくる予測を微調整する層という、非常に小さく柔軟なソフトウェアの層を2つ追加しました。これらの小さな層は、凍結されたコアを包み込むサンドイッチの具材のように機能します。ロボットが動こうとして失敗するたびに、これらの小さな層は、凍結された重厚な脳には一切触れることなく、その場でエラーを修正する方法を学びます。ロボットは、「私の脳はこのブロックがここへ行くと考えているが、私の新しい補正層は床が滑りやすいことを知っているので、計画を調整して、ブロックをあそこへ送るようにしよう」と学習できるのです。

研究者たちは、迷路のナビゲーションや様々な形状の物体を押すことなど、多様で困難なタスクでこのアイデアをテストしました。彼らは、この手法を、ロボットの内部脳を更新する標準的なアプローチや、調整を全く行わないロボットと比較しました。21の異なるテストシナリオにおいて、新しい「サンドイッチ」メソッドを用いたロボットは、65パーセントの割合で目標に到達することに成功しました。これは、調整を行わなかったロボットの成功率が約49パーセントであったことと比較して、大幅な改善です。さらに重要なことに、新しいメソッドは、ロボットの脳を書き換える標準的なアプローチ（成功率約68パーセント）とほぼ同等の性能を発揮しました。決定的な違いは効率性にあります。標準的な手法は、新しい条件に適応するために、ほぼ1,000万の設定を更新しなければなりませんでした。対照的に、新しい手法は、わずか約10万の設定を調整するだけで済みました。これは、新しいアプローチが、旧来の手法に必要な計算努力の3パーセント未満の力で適応しつつ、ほぼ同レベルの成功を収めていることを意味します。

また、研究では、照明の変化と物体の重さの変化が同時に起こるような、複数の問題に直面した場合に何が起こるかも調査されました。このような困難な「複合的」な状況において、新しいメソッドはさらに驚くべき成果を見せました。調整を行わないロボットよりも1.9倍多く成功しながら、脳を更新する重い手法と同等の効果を維持したのです。研究者たちは、必要な補正の種類は特定の課題によって異なることを発見しました。迷路をナビゲートしていて動きの物理法則が変わった場合には、予測が行われた後に予測を補正する層が主な役割を果たしました。一方で、物体を押していてコントローラーの感度が変化した場合には、入力コマンドを調整する層の方が重要でした。両方の層を保持することで、システムはどのような種類のトラブルに直面するかを事前に知ることなく、幅広い予期せぬ変化に対処することができたのです。

このアイデアが単純な迷路ゲームを超えて通用することを証明するために、研究者たちは、3次元空間で立方体を動かす実世界のロボットアームに近い、より複雑なタスクにもこれを適用しました。このタスクでは、前述のデザインではなく、視覚パターンに依存する別のタイプのロボット脳を使用しました。この異なるアーキテクチャを用いても、同じ「サンドイッチ」の原理が機能しました。ロボットは、照明、カメラの角度、および自身のモーターの強さの変化に適応することができました。条件が変化したすべてのテストケースにおいて、新しいメソッドは、何もしない場合と比較してパフォーマンスを向上させましたが、他のメソッドは時にはロボットの性能を悪化させることもありました。このことは、適応能力を得るために、必ずしもロボットが世界の理解方を根本的に変える必要はないことを示唆しています。時には、現在の状況を正しく解釈するための、小さく柔軟なフィルターを追加するだけで十分なのです。

これらの知見は、将来のロボットをどのように構築すべきかについてのパラダイムシフトを示唆しています。長い間、「環境が変われば、ロボットの内部にある物理モデルもそれに合わせて書き換えられなければならない」という仮定がありました。しかし、本論文は、その仮定が必ずしも必要ではないことを示しています。もしロボットの核となる世界の理解が依然として大部分正しいのであれば、新しい現実に適応するために、入出力の調整を学ぶだけでよいのです。このアプローチは単に高速で安価であるだけでなく、より安定しています。なぜなら、新しいことを学ぼうとする過程で、すでに知っていることを忘れてしまうリスクを回避できるからです。実験はコンピュータ・シミュレーション内で行われましたが、その結果は、ロボットが新しい環境に入った際、膨大な知能の刷新を必要とすることなく、小さく効率的な調整を用いて現実世界の驚きに対処しながら、即座に作業を開始できる未来を指し示しています。