あなたは、人間がサンドイッチを作ったり引き出しを開けたりするような複雑なタスクを行う様子を観察することで、ロボットにそのタスクを教えようとしていると想像してください。この分野は模倣学習（Imitation Learning）、より具体的には**行動クローニング（Behavioral Cloning）**と呼ばれます。これは、生徒が先生の宿題をコピーするようなものです。ロボットは人間の腕の動きのビデオを見て、自分自身で同じことができるように、そのルールを学ぼうとします。

ここでの大きな課題は、世界は混沌としているということです。もしロボットが小さなミスを犯すと、次の瞬間は、学習ビデオで見たものとは全く異なる状況になっているかもしれません。これは、まるで綱渡りをしているようなものです。もしつまずいてしまったら、道から完全に外れてしまうかもしれません。これに対処するため、科学者たちはしばしば**アクション・チャンキング（Action Chunking）**というトリックを使います。「手を1インチ前に動かせ」と指示して次の反応を待つのではなく、「手を1インチ、次にまたもう1インチ、さらにもう1インチと前に動かせ」と、一度にまとめて伝えるのです。これは、ロボットに単語一つずつではなく、一文の指示を与えるようなものです。これが、ロボットをうまく機能させるための「秘伝のソース」となってきましたが、なぜ単に一度に一つの指示を出すよりもずっとうまくいくのか、正確な理由はこれまで誰にも分かっていませんでした。

この論文は、その謎を深く掘り下げるものです。著者たち（UCバークレーやポリテクニコ・ディ・ミラノなどの大学の研究チーム）は、探偵の役割を演じることに決めました。彼らは、ロボットがより一貫性を持っているからなのか？ それとも、より先を見通しているからなのか？ あるいは全く別の理由なのか？ 彼らは、コンピュータ・シミュレーションや研究室の実機ロボットを用いて何百回もの実験を行い、アクション・チャンキングが魔法のように機能する真の理由を突き止めようとしました。

大いなる「なぜ」の調査

長い間、ロボットに「チャンク（塊）」としての行動を与えることが役立つ理由は、主に以下の3つだと考えられてきました。

1. 時間的一貫性（Temporal Consistency）: 人間の動きは滑らかであり、チャンキングは、一度に一歩ずつしか考えないロボットよりも、その滑らかさをより良くコピーするのに役立つという考え。
2. ホライゾン削減（Horizon Reduction）: 数ステップ先まで計画することで、ロボットは遠い未来のミスを心配する必要がなくなり、迷ってしまう可能性を減らせるという考え。
3. **表現学習（Representation Learning）: **一連の動き全体を予測しようとすることで、ロボットの脳が世界のより優れた「特徴（フィーチャー）」を学習し、全体としてより賢くなるという考え。

著者たちはこれらのアイデアを検証するために、一度に20個のアクションのチャンクを予測できる特別な種類のロボット・ポリシー（行動のルールセット）を構築しました。そして、その「遅延（ディレイ）」バージョンを作成しました。遅延ポリシーとは、今何をするかを決めるために、5秒前や10秒前の様子を見るロボットのようなものです。これは未来のシーケンス全体を予測するのではなく、現在の動きだけを予測しますが、その予測は過去の観測に基づいています。

ひねり: これらのアイデアをテストした結果、最初に挙げられた2つの有力な理論は、実は間違っていたか、少なくともそれが全容ではないことが分かりました。

• 時間的一貫性はヒーローではなかったことが判明しました。過去を見ただけのロボット（遅延ポリシー）でも、チャンクを予測するロボットと同じくらい、人間の動きの滑らかさをコピーできました。
• また、ホライゾン削減も主要な理由ではありませんでした。チャンクを予測することは確かに「ホライゾン（将来の予測範囲）」を縮小させますが、遅延ポリシーも、シーケンス全体を計画することなく、同様の誤差削減を実現できました。

では、有名な理論が答えではないとするなら、本当の答えは何なのでしょうか？

真の秘密：「インプリシット・アンサンブル」

この論文は、アクション・チャンキングの真の超能力が、著者たちが**インプリシット・アンサンブル（Implicit Ensembling）**と呼ぶものであることを明らかにしています。

あなたが天気を予想しようとしていると想像してください。窓の外を1時間ごとに見ている一人の友人に聞くこともできます。あるいは、異なる時刻に窓の外を見ている5人の異なる友人に聞くこともできます。一人は9:00に、一人は9:05に、一人は9:10に……といった具合です。たとえ全員が同じ空を見上げていたとしても、彼らの異なる視点があれば、より良い予測ができるかもしれません。

これは、アクション・チャンキングを行うロボットが行っていることと全く同じです。20個のアクションのシーケンスを予測するように学習するとき、ロボットは密かに、問題に対する20の異なる「視点」を同時に学習しています。

• チャンクの「最初の」アクションを予測するために、現在の観測を見ます。
• 「2番目」のアクションを予測するために、現在の観測を見ます（ただし、それは未来の一歩先であると想定します）。
• 「3番目」のアクションを予測するために、現在の観測を見ます（これは二歩先であると想定します）。

これらすべての異なる時間軸の関係について同時に学習することで、ロボットは実質的に、自分自身の脳の中に「専門家のチーム」を構築しているのです。それは、それぞれが世界を見る際の「遅延」がわずかに異なる20台のロボットの委員会があり、全員が次に何をすべきかについて投票しているようなものです。この「委員会」の効果により、ロボットは非常に堅牢になり、愚かなミスをしにくくなります。

「アハー！」の瞬間と新しい解決策

この発見の最もエキサイティングな部分は、著者たちがそれを使って何をしたかです。彼らは、魔法の正体が「チャンク」そのものではなく、「チャンクが異なる時間の視点を持つこの『委員会』を作り出していること」であると気づきました。そこで彼らはこう問いかけました。「チャンクを全く使わずに、同じ恩恵を得ることはできるだろうか？」

彼らは、**ランダム化された遅延アンサンブル（Randomized Delay Ensembles）**と呼ばれる巧妙なトリックを試みました。一つのロボットにチャンクを予測させる代わりに、グループとしてのロボットを訓練しました。グループ内の各ロボットは「遅延」ポリシーですが、それぞれが異なる遅延（ある者は1ステップ前、ある者は2ステップ前、ある者は3ステップ前……）を持って過去を見るように訓練されています。行動する時には、単に一つのロボットを選ぶのではなく、グループの中からランダムに一人を選んで決定を下します。

結果は驚くべきものでした。コンピュータ・シミュレーションや、ニンジンをボウルに入れる、パンをトースターから取り出すといった実機のテストにおいて、この「ランダム化された遅延」チームは、従来の多くのアクション・チャンキング・ロボットと同等の性能を発揮しました。場合によっては、それ以上の性能さえ示しました。

これが未来に意味すること

この論文は、ロボットを賢くするために、必ずしも長いアクションのシーケンスを予測させる必要はないことを示唆しています。「チャンク」は、偶然に「専門家のチーム」を作り出すための便利な手段に過ぎなかったのです。異なる時間遅延を用いて明示的にそのチームを構築することで、同じ（あるいはより優れた）結果を得ることができます。

これは、アクション・チャンキングが無用であることを意味するのではなく、なぜそれが機能するのかを私たちが理解したことを意味します。それは、車のエンジンが、エンジンの色によるのではなく、スパークプラグによって動いていると気づくようなものです。今や、私たちはスパークプラグ（アンサンブル効果）こそが鍵であることを知ったので、高速走行のために重くて複雑な塗装（長いアクション・チャンク）を必要としない、より優れたエンジンを構築できるのです。

著者たちは、ロボットの混沌とした現実の世界において、過去を異なる角度から見ることが強力な学習方法であることを示しました。彼らは90種類のタスクを用いたコンピュータ・シミュレーションと、物理的なタスクを行う実機ロボットによってこれを証明しました。彼らはこれが世界のすべてのロボットの問題を解決すると約束することはできませんが、彼らの実験は、ロボット学習の未来が、遠い未来を予測することよりも、今何をすべきかを決定するために、多様な「タイムトラベルする専門家」のチームを構築することにある可能性が高いことを強く示唆しています。