コンピュータが、転んで、立ち上がって、また挑戦するという、幼児が歩き方を学ぶような方法で物事を学習する世界を想像してみてください。これは、「学生」（アルゴリズム）が「環境」と相互作用し、良い動きに対して報酬を得ることで学習する人工知能の一分野、強化学習（RL）の核心です。長年、この学習の大部分は、完璧で摩擦のない仮想世界であるシミュレーションと呼ばれる、コンピュータの中で行われてきました。それは、ボールが変な跳ね方をせず、ゴールも動かないビデオゲームの中でバスケットボールの練習をするようなものです。これはトレーニングには素晴らしいことですが、プールの中だけでサーフィンの練習をしているようなものでもあります。いざ本当の海に出ると、波は荒々しく、砂はザラザラしており、ルールも異なります。科学者にとっての大きな疑問は、「これらのデジタル脳を、完璧なシミュレーションを先に必要とせずに、どうすれば実世界のロボット上で直接学習させることができるのか？」ということです。

「The Open Ant: A Robot Platform for Reinforcement Learning Research」と題されたこの論文は、そのギャップを埋めるために設計された解決策を紹介しています。著者たちは、有名な仮想ロボットである「Gymnasium Ant」によく似た動きをする物理的なロボットを開発しましたが、それを安価で、修理が容易で、ロボットの専門家ではない研究者でも使いやすいものにしました。彼らは、このロボットが、2つの非常に異なる学習手法を用いて、現実世界で約1時間で自律的に歩行を学習できることを見出しました。また、コンピュータのシミュレーションで学んだスキルを実世界のロボットに転送できることも示しましたが、実世界の床に降り立った際に、ロボットのパフォーマンスの順位はわずかに変化しました。最も重要なのは、ロボット工学の経験がほとんどない学生のチームが、わずか数日でこのロボットを組み立て、修理し、学習できることを証明した点であり、これは実世界のロボット実験への障壁がついに下がってきていることを示唆しています。

ビデオゲームのキャラクターのようなロボット

長い間、強化学習はビデオゲームやシミュレーションの世界におけるスーパースターでした。それは、囲碁やバックギャモンといった複雑なゲームで人間に勝つコンピュータの背後にある技術です。しかし、科学者がこれらのアルゴリズムを現実世界に移そうとする時（ロボットに歩かせたり、飛ばしたり、物を掴ませたりする時）、状況は複雑になります。現実の世界は驚きに満に満ちています。ケーブルは絡まり、モーターはオーバーヒートし、床は決して完全に滑らかではありません。このため、多くの研究者は、何も壊すことなく1秒間に数千回の実験を実行できるシミュレーションに固執しがちです。しかし、落とし穴があります。シミュレーションで完璧に機能することが、現実では失敗することがよくあるのです。

この論文の著者たちは、それを変えたいと考えました。彼らはこう問いかけました。「シミュレーションのコードを書くことしかできない研究者でも、実世界の実験を始められるほど、使いやすく修理しやすいロボットを作れるだろうか？」これに答えるために、彼らはOpen Antを作り上げました。

Open Antは、研究で非常に人気のある仮想ロボット「Gymnasium Ant」に触発された、クモやアリのような形をした4本脚のロボットです。仮想世界において、このAntは前方に歩くことを学習する数学的モデルです。Open Antはその同じキャラクターの物理的なバージョンです。丸い胴体と4本の脚を持ち、各脚にはモーターで駆動する2つの関節（股関節と膝関節）があります。チームはシンプルさを保つために、いくつかの賢明な選択を行いました。

• はんだ付け不要： 電子工作の達人である必要はありません。市販の部品を使用しています。
• プラグイン電源： 重いバッテリーを心配する代わりに、壁のコンセントに接続するため、停止することなく何時間でも稼働できます。
• 3Dプリントされたボディ： もし脚が折れても（ロボットが歩行を学習する際によく起こります）、新しいものをプリントするだけです。それは、車のスペアタイヤを持っているようなものですが、自分でタイヤをプリントするのです。

このロボットの製作コストは、高品質な部品を使用した場合で約2,200ドル、あるいはより安価で壊れやすいモーターを使用したバージョン（彼らが「Physical Ant Lite」と呼ぶもの）であれば、およそ500ドルです。サイズは仮想バージョンの約3分の1と小さいですが、衝撃に耐えられるほど頑丈です。

1時間で歩行を学ぶ

最大のテストは、「このロボットは、ゼロの知識から、実際に自律的に歩行を学習できるのか？」という点でした。研究者たちは、ロボットのために単純なゲームを用意しました。単に前方に歩くだけでは（壁に当たったたびに人間がロボットを引き戻して戻さなければならないため）、不十分です。そこで、ロボットが円の中で前後に歩き回るようにしました。頭上のカメラがロボットを監視し、正しい方向に動くたびに「報酬（ポイント）」を与えます。もしロボットが円の端に近づきすぎたら、目標が反転し、ロボックは向きを変えて逆方向に歩かなければなりません。これにより、人間がリセットする必要なく、ロボットは永遠に学習を続けることができます。

彼らはこのロボットに対して、2つの非常に異なる学習アルゴリズムをテストしました。

1. SARSA(λ): さまざまな動きを試し、何がうまくいったかを記憶することで学習する、より単純で古い手法。
2. SAC (Soft Actor-Critic): ディープラーニングAIの脳のような、ディープニューラルネットワークを使用する、より現代的で複雑な手法。

結果は目覚ましいものでした。より単純なSARSA(λ)アルゴリズムを使用した場合、ロボットは約1時間の実体験を経て、適切に歩行を学習しました。オリンピックレベルの完璧な歩行ではありませんでしたが、安定しており、2〜4 cm/sの速度で移動できました。より複雑なSACアルゴリズムでも同様の結果が得られました。5回の独立した試行において、ロボットは約1時間で確実に歩行を学習しました。これは、ロボットを動かすためにスーパーコンピュータや数ヶ月のトレーニングを必要とせず、ハードウェア上で直接行うことができることを示しており、非常に大きな成果です。

「Sim-to-Real」のマジック（とその不具合）

ロボティクスにおける一般的なテクニックは、まずシミュレーション内でロボットを訓練し、その「脳」を実世界のロボットにコピーすることです。これは「Sim-to-Real（シム・トゥ・リアル）」と呼ばれます。研究者たちはOpen Antでこれを試みました。彼らは仮想シミュレーション内で2,304個の異なる「脳」を訓練し、その後、追加の訓練なしで実世界のロボットにテストしました。

判明したことは以下の通りです。

• 機能するが、完璧ではない： ほとんどすべてのシミュレーション上の脳は、実世界のロボットを正しい方向に歩かせることができました。これは、シミュレーションが基礎を教えるのに十分なほど現実の優れたコピーであったことを意味します。
• ランキングが変化した： ここが厄介な点です。シミュレーション内で「最高」の歩行者であったロボットが、必ずしも実世界で最高になるとは限りませんでした。実際、シミュレーションでのトップパフォーマーは、実世界では6番目に優れたものに過ぎませんでした。これは、シミュレーションは有用ではあるものの、現実世界の混沌とした状況におけるロボットのパフォーマンスを完全に予測することはできないことを示唆しています。もし、単に「最高の」シミュレーションの脳を選んで実世界のロボットに載せたとしても、驚くことになるかもしれません。

なぜこれがすべての人にとって重要なのか

この論文の最もエキサイティングな部分は、ロボットが歩行すること自体ではなく、そのロボットが**アクセシブル（利用しやすい）**であることです。著者たちは、通常コードのみを扱う研究者が、実際のロボットを扱えるかどうかを確認したいと考えました。彼らは、ロボット工学の経験がほとんどない学生や研究者のためのウィンタースクールにOpen Antを持っていきました。

結果はどうだったでしょうか？3日以内に、5つの異なる学生チームが、ロボットを組み立て、制御方法を学び、さらにはシミュレーションから現実へのスキルの転送まで成功させました。ある地元の学生グループは、パーツの組み合わせ方を理解してしまえば、2時間足らずでロボット全体を組み立てられると指摘しました。ガイドなしで試みた場合は4〜6時間かかりましたが、彼らは間違いを修正しながら進み続けることができました。

また、論文は問題が発生した際のロボットの修理の容易さについても強調しています。実験中、ロボットの足が摩耗し、脚が一本折れることもありました。しかし、パーツが3Dプリントされており、設計がオープンソースであるため、チームは数分で新しい足をプリントしたり、折れた脚を補強したりすることができました。彼らはさらに、滑りや摩耗を防ぐために、ロボットの足に柔らかくグリップ力の高い素材（TPU）で作られた「靴下」を追加しました。

結論

「Open Ant」の論文は、ロボティクスのすべてを解決したと主張しているわけではありません。ロボットが人間のできるあらゆることをできるようになったと言っているわけでもありません。そうではなく、より多くの人々が挑戦することを可能にする、実践的でオープンソースのツールを提供しています。これは、巧妙な設計（市販の部品、3Dプリント、シンプルなタスクの使用）を用いることで、実世界のAI実験への参入障壁を下げられることを示しています。

著者たちは、このプラットフォームによって、研究者がロボットの構築という「オーバーヘッド」に悩まされることなく、学習の科学そのものに集中できるようになると示唆しています。あなたが学生であれ、趣味の人であれ、あるいは熟練した科学者であれ、Open Antは、物理的な経験から学ぶことがもはや、何百万ドルもの設備を備えたラボだけに予約された贅沢品ではないことを証明しています。それは、コーヒーを淹れる時間で歩行を学習できるロボットと共に、教室やガレージ、あるいは小さなオフィスで行うことができるものなのです。