Learning Options for Compositional Motor Control with Adapter Banks
本論文は、共有されたリカレントコアを残留アダプターのバンクによって変調することで、創発的な低ランク摂動として柔軟な運動プリミティブを学習する新しいアーキテクチャを提案しており、これにより、凍結された高レベルポリシーがこれらのアダプターをシーケンス化することで、マルチタスク・ベースラインと比較して未知の運動シーケンスに対して優れた汎化性能を実現する。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは査読を受けていないプレプリントのAI生成解説です。医学的助言ではありません。この内容に基づいて健康上の判断をしないでください。 免責事項の全文を読む
熟練した動き、例えばピアニストの流れるようなスケールから体操選手の複雑な跳躍に至るまで、それはある隠れた能力に依存しています。それは、脳が新しい動きをすべてゼロから学習しているのではないということです。その代わりに、脳は再利用可能な構成要素、すなわち「プリミティブ」と呼ばれるライブラリを構築し、それらを組み合わせ、一致させ、形を変えることで、無限の新しい動作を生み出すことができるのです。この、有限のスキルセットを組み合わせて新しいシーケンスを作り出す能力こそが、人間の器用さの特徴です。数十年にわたり、科学者たちは人工的なエージェントにこの同様の柔軟性を教え込み、ゼロから再学習することなく新しいタスクに適応できるロボットを作ることを目指してきました。課題は、学習システムがいかにしてこれらの構成要素を自ら発見し、かつ古いスキルが新しいものに干渉することなく、それらを組み合わせる方法を見つけ出すかという点にありました。近年の神経科学の理論は、脳が、異なる入力によってわずかに微調整される共有されたニューロンネットワークを使用することでこの問題を解決している可能性を示唆しています。これにより、同じコアの仕組みを用いて、全く異なる行動を生み出すことが可能になります。
コロンビア大学とニューヨーク大学の研究者による新しい研究は、この生物学的な理論をコンピュータモデルによって具現化し、人工システムがいかにして複雑な動きをゼロから構成することを学習できるかを実証しました。チームは、人間の手足のように、6つの筋肉を持つシミュレーション上の2関節アームを制御するように設計されたデジタル脳を作成しました。彼らはこのシステムに対し、直線的なリーチング、円運動、そしてフィギュアエイト（8の字）パターンの描画を含む、さまざまな動きを学習するよう求めました。単にこれらの経路を暗記させるのではなく、研究者たちは、システムに各動きの基礎となる部分を発見させ、未知のタスクを実行するためにそれらをどのように繋ぎ合わせるかを学習させたいと考えました。これを行うために、彼らは脳の運動野と、異なる運動プログラムの選択や切り替えを助ける深部構造である視床との間の結合に触発されたアーキテクチャを構築しました。
研究者たちは、運動の基本的なメカニズムを処理する共有の「コア」ネットワークを持つシステムを設計しました。これは運動野に相当します。このコアには、コアの挙動を微調整するための小さな調整つまみとして機能する、特殊なモジュール、すなわち「アダプター」のバンクが取り付けられています。脳において、これらのアダプターは、特定の動きを生み出すために運動野の活動をわずかに変化させる視床からの信号に対応します。研究者たちは、どのタイミングでどのアダプターを使用すべきかをプログラムしたわけではありません。代わりに、エキスパートの教師がタスクを実行する様子を見ることによって、システムが適切なモジュールを特定し、選択する方法を学習するようにしました。教師は、各動きに対してどのルールに従うべきかを正確に知っている、事前学習済みの別個のネットワークでした。しかし、学生システムは、教師の動作をセグメントに分解し、どの時点でどのアダプターを起動させるかを、ルールを明示的に教えられることなく、自ら判断しなければなりませんでした。
学生システムがこれらの複合的な動きのトレーニングを進める中で、驚くべきことが起こりました。アダプターは完全に柔軟で複雑なものとして構築されていたにもかかわらず、システムは自然と、それらを単純な低ランクの調整として使用することを学習したのです。平たく言えば、システムは新しいタスクごとに脳全体を書き換える必要はなく、共有コアに対して小さく精密な微調整を行うだけでよいことを見出したのです。これにより、システムは内部状態における異なる動きを、明確に分離された異なる空間へと分解することができました。明示的なルール入力に依存していた教師ネットワークは、すべてのタスク表現を一つの共有空間の中に絡まったまま保持していましたが、学生システムはそれらを高度に分離されたゾーンへと整理しました。直線的なリーチングや円形の弧といった各動きは、システムの内部風景における独自の明確なコーナーを占めることになり、混乱することなくそれらの切り替えを行うことが非常に容易になりました。
このアプローチの真のテストは、研究者がシステムに対し、学習した動きの一部を組み合わせた、見たこともない新しいタスク、すなわち「二枚の花弁のような軌跡」を実行するよう求めた時に行われました。この新しい経路は、直線の延長と曲線の後退を組み合わせ、次に曲線の延長と直線の後退を組み合わせることを必要とし、学生も教師も経験したことのない不連続性を生み出しました。研究者たちは両システムの内部ネットワークを凍結し、利用可能な構成要素をどのようにシーケンス化すれば、この新しいターゲットに一致するかを試みました。分離されたモジュール構造を持つ学生システムは、高い精度で成功し、約0.005メートルの誤差で新しい経路を追跡しました。一方で、絡み合った単一のサブスペース・アプローチに依存していた教師システムは著しく苦戦し、誤差は10倍以上となりました。
これらの知見は、柔軟な運動制御の鍵は、単に共有ネットワークを持つことではなく、異なるタスクを分離された内部空間に保持させるような、明確で低ランクの調整によってネットワークが変調されることにあることを示唆しています。この幾何学的な分離により、システムは学習したプリミティブを組み合わせ、通常は学習を妨げる干渉を受けることなく、未知の問題を解決することができます。この研究は、脳の視床皮質ループに触発されたアーキテクチャが、いかにして自律的に再利用可能な構成要素を発見し、それらを再結合して、分布外（out-of-distribution）の課題に対処できるかを具体的に実証しました。システムがその振る舞いを明確に分離されたサブスペースへと分解できることを示すことで、本研究は、人間のアスリートのような容易さと創造性をもって、新しい物理的タスクに適応できる機械を作成するための有望な道筋を提示しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。