Where Entropy Is Measured Matters: Policy Geometry in Bounded Continuous-Control PPO

人工知能の世界には、機械に物理的な世界での動き方や相互作用の仕方を教えることに特化した分野があります。連続制御として知られるこの分野は、子供がバランスを取ることを学ぶのと同様に、試行錯誤を通じて、コンピュータに歩く、走る、あるいは立ち上がるといった方法を学習させようとします。これを行うために、コンピュータは「ポリシー（方策）」と呼ばれる数学的なガイドを使用し、目に見えるものに基づいて次に取るべき行動を提案します。数十年にわたり、このガイドの標準的なツールは、最も可能性の高い行動を示唆しながらも、ある程度のランダムな変動を許容する統計的な形状である「ベル型の曲線」でした。しかし、現実の世界には限界があります。ロボットの脚は、ある一定の点を超えて後ろに曲がることはできませんし、筋肉は無限の力で収縮することもできません。コンピュータの滑らかで無制限な提案が、これらの硬い壁に突き当たったとき、それらは切り捨てられたり、適合するように押しつぶされたりすることを余儀なくされます。長い間、研究者たちは、もしロボットが高いパフォーマンスを発揮していれば、その限界をどのように処理したかという詳細は重要ではないと考えてきました。彼らが関心を寄せたのは、最終的なスコア、つまり、ロボットが速く歩いたか、直立を維持できたか、ということだけでした。

新しい研究は、80個の筋肉を持つシミュレーション上の脚を用いて歩行を学習させる際、コンピュータの精神の中で何が起きているかを詳細に調査することで、この仮定に異議を唱えています。研究者たちは、コンピュータが自身の不確実性をどのように測定するかによって、学習する経路の形状が変わることを発見しました。彼らは、ロボットの物理的な限界を無視した形でコンピュータが不確実性を許容されると、コンピュータが自身の行動を許容範囲の壁のすぐ近くまで押し込んでしまうことを発見しました。それはまるで、ロボットが中央に立つことも容易にできるのに、常に箱の端に手を押し付けているかのようです。この挙動は、ロボットの筋肉が遅いことや、限界が厳しすぎることに起因するものではありません。これは、学習アルゴリズムが自身の「好奇心」やランダムさを計算する方法から直接生じている結果です。この研究は、もしこの好奇心の測定場所を、コンピュータの内部的な無制限の思考から、ロボットが取る実際の物理的な行動へと変更すれば、コンピュータは全く異なる幾何学的な構造を学習することを示すものです。そうすることで、コンピュータは壁に押し付けられるのをやめ、快適に中央に留まるようになります。しかも、同等またはそれ以上のパフォーマンスを達成しながらです。

この調査は、歩行を課せられた、80個の明確な筋肉を備えた人間のような脚の複雑なシミュレーションから始まりました。研究者たちは、この脚を動かすために一般的な学習手法を用いて人工知能を訓練しました。彼らは奇妙な現象を観察しました。コンピュータは歩行に成功してはいるものの、筋肉ができる限界の極めて近くのコマンドをほとんど常に送信することで、それを実現していたのです。およそ89パーセントの確率で、筋肉のコマンドは最大値または最小値の5パーセント以内にありました。それはまるで、歩行者が自らの制約に絶えず抗っているかのようでした。チームは最初、これが物理的な問題、おそらく筋肉が自然に活性化・非活性化する方法や、シミュレーションが信号をフィルタリングする特定の方法によるものだと疑いました。彼らは、シミュレーションの物理特性を変更し、筋肉の活性化時間を対称にし、フィルターを取り除くことで、これらのアイデアをテストしました。しかし、これらの変更のいずれも問題を解決しませんでした。ロボットは依然として壁に押し付けていました。これにより、物理的な世界が原因ではないことが排除され、学習アルゴリズム自体に矛先が向けられました。

なぜロボットがこのような挙動を示すのかを理解するために、研究者たちは問題を二つの部分、すなわち、ロボットが行きたい平均的な方向と、その方向に加えるランダムさや変動に分解しました。彼らは単純な問いを立てました。「ロボットが壁の近くにいるのは、激しく推測しているからなのか、それとも意図的に壁を目指しているからなのか？」と。全く同じ瞬間の時点に対して反事実的なテストを実行したところ、たとえすべてのランダム性を取り除き、ロボットに平均的な計画を完璧に辿らせたとしても、依然として壁の近くにいたいと考えていることがわかりました。実際、平均的な計画自体がしばしば可能な動作範囲の外側を指しており、コンピュータに動作を最も近い限界へとクリップ（切り詰め）させていたのです。ロボットの「精神」は外側に引き出されており、意図した行動を境界線の外へと押し出し、物理的な限界が単にそれを受け止めていたのです。これは、単にロボットにランダムさを減らすよう指示するだけでは問題が解決しないことを意味していました。ロボットは、そもそも中央を目指して学習する必要があったのです。

この解決の鍵は、コンピュータが自身の不確実性をどのように測定するかという点にありました。標準的な設定では、コンピュータは、物理的な行動へと翻訳される前の、内部的な無制限の思考に基づいてランダムさを計算します。この内部空間では、数学的に中心と端は同一に扱われ、壁から離れる理由を与えません。しかし、研究者たちは、もしコンピュータが行動が物理的な世界へと翻訳された後に不確実性を測定すれば、数学が変わることに気づきました。物理的な世界には硬い限界があるため、空間の端は中心とは異なって見えます。コンピュータがこの物理的な空間において不確実性を計算すると、数学は自然に、平均的な行動を壁から遠ざけ、中央へと引き寄せる力を生み出します。これは視点の微妙な転換です。生成される場所ではなく、それが重要となる場所でノイズを測定するのです。

これをテストするために、研究者たちは同じ歩行タスクに対して3つの異なるバージョンの学習アルゴリズムを実行しました。最初のバージョンでは、コンピュータは内部の思考における不確実性を測定しました。2番目のバージョンでは、不確実性を全く測定しませんでした。3番目のバージョンでは、物理的な行動における不確実性を測定しました。結果は驚くべきものでした。内部の思考において不確実性を測定したバージョンは、非常にランダムになり、その行動を壁に押し付けたままにしました。不確実性を測定しないバージョンは、非常に精密に学習しましたが、それでも壁の近くを目指しました。物理的な行動において不確実性を測定したバージョンのみが、平均的な行動を許容範囲の中央に快適に保つことを学習しました。このバージョンは最も「内側」の幾何学構造を持っており、つまりロボットは自らの限界に抗っていないのです。

チームはその後、全く異なるタスク、すなわち、シミュレーション上の犬に立ち上がることを教えるという実験を繰り返しました。このタスクは38個の異なる関節を含み、最初のシミュレーションの結果が偶然ではないことを確認するために異なるソフトウェアコードベースを使用しました。同じパターンが現れました。物理的な行動において不確実性を測定したバージョンは、動きを中央に保つことを学習しましたが、他のバージョンは端へと漂いました。これにより、この発見が歩行脚や最初のソフトウェアに特有のものではないことが確認されました。研究者たちはまた、直接的なペナルティを与えることでコンピュータに中央を目指すよう指示するだけで機能するかどうかをテストしました。彼らは、直接的なペナルティもロボットを中央に押し出すことはできるものの、ランダムさや全体的なパフォーマンスの観点から異なる種類の挙動を生み出すことを発見しました。これは、物理的な空間で不確実性を測定することが、問題を解決するための効果的な方法の一つであることを示していますが、唯一の方法ではありません。それはロボットの狙いと変動を自然に結合させますが、得られるランダムさとパフォーマンスのバランスは、同じような中央化を実現する他の手法とは大きく異なる可能性があることを示しています。

本研究は、現実世界で動くロボットにとって、不確実性をどこで測定するかという選択が、極めて重要な設計上の決定であることを結論づけています。単にタスクで高いスコアを得るだけでは不十分です。ロボットがどのように動くことを学習するかは、その安定性と安全性に関わります。もしロボットが常に限界に押し付けるように学習してしまえば、環境がわずかに変化しただけで脆弱になったり、失敗したりする可能性があります。不確実性を物理的な空間で測定することで、ロボットは自身を安全かつ中央に保つ幾何学を学習します。この洞察は、ロボットを教える標準的な方法が更新される必要があることを示唆しています。学習プロセス中に物理的な限界を無視するのではなく、アルゴリズムはそれらを考慮に入れ、ロボットが絶えず壁を押し続けるような状態ではなく、自然で中心の取れた優雅な動きを学習できるようにすべきなのです。