Privileged observations enable rapid and reliable policy discovery directly in the physical world

水の中を進もうとする泳ぎ手を想像してみてください。もし、自分を取り巻く渦巻く流れを見ることができたら、抵抗を切り裂くような、あるいは自らを前へと押し出すために水をつかむような、体のひねり方を学べるかもしれません。これが「能動的流体制御（active flow control）」の本質です。これは、エンジニアが物体の動きや静止状態を改善するために、目に見えない混沌とした流体の動きを操作しようとする分野です。数十年にわたり、科学者たちは、流れの中で円柱を回転させることで、水がそれに対して押し付ける力を変化させられることを知っていました。時には、一定の回転が抵抗（ドラッグ）を減少させ、物体をより滑らかに通過させます。またある時には、特定の律動的な回転が、実際に抵抗を増加させて物体を押しとどめることもあります。課題は常に、特に水の流れは混沌としていて予測が困難であるため、最善の結果を得るための回転の正確なタイミングと速度を見極めることでした。

通常、エンジニアがこのようなシステムを制御する方法をコンピュータに教えたいときは、水の仮想モデルを構築し、コンピュータにそこで練習させます。しかし、仮想モデルは決して完璧ではなく、現実の水が持つ微細で乱雑な詳細を見落としてしまいます。そこで、チューリッヒ工科大学（ETH Zürich）の研究チームは、シミュレーションを完全にスキップすることにしました。彼らは物理的な水路を構築し、コンピュータ・エージェントに、実際の、激しくうねる水から直接学ぶようにさせたのです。彼らが問いかけたのは、シンプルですが深遠なことでした。「水を制御する最善の方法を学ぶために、コンピュータは学習中に物体の周りで渦巻く水を見る必要があるのだろうか？ それとも、物体にかかる押し引きの感覚（力）を感じるだけで、それを解明できるのだろうか？」

研究者たちは、水がループ状に循環する透明なタンクである、卓上型の水路を設置しました。その中の流れの中に円柱が置かれ、モーターによって任意の速度や方向で回転させることができます。水がどれほど円柱を押し付けているかを測定するために、彼らは高感度のトルクセンサーを使用しました。水を見るために、彼らは「粒子画像流速測定法（PIV）」と呼ばれる技術を用いました。これは、微粒子を含む水の中にレーザーシートを照射し、高速で写真を撮影する手法です。写真の間でそれらの粒子がどのように移動するかを追跡することで、コンピュータは円柱のすぐ後ろにある水の速度と方向の詳細なリアルタイム・マップを構築できます。このマップは「特権的な観測（privileged observation）」、つまり、学習中にはコンピュータが見ることができるものの、後では必要とされない追加情報です。

彼らは、円柱を制御するための汎用的な学習エージェント（人工知能の一種）を訓練しました。一つの実験セットでは、エージェントに抵抗の感覚と、水の詳細なマップの両方を与えました。別の実験セットでは、エージェントに抵抗の感覚のみを与え、水のマップは隠しました。目標は二重でした。第一に、抵抗を最大限に減少させるような回転方法を見つけること。第二に、抵抗を最大限に増加させるような回転方法を見つけることです。

結果は驚くべきものであり、奇妙な非対称性を明らかにしました。エージェントが水の詳細なマップにアクセスできたとき、それは驚異的な速さで学習しました。実在の水と相互作用してからわずか数分以内に、抵抗を約32パーセント減少させる戦略を発見しました。また、抵抗を約25パーセント増加させる戦略も迅速に見つけ出しました。これらの数値は、数十年にわたる研究によって開発された、既知の優れた人間による戦略に匹敵するか、あるいはそれをわずかに上回るものでした。

しかし、研究者が水のマップを隠し、抵抗の測定値のみを使用して学習することを強いたとき、物語は一変しました。エージェントは依然として抵抗を減少させる方法を学ぶことができ、最終的に約31パーセントの減少を達成しました。ただし、学習には少し時間がかかり、変動もありました。ところが、目標を「抵抗を増加させること」にしたとき、エージェントは失敗しました。水の流れを見ることができず、抵抗の感覚のみを用いて学習しようとした場合、どの訓練ランにおいても、抵抗を有意に増加させる戦略を学ぶことはできませんでした。最善の戦略が存在し、それが物理的に可能であったにもかかわらず、エージェントは抵抗をより強く押し付ける方法を見つけられなかったのです。

なぜこのようなことが起きたのかを理解するために、研究者たちは水が何をしているのかを詳しく調べました。彼らは、円柱が回転し始めると、目標が「押しを増やすこと」であれ「押しを減らすこと」であれ、水はほぼ常に、まず円柱に対する押しを弱める反応を示すことを見出しました。この初期の抵抗減少は、自然な物理的反応です。抵抗を減らすことを目的とするエージェントにとって、この初期の低下は、自分が正しい方向に進んでいることを示す助けとなるサインでした。しかし、抵抗を増やすことを目的とするエージェントにとって、この初期の低下は混乱を招くものでした。それは、自分が達成したいこととは正反対の感覚を与えたのです。水の詳細なマップがなければ、全体像を見て、後に抵抗が増加するということを理解することもできず、エージェントはこの初期の落ち込みに陥り、正しい戦略を学ぶことができなかったのです。

次に、研究者たちは、水のマップを用いて学習した戦略を、マップなしで使用できるかどうかをテストしました。彼らは、マップを持っていたときにエージェントが使用した正確な回転パターンを記録し、その後、新しい観測を行わずに、それらの正確なパターンを固定されたシーケンスとして再生しました。驚くべきことに、これらの固定されたシーケンスは、ライブで思考するエージェントと同じくらいうまく機能しました。これは、エージェントが非常に効果的な一連の動きを学習しており、それを実行するために水の動きを監視し続ける必要はないことを証明しています。このことは、水のマップはタスクを「実行する」ために必要ではないが、タスクを「発見する」ためには絶対的に不可欠であったことを示しています。

この発見は、学習における極めて重要な区別を浮き彫りにしています。すなわち、「解決策を見つけるために必要なもの」は、しばしば「それを使うために必要なもの」とは異なるということです。このケースでは、水の流れという豊かで詳細な視点が、教師として機能し、流体の混乱した初期反応の中をエージェントへと導きました。一度エージェントが正しい道を見つければ、目隠しをした状態でもその道を歩むことができるのです。この研究は、複雑な物理システムにおいて、学習フェーズで追加の情報にアクセスできるかどうかが、成功と失敗を分ける決定的な要因になり得ることを示唆しています。たとえ、その情報が実際にシステムを稼働させているときには利用できないとしてもです。人工知能が、混沌とした現実世界をマスターするためには、自分が将来使うことのないものさえも見ることが許される必要があるのかもしれません。