ロボットが単に車輪で転がったりプロペラで羽ばたいたりするのではなく、本物の魚のような流麗な動きで泳ぐ世界を想像してみてください。何十年もの間、エンジニアたちは、魚が驚異的な速さ、効率性、そして隠密性を備えていることから、これらの「バイオインスパイアード（生物模倣）」な機械を作ることに挑戦してきました。魚は体をくねらせ、複雑な方法で水と相互作用することで移動し、「渦」と呼ばれる目に見えない回転を作り出し、それが実際に前進する力を生み出します。しかし、ロボットにこれを教えるのは悪夢のような作業です。水は扱いにくく、ロボットの体が流体に対してどのように押し返すかという物理学は非常に複雑であり、完璧な数学的公式を書くことはほぼ不可能です。もし硬直したルールでロボットをプログラミングしようとすれば、まるで水から上がったばかりの魚のように、ただもがくだけの結果に終わってしまいます。

ここで、「強化学習」と呼ばれる賢いトリックが登場します。これは、報酬としておやつをもらう代わりに、ロボットがうまくできた時にスコアをもらう、犬の訓練のようなものだと考えてください。ロボットは試行錯誤し、失敗を重ね、フィードバックから学び、より優れたものへと進化していきます。しかし、一つ問題があります。効果的に学習するためには、ロボットは何百万回もの練習を必要とするのです。これを実際のプールで行うと、膨大な時間がかかるだけでなく、ロボットが壊れてしまうかもしれません。そのため、科学者たちは通常、「シミュレーター」——水のビデオゲーム版——を作成します。問題は、ほとんどのシミュレーターは、学習を素早く行うには遅すぎるか、あるいは正確性に欠けている（単純すぎる）ということです。この論文は、まさにそのボトルネックに取り組んでいます。つまり、学習に十分な速さを持ち、かつ現実世界でも通用するほどの正確さを備えた、ロボットに直進と曲がりくねった経路の両方を同時に泳がせるためのシミュレーターをどのように構築するかという課題です。

機敏なスイマーと魔法のシミュレーター

「機敏な魚型ロボット」を紹介しましょう。これは背中にプロペラがついたロボットではありません。内部に秘密兵器を隠し持った、機械仕掛けのウナギのようなものです。密封された、ハイドロフォイル（翼型）の形をした頭部（小型タブレットほどのサイズ、長さ250mm）の中には、回転するローターが入っています。この内部の重りを前後に回転させることで、外部にプロペラを持たずに、水への推進力を生み出し、前進します。これには柔軟な尾と、操舵するための小さな舵を備えています。目標は何でしょうか？ このロボットに、高速道路を走る車のように特定の速度を維持しながら、アルファベットの「S」や円のような特定の経路に沿って泳がせることです。

課題は、ロボットの動きが繊細なダンスであることです。曲がりすぎると速度が落ちます。スピードを上げすぎると、バランスを崩すかもしれません。伝統的に、エンジニアはこれらを管理するために「PID制御器」を使用します。PID制御器とは、3種類の指示を出す非常に厳格なコーチのようなものだと考えてください。「どれくらい外れているか？」（比例：Proportional）、「どれくらいの期間外れているか？」（積分：Integral）、「どれくらいの速さで外れつつあるか？」（微分：Derivative）です。コーチはこれらの数値に基づいて、ロボットのステアリングと速度を調整します。厄介なのは、経路がどれほど曲がっているかに応じて、「ゲイン」（コーチの声の強さ）を変える必要がある点です。直線には穏やかなコーチが必要ですが、急カーブには、より大きく切迫したコーチが必要です。

「微分可能」という突破口

著者たちは、あらゆる曲線や速度に対して手動でこれらのコーチを調整することは不可能であると気づきました。代わりに、彼らは**微分可能強化学習（Differentiable Reinforcement Learning）**という手法を用いて、ロボット自身に完璧な「コーチングスタイル」を学習させることに決めました。

ここで魔法の比喩を使いましょう。想像してみてください、あなたは坂道を自転車で下る練習をしています。通常、あなたはただ試行錯誤し、転び、そして再び立ち上がります。しかし、もし時間を巻き戻して、自分の足の置き方がどのように転倒を引き起こしたのかを正確に把握し、修正するために瞬時に筋肉の動かし方を調整できるとしたらどうでしょうか？ ここでの「微分可能」とは、そのようなことを意味します。著者たちは、ロボットと水の特別なコンピュータ・シミュレーションを構築しましたが、これは「微分可能」なものです。つまり、コンピュータは、ロボットのステアリングや速度の微細な変化が最終的な位置にどのように影響するかを、最初の命令まで遡って数学的に追跡できるのです。

単に推測するのではなく、コンピュータはシミュレーション全体を通じて「バックプロパゲーション（誤差逆伝播法）」（間違いから逆算して考えるための専門用語）を実行します。これにより、ロボットがより良く泳ぐために、PIDゲインをどのように微調整すべきかを正確に計算します。彼らは単にロボットをランダムなプールに投げ込んだわけではありません。「カリキュラム」を用いました。人間が歩く前に走る練習をするように、ロボットはまず低速での直線走行から始めました。習熟するにつれて、シミュレーション上の経路はより曲がりくねり、速度はより速くなりました。このステップ・バイ・ステップの訓練により、ロボットは圧倒されることなく、複雑な機動をマスターすることができました。

コードから水へ：現実世界でのテスト

この論文の最もエキサイティングな部分は、彼らがコンピュータの画面上で止まらなかったことです。彼らはシミュレーションで訓練した「脳」を、そのまま物理的なロボットに搭載しました。

実験室では、カメラシステムを備えたプールを設置し、ロボットの泳ぎを観察しました。彼らはロボットに対し、0.10メートル/秒（ゆっくりとした漂流）から0.25メートル/秒（きびきびとした泳ぎ）までの異なる速度で、文字の「I」、「R」、「O」、「S」をトレースするように命じました。

結果は素晴らしいものでした。AIによって学習されたゲインに導かれたロボットは、経路を正確に辿ることに成功しました。

• 「I」の経路： 直線です。ロボットは真っ直ぐに進みました。
• 「R」と「S」の経路： これらは急なカーブを含んでいます。ロボットはステアリングと速度を自動的に調整しました。経路が鋭く曲がるとき、AIは旋回に集中するために速度制御をわずかに緩めることを学習し、それによってロボットがスピンアウトするのを防ぎました。
• 速度： ロボットは目標速度に近く泳ぐことができましたが、高い速度においてより正確でした。非常に低速のときには少しふらつきが見られましたが、これはステアリングの修正が自然にロボットを減速させるため、経路を維持することと速度を維持することの間のトレードオフが生じるためであると著者らは説明しています。

データによれば、ロボットの「クロス・トラック・エラー（経路からの逸脱量）」は非常に小さく、トリッキーな「S」字形状においても、しばしば10センチメートル未満でした。ロボットの内部ゲイン（「コーチ」の設定）は、経路の変化に応じてスムーズに変化しており、これはロボットが単に一つの技を暗記したのではなく、柔軟な戦略を実際に学習したことを証明しています。

これが意味すること

この論文は、優れた水泳ロボットを作るために、水の物理現象のあらゆる一滴を完全に理解する必要はないことを示唆しています。代わりに、数学的に「間違いから学ぶ」ことができるスマートで高速なシミュレーターを構築することで、水の複雑な現実に対処できるロボットを訓練できるのです。著者たちは、コンピュータ・シミュレーションで学習されたポリシー（方策）を物理的なロボットに直接転送でき、それによってロボットが機敏に泳ぎ、高精度に経路を追跡できることを実証しました。

現在のロボットは平面（2D）でのみ泳いでいますが、この手法の成功は、同じアプローチが最終的にロボットに3次元空間での潜水、回転、泳ぎを教えるために使用できる可能性を示唆しています。これは、水中ロボットが、そのインスピレーションの源である魚と同じような自然な容易さで、複雑な環境をナビゲートしたり、パイプラインを検査したり、海洋探索を行ったりできる未来への一歩です。