💻 computer science

Swim2Real: VLM-Guided System Identification for Sim-to-Real Transfer

本論文は、ビジョン言語モデル（VLM）のフィードバックを用いて水中ロボットのシミュレーターを動画から直接較正し、手動のシステム同定なしに実世界へのゼロショット強化学習転送を可能にする「Swim2Real」と呼ばれるパイプラインを提案するものである。

原著者： Kevin Qiu, Kyle Walker, Mike Y. Michelis, Marek Cygan, Josie Hughes

公開日 2026-03-24

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Kevin Qiu, Kyle Walker, Mike Y. Michelis, Marek Cygan, Josie Hughes

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、**「AI が動画を見て、ロボット魚の動きを完璧に真似するまで、シミュレーション（仮想空間）を自動で調整する」**という画期的な仕組み「Swim2Real（スイム・トゥ・リアル）」を紹介しています。

専門用語を抜きにして、日常の例え話を使って解説しますね。

🐟 物語：「ロボット魚」が本物のように泳ぐまでの旅

1. 問題：「ゲーム」と「現実」のギャップ

まず、想像してみてください。
あなたは、**「ロボット魚」**を作りました。でも、この魚は水の中で泳ぐのが下手くそです。
そこで、コンピューターの中で「ロボット魚の動きをシミュレーション（練習）」することにしました。
しかし、コンピューターの中の物理法則は、現実の水の抵抗や魚の体の柔らかさとは少し違います。
**「シミュレーションでは完璧に泳げるのに、現実に出すとガクガクして沈んでしまう」という、「シミュレーションと現実のギャップ」**が大きな壁でした。

これまでの方法では、このギャップを埋めるために、**「熟練したエンジニアが、何時間もかけて手動でパラメータ（設定値）をいじりながら、試行錯誤する」**必要がありました。

「あ、尾びれの動きが速すぎるな。バネを強くしよう」
「いや、水の抵抗が足りないな。数字を少し変えよう」
これを何回も繰り返すのは、とても大変で時間がかかる作業でした。

2. 解決策：「AI 監督」が動画を見て指導する

この論文の「Swim2Real」は、その手作業を**「AI 監督（VLM：視覚言語モデル）」**に任せてしまいました。

AI 監督の役割：
AI は、**「現実の魚の動画」と「シミュレーションの魚の動画」**を並べて見せます。
そして、AI は人間のように観察してこう言います。

「ねえ、シミュレーションの魚、尾びれの動きが**『硬すぎる』ね。あと、『水を押す力が弱い』**みたい。だから、バネの強さと水の抵抗の設定を、こう変えてみて！」

これまで、AI は「正解か不正解か」の数字だけを見ていましたが、この AI は**「動画を見て、物理的な理由（なぜ硬いのか、なぜ遅いのか）を推理して」アドバイスしてくれます。まるで、「泳ぎのコーチが、選手のフォームを見て『膝を曲げすぎだよ』とアドバイスする」**ような感じです。

3. 工夫：「一歩ずつ」進む慎重な歩み

でも、AI のアドバイスは「方向は合っているけど、『やりすぎ』」なことが多いんです。

AI: 「バネを 100 倍強くしろ！」
現実：「えっ、それじゃ魚が壊れちゃうよ！」

そこで、このシステムは**「バックトラック・ラインサーチ（後退探索）」というテクニックを使います。
これは、「山登りで、頂上への方向は合っているけど、一歩が長すぎて崖っぷちに行きそうだから、半分歩幅を小さくして進もう」とするようなものです。
AI が「こう変えて！」と言ったとき、システムは「全部変える」のではなく、「半分だけ変えてみて、良ければ OK、ダメならもっと小さく変えてみる」という「慎重なステップ」**を踏むことで、失敗を減らし、成功の確率を 3 倍に高めました。

4. 結果：「ゼロから」本物の魚へ

このシステムのおかげで、以下のような素晴らしい結果が得られました。

自動調整： 人間が手動でパラメータを選ぶ必要がなくなりました。動画さえあれば、AI が勝手に 16 個もの設定値を全部調整してくれます。
高精度： 調整されたシミュレーションは、現実の魚の動きと驚くほど似ています（速度の誤差が半分以下になりました）。
実機への転送： シミュレーションで「泳ぎ方を学んだ AI（ロボット）」を、そのまま現実のロボット魚に移植しました。
- 結果：調整前のロボット魚よりも12% 遠くまで泳げるようになり、現実の水の中でちゃんと目的地へ向かって泳ぎました！

🌟 まとめ：何がすごいのか？

この研究の最大の特徴は、**「人間が『どう直せばいいか』を教える必要がなくなった」**ことです。

昔：「魚が泳ぎにくいから、エンジニアが手動で設定をいじり続ける」
今：「動画を見せるだけで、AI が『ここが硬いね』『ここが弱いね』と推理して、自動で完璧な設定を見つける」

まるで、「料理のレシピ本（シミュレーション）」を、実際に作った料理（動画）を見せながら、AI が「塩が足りてないね、少し足そう」と自動で調整し、最終的にプロの味（現実のロボット）を再現するようなものです。

これにより、水中ロボットだけでなく、他の複雑なロボットも、**「動画さえあれば、自動的に現実世界で使えるように調整できる」**という未来が近づきました。

Swim2Real: 視覚言語モデル（VLM）によるロボット魚のシミュレーション・リアル転送のためのシステム同定

本論文は、水中ロボット（特に軟体ロボット魚）のシミュレーションから実世界への転送（Sim-to-Real Transfer）を可能にする新しいパイプライン「Swim2Real」を提案しています。従来の手動設計された検索ステージや複雑な最適化手法に依存することなく、視覚言語モデル（VLM）のフィードバックのみを用いて、シミュレータの 16 個のパラメータを自動的に較正する手法を開発しました。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 背景と問題定義

水中の軟体ロボット（特にロボット魚）のシミュレーション・リアル転送は、以下の理由から極めて困難です。

非線形な流体 - 構造結合: 材料の非線形応答、結合されたパラメータ空間、流体と構造の相互作用が複雑に絡み合い、パラメータ空間がカオス的になります。
既存手法の限界: 従来のシステム同定は、ベイズ最適化や進化戦略などのブラックボックス最適化に依存しており、スカラー誤差信号のみを使用します。これにより、比較対象である「視覚的・物理的な構造」の情報が失われます。
手動コスト: 以前の研究では、パラメータをグループ化し、それぞれに異なる手法（FFT 解析、グリッドサーチ、ベイズ最適化など）を適用する3 つの手動設計されたステージが必要でした。

目標: 実世界のロボット動画を入力とし、人間の介入なしにシミュレータの全パラメータを自動較正し、そのパラメータを用いて学習した強化学習（RL）ポリシーを実機に転送することです。

2. 手法：Swim2Real パイプライン

Swim2Real は、動画比較に基づいて VLM が物理的な不一致を診断し、パラメータ更新を提案する反復的なプロセスです。

A. 問題定式化

シミュレータ $S_\theta$ のパラメータ $\theta$ （16 次元）を、実世界のマーカー軌道とシミュレーション軌道の誤差を最小化するように最適化します。

入力：実世界の泳ぎの動画（8 種類の駆動周波数）。
目的関数：全周波数および全マーカーにおけるシミュレーションと実世界の位置誤差（L2 ノルム）の平均。

B. VLM による較正（VLM-Guided Calibration）

従来のブラックボックス最適化とは異なり、Gemini 2.5 Pro などの VLM を「物理的推論エンジン」として活用します。

入力: 実機とシミュレーションの動画（骨格オーバーレイ）、数値誤差データ、パラメータ履歴。
タスク: VLM は動画から物理的な不一致（例：「尾が過度に曲がりすぎている」「推力が不足している」）を特定し、どのパラメータ（流体係数、モータ幾何学、関節剛性・減衰など）が原因かを推論し、更新ベクトルを提案します。
特徴: スカラー誤差ではなく、物理的に解釈可能な診断信号を提供します。

C. バックトラック線探索（Backtracking Line Search）

VLM は更新の「方向」は正確に特定できますが、「ステップサイズ（更新量）」を過大評価する傾向があります。これを解決するため、バックトラック線探索を導入しました。

VLM が提案した更新ベクトル $\Delta$ に対して、ステップサイズを幾何学的に減少させながら（ $\beta^k \cdot \Delta$ ）、目的関数が改善する点を探します。
これにより、方向は正しいがステップが大きすぎて失敗する提案を回収し、受諾率を 14% から 42% に 3 倍に向上させました。

D. パラメータ空間

16 個のパラメータを同時に較正します（手動のステージ分割なし）。

流体係数（5 個）：抗力、揚力など。
モータアーム長（1 個）：リンク機構の幾何学。
関節剛性・減衰（10 個）：5 つのヒンジ関節ごとの機械的特性。

3. 主要な貢献

完全自動化パイプライン: 手動設計の検索ステージやパラメータごとの手法選択を不要にし、動画入力から 16 次元パラメータを直接較正するエンドツーエンドのシステムを構築しました。
高品質な較正と再現性: 5 回の試行すべてで外れ値（アウトライア）なしに、実魚の速度と最も一致する結果（MAE = 7.4 mm/s）を達成しました。これは次善の手法（ベイズ最適化）より 43% 低い誤差です。
実世界への RL 転送: 較正されたシミュレータで学習した RL ポリシーを実機に展開し、ベイズ最適化で較正されたポリシーよりも12% 遠くまで泳ぐことを実証しました。

4. 実験結果

較正精度: Swim2Real は 5 つのシードすべてで誤差を 50.2〜53.2 mm の狭い範囲に収めました。一方、CMA-ES は 2 つのシードで破綻（誤差 100mm 以上）しました。
サンプル効率: 線探索により、VLM 呼び出しあたりの有効性が向上しました。VLM 呼び出し数は平均 15.6 回（受諾率 42%）で、線探索なしの手法（39 回、受諾率 14%）と比較して効率的でした。
速度予測: 較正目的に含まれていない「前進速度」の予測においても、Swim2Real は実機と最もよく一致しました（MAE 7.4 mm/s）。
実機デプロイメント: 50 Hz でモータコマンドを転送し、実機で目標到達タスクを成功させました。シミュレーションと実機で若干の軌道偏差（左へのカーブ）はありましたが、これは制御ループの欠如や摩擦によるものであり、ボディダイナミクスの較正自体は成功していることを示しています。

5. 意義と将来展望

物理推論としての VLM: VLM が単なる分類器ではなく、物理現象を理解し、定量的なパラメータ調整を提案できる「物理推論者」として機能することを示しました。
自動化の進展: 水中ロボットのシステム同定において、専門家の手動介入を排除し、動画から直接シミュレータをチューニングする自動化への道を開きました。
一般化可能性: このアプローチは、他のロボットプラットフォームや、シミュレーションと実世界の差異が視覚的に観測可能な分野にも応用可能です。

結論:
Swim2Real は、VLM の視覚的・物理的推論能力と、線探索によるステップサイズ制御を組み合わせることで、水中ロボットのシミュレーション・リアル転送における大きな課題を解決しました。手動設計なしに高精度なシミュレータを構築し、実機での高性能な制御を実現した点は、自律型水中ロボティクスにおける重要な進展です。