あなたは、音声コマンドと一対のカメラアイ（目）だけを使って、巨大で不可視の迷路をナビゲートするロボットに教えているのだと考えてください。これは「ビジョン・アンド・ランゲージ・ナビゲーション（VLN）」の世界です。それは、「赤いソファの脇を通り過ぎ、青いランプのあるところで左に曲がり、キッチンの前で止まって」といった文章を聞いて、自分が正確にどこにいて、次に何をすべきかを理解しなければならない、現実の家で行われるハイレベルなゲーム「サイモンセズ（イエス・サーと言え）」のようなものです。厄介なのは、ロボットは単に脚を動かす必要があるだけでなく、旅の「物語」を理解する必要があるということです。すでに赤いソファを通り過ぎたのか、それともまだ探している最中なのかを知る必要があります。もしロボットが混乱して間違った方向に進んでしまった場合、「おっと、曲がる場所を逃した！」と気づき、再び動き出す前に自分のメンタルマップ（心の地図）を修正できなければなりません。この能力なしでは、たとえランプを通り過ぎてしまった後でも、ロボットは何度も「青いランプのところで左に曲がる」という動作を繰り返そうとし続け、非常に迷走し困惑した機械になってしまうでしょう。

これが、北軽大学や南方科技大学などの研究者チームが決意した課題でした。彼らは、ほとんどのロボット・ナビゲーターが、二つの全く異なる仕事――ルート（経路）の全体像を把握することと、微細な次のステップ（動き）を決めること――を同時にこなそうとしていることに気づきました。彼らは、ロボットが失敗したとき、それが指示の内容を誤解したもの（正しいステップにいないと考えている）なのか、あるいは単に動きの実行に失敗したもの（操作ミスをした）なのかを判別するのが難しいことを発見しました。これを解決するために、彼らは「Route2Step」と呼ばれる新しいシステムを構築しました。これは、ロボットに一つの過負荷になった脳を与えるのではなく、二人組のクルーを与えると考えてください。一人目の「インストラクション・アナリスト（指示分析官）」はツアーガイドのように振る舞い、常に地図を確認しながら、「よし、現在は『寝室を出る』フェーズにいます」と伝えます。もう一人の「アクション・ジェネレーター（行動生成器）」はドライバーであり、そのガイドの声を聞いて「了解、今すぐ左に曲がります」と言うのです。これらの仕事を分離することで、ロボットは自身の運転を台無しにすることなくメンタルマップを修正できるようになり、またその逆も同様になります。

二つの頭を持つナビゲーター

従来のロボット訓練の方法は、数学と歴史を同時に学ぼうとする学生が、最終的なテストのスコアだけを見ているようなものでした。もしロボットが道に迷ったら、教師はただ「間違った動きだ、やり直し」と言うだけで、なぜロボットが自分を正しい場所にいると考えたのかという理由までは説明しませんでした。研究者たちは、これによってロボットが「私は迷っている」状態と「私はただ不器用である」状態の違いを学ぶのが難しくなることを発見しました。

これを解決するため、彼らは、明確かつ明示的なインターフェースを通じて互いに通信し合う二つの独立したモジュールへとロボットの脳を分割するフレームワーク、Route2Stepを導入しました。

ツアーガイド (MIA):
最初のモジュールは、命令解析モジュール (MIA) です。MIAを、完全な取扱説明書を持ち、ロボットのビデオ履歴を注視している非常に注意深いツアーガイドだと想像してください。その唯一の任務は、次の一つの問いに答えることです。「私たちは現在、どの部分を実行していますか？」 それは「寝室を出る」の部分でしょうか、それとも「廊下を進む」の部分でしょうか？ また、MIAは、ロボлоットが「ノーマル（正常）」な状態（完璧に経路に従っている）にあるのか、それとも「リカバリング（回復）」の状態（間違いの後、軌道に戻ろうとしている）にあるのかをもチェックします。MIAはロボットに脚の動かし方を教えるのではなく、単にロボットのメンタルマップを更新するのです。

ドライバー (MAG):
第二のモジュールは、行動生成モジュール (MAG) です。これはドライバーです。MAGは現在の位置、ロボットの目からの最近のビデオ映像、そしてツアーガイドによる具体的な指示（例：「私たちは現在、寝室を出ています」）を受け取ります。これに基づき、MAGは即座の物理的アクションを決定します。「左に曲がる、前へ進む、止まる」。MAGは直近の「どのように」だけに集中するため、ロボットが偶然コースから外れてしまっても混乱することはありません。ただ、現在のステップをできる限り確実に実行しようとするだけです。

「E-SPA」のマジック

「各ステップがいつ発生するかを人間が書き留めていないのに、どうやってロボットにどのステップにいるのかを教えるのか？」と思うかもしれません。ここで研究者は独創的な方法を取りました。彼らが開発したのは、E-SPA（エネルギー最小化意味論的パス・アライメント：Energy-minimizing Semantic Path Alignment）と呼ばれる手法です。

E-SPAをスマートなパズル解決者だと考えてください。ロボットには、人間がルートを歩いている連続した長い動画が与えられますが、指示は一本の長い文章にすぎません。E-SPAはビデオとテキストを見比べ、自然な区切りがどこにあるかを判断します。「『寝室を出る』という指示が終わり、『キッチンへ歩く』が始まるのはどこだろう？」と問いかけます。これは、言葉を視覚的な手がかり（ドアが見えるなど）や動き（そこを通り抜けるなど）と一致させることで行われます。これにより、人間の手作業によるボタン押しを必要とせずに、長文の指示から「ステップ・バイ・ステップ」のマップを作成することが可能になりました。

彼らの発見

研究者たちは、標準的なナビゲーション・チャレンジであるR2R-CEを用いて、この二つの頭を持つ新しいロボットをテストしました。結果は有望でした。新システムを使用した際、ロボットの成功率は48.1%から55.3%に跳ね上がりました。さらに、無駄な遠回りをして目標に到達できていないかを測る指標であるSPLにおいても、スコアは**43.3%から48.2%**へと向上しました。

しかし、真のマジックはその達成方法にありました。通常、ロボットに失敗から学習させるには、人間がすべてのステップに対して訂正を行う何千もの事例が必要です。これはコストがかかり時間がかかる作業です。ところが、Route2Stepは巧妙なトリックを用いました。彼は「ツアーガイド」（MIA）に対し、（状態レベルの監督により）ロボットがいつ迷子になっているかを察知する方法を教えるために約19万件の例を使用しましたが、「ドライバー」（MAG）に対し、（アクションレベルの監督により）特定の動きを修正する方法を教えるためにはわずか11,500件の例しか使用しませんでした。

これは、個々のステップをマイクロマネジメントすることよりも、ストーリーの中でロボットがいま「どこにいるのか」を認識させることの方が重要であることを示唆しています。ロボットのメンタルマップを修正することで、ロボットは多くの場合、自力で正しい動きを見つけ出すことができたのです。

実世界でのテストと今後のステップ

チームの研究はコンピュータ上のシミュレーションにとどまりませんでした。彼らは実物の四足歩行ロボット犬（Unitree GO2）にこのロボットを載せ、ラボ、公園、カフェを含む実際の屋内および屋外環境へと送り出しました。彼らはリアルタイム用に再学習させたわけではなく、シミュレーションで学んだスキルをそのまま使わせました。

これらの実世界のテストにおいて、ロボットは33回中19回の試行に成功しました。特に困難な、120語の指示を伴うある室内タスクでは、従来型のロボット（StreamVLN）は完全に失敗し、平均して7ステップのうち約2.2ステップしか完了できませんでした。一方、Route2Stepを備えたロボットは、平均5.0ステップを完了し、5回のうち3回の試行に成功しました。これは、「ツアーガイド」のアプローチが、現実の世界が乱雑で予測不能になっても、ロボットが軌道を維持する助けになることを示唆しています。

また、研究者たちはこの「ツアーガイド」のアイデアが極めて柔軟であることを証明しました。彼らはシステムの「命令解析」部分を取り出し、一切トレーニングを行っていない既存の他の4つのロボット・ナビゲーターに組み込みました。単に、これらのロボットたちに「今はどのステップにいるのか」というアドバイスとしての「ツアーガイド」を提供しただけで、4つすべてがナビゲーション性能を向上させることができました。これは、「何のステップか」と「どう動くか」を分ける考え方が、彼ら独自の設計に限らず、あらゆるロボットにとって有用なものであることを裏付けています。

要するに、Route2Stepは、より優れたロボット航法への鍵は、単に移動を賢くすることではなく、自身が「物語の中のどこにいるのか」を知る能力を高めることにあると提案しています。進行状況の追跡と移動の役割を分離することで、ロボットはより堅牢になり、効率的に学習し、実際に複雑で予測不可能な現実世界の性質に対処することができるようになるのです。