A 3DGS-Driven Dynamic Viewpoint and Vibrotactile Framework for Subsea Teleoperation Validated via fNIRS

巨大な霧に包まれたパイプでできた迷路の中を、車の運転をしている場面を想像してみてください。しかし、あなたは自分のバンパーのすぐ前にある、小さくて震える四角い道路の範囲しか見ることができません。さらに、ハンドルを切るたびに、車が実際に動くまでに丸1秒間かかる状況を想像してください。これは、ROV（遠隔操作型水中ロボット）のオペレーターにとっての悪夢のようなシナリオです。これらの機械は、人間が行けない沈没船や石油リグ、浸水したトンネルなどを調査するために送られる、深海のダイバーです。しかし、それらを制御するのは非常に困難です。水は濁っていることが多く、空間は狭く、地上からの信号が伝わるのにも時間がかかります。これにより、「知覚のボトルネック」が生じます。人間の脳は、ロボットがどこにあり、周囲に何があるのかを推測しなければならず、それが精神的な疲労とミスにつながります。科学者たちは、より優れたカメラや振動スーツを与えることでこの問題を解決しようと長く試みてきましたが、どの方法が実際に人間の脳がプレッシャーでクラッシュするのを防ぐのかについては、確信を持てずにきました。

本論文は、まさにその問題に深く切り込み、人間がこれらの水中ロボットを制御するのを助ける新しい方法をテストしています。研究者たちは、「魔法の目」と呼ばれる、ロボットを見るための最適な角度を自動的に見つけ出す機能と、ロボットが壁に近づくと振動する「振動ベスト」を組み合わせたシステムを構築しました。彼らは、このセットアップをシミュレーションされた水中迷路の中で30人のボランティアに対してテストし、制御信号の遅延を0秒から1秒まで変化させました。彼らは単にロボットがどれだけ上手く動いたかを見ただけではありません。ボランティアに特殊なヘルメットを装着させ、脳内の血流を測定することで、彼らの精神がいかに激しく働いていたかを調べました。

結果は驚くべきものでした。信号が速いとき、振動ベストは、まるで友人からの優しい後押しのように、ロボットを直進させるのに非常に効果的でした。しかし、信号が遅い（0.5〜1.0秒）場合、「魔法の目」システムが圧倒的な勝利を収めました。このシステムは「3D Gaussian Splatting」という最先端技術を使用して、水中の世界をリアルタイムの3Dモデルとして構築し、ロボットがパイプの後ろに隠れていても、オペレーターにクリアな三人称視点を示すように仮想カメラを自動的に移動させました。研究の結果、この先を見越した視点が、オペレーターの脳が「意識を失う」のを防ぐことがわかりました。実際、遅延が大きい場合、標準的なカメラビューを使用しているオペレーターは「認知的な離脱」の兆候を示しました。つまり、彼らの脳は空間を把握しようとする努力を事実上放棄してしまったのです。しかし、この新しいシステムは、彼らの脳を能動的に関与させ続け、遅延が発生している状況でも安全にナビゲートすることを可能にしました。

問題：霧のパイプの中を盲目運転する

水中ロボットを制御することは、ボクシンググローブをはめたまま、ストロー越しに針の穴を通そうとするようなものです。オペレーターは船やドックに座り、ロボットのカメラが見ているものを画面越しに見ています。しかし、そのカメラはロボットの鼻先に固定されています。もしロボットが狭いトンネルの中にいる場合、オペレーターは壁のすぐそばに来るまで壁を見ることができません。さらに悪いことに、音波は水の中をゆっくりと伝わるため、オペレーターがボタンを押してからロボットが実際に動くまでに、しばしば遅延が生じます。もし遅延が1.0秒あれば、オペレーターは、ステアリングホイールとブレーキが丸1秒間切り離されている車を運転しているようなものです。

このような状況では、人間の脳が多くの重労働をこなさなければなりません。脳は、トンネルの3D形状を想像し、ロボットがどこにあり、1秒後にどこにいるのかを予測しなければなりません。これは「メンタル・ローテーション（心的回転）」と呼ばれ、非常に疲れる作業です。遅延が長くなりすぎると、脳はオーバーロードしてしまいます。研究者たちは、もしコンピュータにこの精神的な作業の一部を肩代わりさせることができれば、オペレーターはより冷静に、集中力を維持できるのではないかと考えていました。

解決策：魔法のカメラとブザー付きのベスト

チームは、ロボット制御システム（ROS）とゲームエンジン（Unity）を接続するフレームワークに基づいた、オペレーターを助けるための新しいシステムを作成しました。彼らは仕事を二つの部分に分けました。一つは先を見通すためのもの、もう一つは素早く反応するためのものです。

1. 魔法のカメラ (DAVS):
単にロボットのノーズカメラの視点を見せるのではなく、このシステムは「3D Gaussian Splatting」という技術を使用して、水中の世界のライブ3Dマップを構築します。これは、壁やパイプ、そしてロボット自身を表す、数百万の小さな、色鮮やかで光る点の雲のようなものだと考えてください。コンピュータはこの3Dマップを持っているため、あらゆる角度から即座に新しい視点を生成できます。システムは「動的適応視点システム（DAVS）」を使用して、仮想カメラを置くべき最適な場所を常に計算します。ロボットが見え、かつ前方の経路がクリアな場所を探し出し、その視点をオペレーターにレンダリングします。これは、ドローンがロボットの周りを自動的に飛び回って最適な角度を見せてくれるようなものですが、それがあなたの画面上で瞬時に行われるのです。

2. ブザー付きのベスト (ハプティクス):
魔法のカメラがルートの計画を助けてくれる一方で、二つ目の部分は素早い反応を助けます。オペレーターは、胴体に小さなモーター（バイブレーター）を備えたベストを着用します。もしロボットが左側の壁に近づきすぎたら、ベストの左側が振動します。右側に近ければ、右側が振動します。これにより、オペラーは画面から目を離すことなく、差し迫った危険に対する「第六感」を得ることができます。

実験：脳とロボットのテスト

この新しいシステムが実際に機能するかどうかを確認するため、研究者たちは制御された実験を設定しました。30人の参加者を招待し、パイプや狭い隙間などの複雑な浸水した産業施設の中を、シミュレーションされたBlueROV2を操縦するというビデオゲームを行わせました。

彼らは、3つの異なるロボット制御方法をテストしました：

1. エゴセントリック（基準）: ロボットの鼻先からの標準的なカメラ視点のみ。
2. ハプティック（反応型）: 標準的な視点に、振動ベストを加えたもの。
3. エキセントリック（先読み型）: 魔法の3Dカメラ視点（DAVS）を使用し、振動ベストは使用しないもの。

また、制御信号における4つの異なるレベルの「ラグ（遅延）」を導入しました：0.0秒（即時）、0.2秒、0.5秒、および丸1.0秒です。

参加者がプレイしている間、彼らは光を用いて前頭前野（計画、意思決定、作業記憶を司る脳の部分）の血流を測定する特殊なキャップを着用していました。これにより、研究者は参加者に疲れ具合を尋ねるのではなく、脳が実際にどれほど激しく働いていたかを正確に把握することができました。

知見：脳が諦める時

結果は、信号の速さに応じて明確なパターンを示しました。

信号が速いとき（0.0〜0.2秒）:
振動ベストが勝者でした。ロボットがほぼ即座に動くため、オペレーターは振動を利用して、微細で精密な調整を行うことができました。彼らは他の方法よりも完璧な経路を維持できました。魔法のカメラは、標準的な視点ですでに十分であったため、ここでは大きな利点はありませんでした。

信号が遅いとき（0.5〜1.0秒）:
魔法のカメラが主導権を握りました。0.5秒の遅延が発生すると、標準的な視点は失敗し始めました。オペレーターはミスを増やし、衝突も多くなりました。しかし、最も興味深い発見は脳のスキャンから得られました。0.5秒の遅延で標準的な視点を使用しているとき、前頭前野の血流量が低下したのです。研究者たちはこれを「認知的離脱」と呼んでいます。これは、遅延があまりに混乱を招いたため、オペレーターの脳が空間のメンタルマップを構築しようとする努力をやめてしまったことを意味します。つまり、脳が事実上諦めてしまい、パフォーマンスの低下を招いたのです。

対照的に、魔法の3Dカメラを使用していたオペレーターは、脳を完全に活動させた状態に保っていました。クリアな三人称視点のおかげで、彼らは遅延があっても環境のメンタルマップを維持することができました。彼らの脳は計画センターにおいて高い活動を示し、他の方法よりも速く、かつ安全に迷路をナビゲートしました。極端な1.0秒の遅延においては、魔法のカメラを用いたシステムだけが、他の2つの方法よりも有意に速く、かつ衝突を少なくタスクを完了させることができました。

これが意味すること

この研究は、水中ロボットにおいて、どのような助けが必要かは、接続速度によって変わることを示唆しています。もし接続が即時であれば、単純な振動が軌道を維持するのに適しています。しかし、もし接続が遅くラグがある場合は、世界の明確な全体像を与えてくれるシステムが必要です。

最も重要な発見は、優れたインターフェースは単にロボットの動きを良くするだけでなく、人間のオペレーターの脳がシャットダウンするのを防ぐということです。魔法の3Dカメラを使って「自分はどこにいるのか？」「周囲に何があるのか？」という難しい判断を処理させることで、システムはオペレーターの脳を実際のタスクに集中させることができます。これは、遅延が一般的であり、ミスが大きなコストにつながる水中インフラの点検において、ゲームチェンジャーとなる可能性があります。このシステムはまだシミュレーション内でテストされたものであり、実際の海でのテストはこれからですが、その結果は、水中ロボットを人間がより簡単に、より安全に制御するための有望な道筋を示しています。