From Pixels to Registers: A Multi-Modal Testing Framework for Chained Perception, Control and Firmware

ロボットが世界の捉え方を学習する際、しばしば間違ったことを学んでしまう。エンジニアが写真を用いてロボットを訓練する場合、その機械は特定の質感や照明条件、あるいは訓練室の床の正確な色合いなどを認識することを学習してしまう。そのため、もしロボットが異なる照明や異なる床のパターンを持つ別の部屋に移動させられた場合、障害物の形状が見えていないからではなく、ピクセルが異なって見えるために、しばしば失敗してしまう。標準的な解決策は、ロボットにさらに多様な画像を大量に与え続け、最終的にノイズを無視することを学ばせることだった。しかし、新しいアプローチは異なる道を提案している。それは、ロボットにノイズを無視するように教えるのではなく、ロボットがそれを見る前に、単にノイズを取り除いてしまうという方法である。色、質感、影を削ぎ落とし、世界のクリーンな輪郭を提示することで、研究者たちはロボットに、移動において実際に重要となる幾何学的構造に集中させることを可能にするのである。

ある研究者は、このアイデアが機能することを証明するためのテストシステムを構築し、ロボットが見るものと、その動きとの間の架け橋を作った。彼らの研究は、二段階のプロセスを中心としている。第一段階では、コンピュータプログラムが現実的な写真を取り込み、それを単純な線画と、物体を番号で識別するマップへと変換する。この抽象化によって、すべての視覚的な混乱が取り除かれる。第二段階では、制御システムが、これらのクリーンな輪郭のみを使用してロボットを運転することを学習する。制御システムは写真を一度も見ることがないため、特定の床の色や影に依存することを誤って学習する余地がない。それは世界の形状のみを学習するのである。これをテストするために、研究者はこれらの整合性のある画像を生成するシミュレータを構築し、極めて重要なことに、コンピュータ内でロボットの実際の制御ソフトウェアを実行させた。これにより、ロボットの「脳」が、単純なスケッチを、実機の機械で機能する実際の物理的なコマンドへと翻訳できるかどうかを確認することができる。

研究者は、この手法が、非常に少量であっても学習可能なデータを生み出すことを発見した。彼らは、写真を線画に変換するために、わずか479枚の画像を用いて知覚ネットワークを訓練した。そのネットワークは、あらゆる線を完璧に描けるわけではなかったが、シーンの不可欠な形状やシルエットを捉えることには成功した。より重要なことに、彼らは、生涯一度も写真を見たことがない制御ポリシーをテストした。このポリシーは、あらゆる物体の正確な位置を知っているエキスパートのドライバーを模倣するように訓練された。制御ポリシーに線画とセマンティックマップのみを与えたところ、それはすべてのテストシナリオ（8回中8回）において、ロボットを目標へと導くことに成功した。対照的に、ステアリング操作を行わずにただ直進するだけのロボットは、これらと同じシナリオにおいて一度も目標に到達できなかった。これは、簡略化された視覚入力が、ロボットが効果的にナビゲートするために十分な情報を含んでいることを証明したが、著者は、これらの結果は小規模な実験によるものであるため、競争力のある結果としてではなく、装置が学習可能なデータを生み出すという証拠として見るべきであると注意を促している。

また、研究者は、システムが失敗する理由に関する当初の仮定が誤っていたことも発見した。当初、ロボットが失敗するのは訓練データが不足しているからだと疑ったが、データを2倍に増やしたところ、むしろパフォーマンスが悪化した。次に、ロボブルットの「脳」が画像を理解するには小さすぎると疑ったが、真の問題はロボットの情報処理方法にあった。システムは画像全体を一つの数値へと平均化しており、それは目標がどれくらい見えているかは教えてくれるものの、目標がどこにあるかは教えていなかったのである。一度、システムを、物体の水平方向の位置を追跡できるように変更すると、ロボットは完全に失敗する状態から、毎回成功する状態へと変化した。これは、ロボットがステアリングを行うためには、目標が存在するかどうかだけでなく、目標がどちら側に位置しているかを知る必要があることを浮き彫りにした。

ロボットのコマンドが実際に機能していることを確実にするため、研究者は、ロボットのソフトウェアを非常に低いレベルでチェックする厳格なテストゲートを構築した。彼らは、モーターが回転する物理的な結果をシミュレートするシステムと、モーターコントローラ内の電子レジスタ自体をシミュレートするシステムの、二つの異なるシステムを通じて同じコマンドを実行した。その結果、二つのシステムは必ずしも一致しないことが判明した。例えば、ロボットに非常に低速で動くよう命じたとき、単純なシミュレーションでは、わずかに動くと示されたが、詳細な電子シミュレーションでは、コマンドがモーターの内部抵抗を克服するには弱すぎるため、モーターは全く動かないことが示された。これは、単純なシミュレーションが、ソフトウェアがハードウェアの物理特性と相互作用する際に現れる決定的な失敗を隠してしまう可能性があることを明らかにした。

こうした成功にもかかわらず、研究者は、自身の結果がこの制御されたシミュレーションに特有のものであることに注意を払っている。ロボットは仮想環境でテストされており、この手法が従来の写真ベースの訓練よりも、現実の世界が変化した際に優れているという最終的な証明はまだなされていない。彼らが構築したシステムは、そのアイデアをテストするためのツールであり、それ自体が最終的な答えではない。彼らは、スケッチのみを用いてロボットが運転できること、そして彼らのテストフレームワークが、他の手法が見逃してしまうような微細なソフトウェアのエラーを検出できることを示した。この研究は、理論的なアイデアを測定可能な実験へと変容させ、ロボットが見るものを簡略化することで、その世界の理解をより強固にし、その制御をより信頼性の高いものにできることを証明している。