HUI360: A 360{\deg} Egocentric Dataset and Baselines for Human-Robot Interaction Anticipation

賑やかな公園を歩いているところを想像してみてください。そこへ、親しみやすいロボットが転がってきます。そのロボットは、あなたが挨拶するのを待つために立ち止まるのでしょうか？ それとも、あなたが近づく前に、あなたが来ることを察して手を振るのでしょうか？ これこそが、「ヒューマン・ロボット・インタラクション（HRI）」と呼ばれる分野の核心です。これは、機械に対して、単なる動く物体としてではなく、意図を持った「人間」として理解させるための科学です。この重要な要素の一つが「予測（アンティシペーション）」、つまり、人間が次に何をしようとしているかを予測する能力です。音楽が変わる前に次のステップを知っているダンスのパートナーのようなものだと考えてください。もしロボットが、あなたが話したいと思っていることを予測できれば、より役に立ち、かつ不自然さを感じさせない振る舞いができます。しかし、ロボットがこのダンスを学ぶためには、練習が必要です。そして、上手に練習するためには、スタジオでのリハーサルのシーンだけでなく、現実世界の膨大な事例のライブラリが必要なのです。

これこそが、論文「HUI360」の開発者が構築しようとしたものです。彼らは、ロボットに人間がいつインタラクション（相互作用）を求めているかを推測させるための学習用として、現在ではその種のものとしては最大規模となる、ビデオデータによる巨大なオープンソースのライブラリ「HUI360」を作成しました。俳優を使い、制御されたラボの中で撮影する代わりに、彼らは移動式ロボットを「野生」へと送り出しました。食堂、廊下、広場など、9つの異なる実世界の場所で数ヶ月間にわたって活動させたのです。魚の目のレンズのような360度カメラを装着したロボットは、何千人もの人々が通り過ぎる様子を見守りました。ある人はロボットを無視し、またある人はステッカーを拾ったり、ゴミを捨てたり、あるいは食べ物を手に取ったりしました。チームはスマートなコンピュータビジョン・ツールを使用して、あらゆる人を自動的に追跡し、身体の動きをマッピングし、人が物理的にロボットに触れた正確な瞬間をフラグ立てしました。さらに、データのミスを修正するために手作業でデータをクリーニングし、ロボットが学ぶ「レッスン」が正確であることを保証しました。

この論文はまた、ロボットにとっての最初の「練習テスト」のような一連の「ベースライン」を紹介しています。彼らは、単純なコンピュータ・ブレイン（ランダムフォレストやLSTMなどの手法を使用）を訓練し、人の動きを見て、その人がインタラクションを行おうとしているかどうかを推測させました。結果は、これらのモデルが、特に詳細なボディマップ（顔や手のキーポイントなど）を使用して推測を行う場合、非常に優れた精度を発揮できることを示唆しています。しかし、この論文はまた、厄きな現実についても指摘しています。ロボットが一度も見たことがない全く新しい環境でテストされた場合や、ロボット自体が変化した場合（例えば、ゴミ箱ロボットをサービスロボットに交換した場合など）、予測は少し曖昧になります。それは、ある教室で数学のテストで満点を取った生徒が、先生が別の部屋に移動した途端につまずいてしまうようなものです。著者らは、現在の手法は機能しているものの、真に実世界で役立つためには、新しい場所や新しいロボットの体に適応する能力をもっと高める必要があると示しています。

決定的なことに、この論文は、何をもって「インタラクション」と見なすかについて、明確な境界線を引いています。研究者たちは、好奇心からただロボットをじっと見つめたり、微笑んだりするといった、扱いにくい要素は無視することに決めました。それらの瞬間はあまりに主観的であり、合意を得るのが困難だからです。その代わりに、彼らは物理的なインタラクション、つまり、人が実際にロボットに触れたり、ゴミ箱に何かを投げ入れたり、あるいはロボットから物体を取り上げたりすることだけに焦点を当てました。これにより、データは客観的で検証可能なものになります。彼らは、ロボットが心を読んだり、微妙な視線の動きを理解したりすることを私たちが望むとしても、まずは明確な物理的動作から始めることが、学習のための信頼できる基礎を築く唯一の方法であると主張しています。

では、彼らは何を見出したのでしょうか？ 100万件以上の人物と動きのアノテーションを含むHUI360データセットは、ロボットが物理的なインタラクションを驚くほどの正確さで予測できることを証明しています。テストされたモデルは、インタラクションが起こる1〜2秒前にそれを予測することができ、それはロボットが首を振ったり、挨拶の準備をしたりするのに十分な時間です。しかし、この論文は、これが単なる始まりに過ぎないことも示唆しています。モデルは環境が劇的に変化すると苦戦するため、将来のロボットは、現実世界の混沌とした状況に対処するために、もっと柔軟である必要があることを示しています。この大規模なデータセットと、それを生成するためのツールを公開することで、著者らは科学界全体に鍵を渡し、より優れた、より社会的に意識の高い、そしてついに「野生」の中で私たちと踊ることができるロボットを共に構築するために、人々を招待しているのです。