ERR@HRI 3.0 Challenge: Multimodal Detection of Errors and Anticipation in Human-Robot Interactions

ロボットがサンドイッチを作ろうとしている様子を想像してみてください。時にはパンを落としてしまいます。時にはトースターを冷蔵庫に入れようとします。かつて、科学者たちはロボットにこうした間違いを察知させるために、「パンは床に落ちているか？」といった「特徴量」のチェックリストを与え、すでに整理・洗浄されたデータを見せて教えようとしてきました。しかし、この論文の著者たちはこう言います。「ちょっと待ってください！ それは、完璧にライトアップされたスタジオにある自転車の図面を見て、自転車の乗り方を学ぼうとするようなものです。現実の世界はもっとめちゃくちゃなんです！」

この論文は、ERR@HRI 3.0という、ロボットが自分自身の失敗を察知し、さらにはそれが起こる前に予測できるようにするためのチャレンジを紹介しています。これは、人間が見せるリアルで混沌とした反応を見ることで、ロボットをより賢くするためのものです。

2つの大きなミッション

このチャレンジでは、研究者たちに2つの異なる「ビデオゲームのレベル」を解かせました。使用したのは、ロボット（あるいは人間）が失敗する様子を見ている人々を捉えた、加工されていない生のウェブカメラ映像です。

レベル1：「おっと！」検出器（BADデータセット）
45人の人々がスクリーンの前で座り、ロボットや人間がミスをする動画を見ている場面を想像してください。ここでの目標はリアクティブ（反応的）なものです。コンピュータは、ミスが起きた後にその人の顔を見て、「あ、今失敗を見たな！」と言えるでしょうか？

• 落とし穴: ビデオは生のままです。照明は変化し、カメラの角度は歪んでおり、人々はそれぞれ異なる場所に座っています。これは実験室ではなく、現実の世界なのです。
• データ: 合計で46種類の失敗シナリオと、1,645個のビデオクリップがあります。各クリップの長さは約15.5秒です。
• 結果: このチャレンジには3つのチームがモデルを提出しました。すべてのチームが、論文内の「ベースライン」モデル（標準的なニューラルネットワークによる試行錯誤）よりも優れた成績を収めました。ベースラインモデルのスコアは0.502 macro F1（単なる正解率ではなく、失敗の検出と非失敗の検出のバランスを測る特定の指標）でしたが、新しいモデルはこれを上回りました。

レベル2：「それはまずい考えだ！」予測器（Bad Ideaデータセット）
これはもっとクールで、巧妙な部分です。29人の人々が、ロボットが何かを始める動画を見ている場面を想像してください。ただし、動画は成功するか失敗するかが見える前にカットされます。人々はこう推測しなければなりません。「これはうまくいくだろうか、それとも悪くなるだろうか？」

• 目標: コンピュータは、人が推測している最中にその人の顔を見て、何が起こると考えているのかを言い当てられるでしょうか？ これは**アンティシパトリー（予兆的）**なものです。クラッシュする前に「あぶない」という表情を捉えることです。
• データ: 30のシナリオと、865個のクリップがあります。これらのクリップは非常に短く、わずか1.95秒です。
• 結果: ここでも、このレベルに挑戦した3つのチームがベースラインを打ち破りました。ベースラインモデルのAUC-ROCスコアは0.564（モデルが「良い推測」と「悪い推測」をどれだけ区別できるかを示す指標で、0.5はランダムな推測を意味します）であり、一瞬の表情から未来を予測することが、いかに本当に、本当に難しいかを物語っています。

この論文が「ノー」と言うこと

著者たちは、何がこの問題に対して上手くいかないのかを明確に述べており、従来の方法を明確に排除しています。

1. 「事前洗浄済み」のデータではない: 論文では、以前の作業の多くが事前に抽出された特徴量に依存しており、それが研究者が利用できる手法を制限していたと指摘しています。これを解決するため、チャレンジでは生のビデオデータを提供しました。この設計は、特徴量エンジニアリングを禁止するためではなく、研究者が最新のエンドツーエンド学習手法をピクセルデータに直接適用し、従来の手法よりも現実世界の混沌とした状況をうまく扱えるかどうかを確認できるようにするためのものです。
2. 「ラボ級に完璧な」設定ではない: ロボットは完璧な照明の制御された部屋の中だけで学ぶべきではない、と彼らは否定しました。彼らは、クラウドソーシングされたデータ（異なるカメラ、変な角度）のめちゃくちゃな状態を求めたのです。なぜなら、それこそがロボットが現実世界で直面することだからです。
3. 「ただ反応するだけ」ではない: 彼らは、失敗が起きてから対処するのは遅すぎると主張しました。彼らはアンティシペーション（予兆把握）、つまり失敗が完全に起こる前に、何かがおかしいと判断することを推進しました。

その確信度はどの程度か？

この論文は、ロボットの安全性の問題を解決したと主張しているわけではありません。むしろ、彼らの新しいデータセットと手法が、より良い出発点であることを示唆しています。

• 彼らは、チームが一度も見ることのなかったテストセットを用いて、特定の数学的スコア（macro F1やAUC-ROCなど）で結果を測定しました。
• 新しいモデルはベースラインよりも優れてはいたものの、「予兆（アンティシペーション）」のタスク（レベル2）は依然として困難であることが分かりました。ベースラインは、信号を検出し始めるまでにクリップ時間の**35.6%を要しましたが、リアクティブなタスク（レベル1）では8.8%**でした。これは、「まずい考え」の顔を読み取ることは、「おっと」の顔を読み取ることよりもはるかに難しいことを示唆しています。
• 著者らは、3つのチームが有効なモデルを提出し、そのすべてがベースラインを上回ったと述べています。彼らはモデルが完璧だとは言っておらず、あくまで一歩前進であると述べています。

まとめ

この論文を、科学祭の主催者がこう言った場面だと考えてください。「ロボットをガラスケースの中に閉じ込めて作るのをやめましょう。現実のリビングルームの混沌とした状況に対処できるかどうかを見てみましょう」。彼らは2つの新しい、現実味のある動画を提供し、最も賢いコーダーたちに、ロボットのミスを察知するか、あるいは災難が起こる前にそれを予測できるモデルを作るよう挑戦させました。結果は、古い手法よりも優れた成果を出すことは可能であるものの、「水晶玉」のように未来を予測する能力は、まだ発展途上であることを示しています。著者たちは、これらのツールが、より意識が高く、より信頼でき、そして人間生活のめちゃくちゃな現実に備えたロボットを構築する助けとなることを願っています。