ReactHuman: A Physics-Grounded Benchmark for Human-Like Reactive Decision-Making in Embodied Multimodal LLMs

キッチンで重い鍋がカウンターから滑り落ちたり、廊下で背の高いワードローブが倒れ始めたりする場面を想像してみてください。ほんの一瞬のうちに、人間の脳は視覚的な危険を処理し、物体がどこに落下するかを予測し、物体を掴むか、あるいは脇へ避けるよう体に指令を出します。この刹那的な反応は単なる反射ではありません。それは、物体が何であるかを理解し、それがどれほど重いかを知り、そして正確にどこへ行くのかを計算するという、複雑な融合なのです。科学者たちが私たちの家庭で共に暮らし、働くロボットを構築しようと取り組む中で、彼らは極めて重要な問いに直面しています。人工知能は、これと同じ速度と安全性を持って反応することを学習できるのだろうか、という問いです。これらの知的なシステムに対する現在のテストでは、ビデオに関する質問に答えさせたり、部屋の掃除のような長期的なタスクを計画させたりすることが多いですが、これらの手法は、危険が現れた瞬間に機械が命を守る決断を下せるかどうかをテストするものではありません。

新しい研究は、人工知能が突然の物理的な危険に直面した際に、有能な人間のように行動できるかどうかを検証するために設計された、「ReactHuman」と呼ばれる厳格なテストを紹介しています。研究者たちは、デジタルロボットが部屋の中に立ち、落ちてくるナイフ、滑る棚、あるいはロボットに向かって跳ねてくるボールといった一連の危険な出来事を見守るシミュレーション環境を構築しました。システムは、災難が起こる直前でシミュレーションを一時停止し、複数のカメラアングルからその出来事の数秒間をロボットに見せます。ロボットの脳として機能する人工知能は、その後、何をすべきかを決定し、特定のコマンドを発行しなければなりません。つまり、新しい場所へ歩く、物体を掴むために手を伸ばす、あるいは静止している、といった指示です。選択肢の中から正解を選ぶだけの従来のコンピュータテストとは異なり、このシステムはロボットに、物理シミュレーションの中で実際にその動作を実行することを強制します。もしロボットが落下する物体を掴むと判断した場合、シミュレーションを実行して、その手が時間内に物体に実際に届いたかどうかを確認します。もし回避すると判断した場合、シミュレーションはロボットが正常に身をかわれたかどうかをチェックします。

研究者たちは、単純な落下から、一つの落下物が別のものに衝突する複雑な連鎖反応に至るまで、17種類の異なるタイプの突発的なイベントを網羅した1,000以上のユニークなシーンを作成しました。さらに、見た目はあるものだが挙動は別物であるという「トリック」オブジェクトも含まれています。例えば、重そうに見えるが実際には軽いフォーム製の金敷や、果物のように見えるが重くて危険な鋼鉄のリンゴなどです。この設定は、ロボットが物の「見た目」に頼っているのか、それとも「実際の動き」に基づいているのかをテストします。チームは、7つの高度な人工知能モデルをこのタスクで評価しました。結果は厳しいものでした。モデルが正しく反応できなかった割合は、およそ3回に1回でした。回避すべき状況において、ロボットは立ち尽くしたり、物体を掴もうとしたりして、安全ではない結果を招きました。

おそらく最も示唆に富んでいたのは、ロボットが大型化したり複雑になったりしても、間違いから学習していないように見えたことです。最大級の強力なモデルであっても、より小さなモデルよりも有意に安全であったり正確であったりすることはありませんでした。目の前の特定のシーンを分析する代わりに、各モデルは固定された「性格」を持っているようでした。あるモデルは常に逃げることを好み、別のモデルは、それが正しい動きであるかどうかにかかわらず、常に掴もうとするのです。また、ロボットは速度を判断することにも苦戦しました。彼らは何かが動いていることは認識できましたが、それがゆっくり動いているのか、それとも速く動いているのかを判別できず、ゆっくりとした危険を、まるで脅威ではないかのように扱うことがよくありました。ロボットが正しい行動を選択できた場合でも、実行に失敗することが頻繁にあり、物体に手を伸ばしながらも、必要な位置から1メートルほど手前で止まってしまうといったことが起こりました。

この研究は、これらの人工知能システムは世界の理解については向上しているものの、突然の物理的危害に対して安全に反応できるレベルにはまだ遠いという結論を下しています。研究は、単にモデルを大きくすることが安全性の問題を解決するわけではないことを強調しています。真に私たちの家庭で暮らせるロボットを構築するためには、開発者は、物体がどのように見えるかに頼るのではなく、その瞬間に起きていることを見て判断することを教え、人間が持つ本能的な精密さと同じように、速度や距離を判断する方法を教える必要があります。それまでは、落下する物体を説明できる機械と、それを安全に掴める機械との間の溝は、依然として広いままなのです。