Can Vision-Language Models Assess Proxemic Risk from Egocentric Robot Images?

ロボットに、混雑したコーヒーショップの中を歩く方法を教えているところを想像してみてください。あなたは単にロボットにテーブルを見せたいのではなく、周囲の空間を「感じて」ほしいと考えています。これは、人間が快適に感じるためにどれほどのパーソナルスペースを必要とするかを研究する、「プロクセミクス（近接学）」という専門的な概念の世界です。これを「目に見えない泡」だと考えてみてください。親友のためのタイトな泡、同僚のための中くらいの泡、そして知らない人のための広い泡です。もしロボットが、断りもなくあなたのタイトな泡の中に飛び込んできたら、それは失礼ですし、危険なことにもなりかねません。

ここで、ロボットの頭部にカメラ（一人称視点／エゴセントリック・ビュー）を搭載し、私たちと同じように世界を見ていると想像してください。大きな疑問は、科学者たちが投げかけている問いです。「AIは写真を見て、瞬時に『あ、大変だ、あの人に近づきすぎている！』とか『ふう、十分なスペースがあるぞ』と判断できるのだろうか？」というものです。ここで登場するのが「視覚言語モデル（VLM）」です。これらは、画像を見てそれについて語ることができる、非常にスマートなAIプログラムです。例えるなら、絵本を読んでその物語を教えてくれるロボットのようなものです。研究者たちが期待しているのは、もしこれらのAIが「見る」だけでパーソナルスペースを理解できるようになれば、すべてのロボットに高価で重いセンサーを載せる必要がなくなり、カメラと「脳」さえあれば済むようになるかもしれない、ということです。

しかし、ここにひねりがあります。AIが画像を説明できるからといって、それが本当に3D空間における「位置」を理解しているとは限らないのです。この論文では、3つの異なるAIの「脳」をテストし、それらがロボットの安全ガードとして機能できるかどうかを検証しています。

実験：AIは危険を察知できるか？

研究者たちは、現実世界の環境でロボットの視点から撮影された1,243枚の写真を用いて、特別なトレーニングセットを作成しました。彼らは、ロボットとの距離に基づいて、すべての写真に「危険レベル」のラベルを付けました。

• 高い危険（High Danger）: 誰かがロボットの目の前にいる（衝突の危険あり！）。
• 中程度の危険（Moderate Danger）: 誰かが近くにいて、ロボットは慎重に動く必要がある。
• 低い危険（Low Danger）: 誰かが近くにいるが、ロボットはただ注意を払っておけばよい。
• 最小限の危険（Minimum Danger）: 安全である。

彼らは、3つの異なるオープンソースAIモデル、InternVL、SmolVLM、Qwen-VLをテストしました。これら3つのモデルに対して、2つの方法で学習を試みました。一つ目は、さまざまなスタイルの質問をする方法（単純な命令を与えるのか、あるいは複雑なステップ・バイ・ステップの推論パズルを与えるのか）、二つ目は、200枚の特定の画像を用いて、わずかな追加学習（「ファインチューニング」と呼ばれます）を行う方法です。

結果：一人のヒーローと、二人の苦戦者

結果は、「悪くない」と「不十分である」が入り混じったものでした。

1. 「ランダムな推測」の問題
特別なトレーニングなしでは、3つのモデルすべてが、選択式のテストで勘で答えている学生とほぼ同じパフォーマンスしか示しませんでした。彼らの全体的な精度は、コイン投げで決まる確率とほとんど変わりませんでした。追加のトレーニングを行った後でも、4つの危険レベルすべてを正しく分類する一般的な能力は、あまり向上しませんでした。まるで、モデルたちはコーヒーショップの様子を説明するのは得意だが、いつ歩みを止めるべきかを知るには至っていないかのようです。

2. Qwenの例外
しかし、そこには一人の際立ったヒーロー、Qwen-VLがいました。他の2つのモデル（InternVLとSmolVLM）が、最も危険な状況をほとんど見逃して失敗した一方で、Qwen-VLは「高い危険」のシナリオを検知することに成功しました。

• 決定的なことに、この改善は、質問の「仕方」とモデルへの「学習方法」の特定の組み合わせから得られました。最高の成果は、AIに「ステップ・バイ・ステップで考える」よう求める非常に複雑なプロンプトを使用し、かつ最初の段階のファインチューニングを行ったときに得られました。この設定により、Qwen-VLは約**79%**の高い危険の状況を捉えることができました。
• 他のモデルは、同じ複雑なプロンプトとトレーニングを用いても、依然としてほとんどの状況を見逃していました。
• 興味深いことに、Qwen-VLにさらなる追加学習（二段階目のファインチューニング）を与えても、それほど効果はありませんでした。最大のブーストをもたらしたのは、その特定の「高度な思考プロンプト」と「最初のファインチューニング」の組み合わせでした。

3. 「盲点」の驚き
さらに興味深いことに、研究者たちは、AIが危険かどうかを判断するために、実際にその人物を「見ている」のかどうかを確認しました。彼らは、AIに懸念している人物の周りにボックスを描くよう指示しました。

• 衝撃的な事実: Qwen-VLが正しく「危険（DANGER）！」と叫んだときでさえ、AIはしばしば正しい人物の周りにボックスを描けませんでした。時には床を指し、時には壁を指し、時には正しい人物を指していました。
• 結論: この論文は、モデルが特定の人物との距離を理解しているのではなく、画像全体の「感覚」やパターンに基づいて危険レベルを推測している可能性があることを示唆しています。それは、数学のテストで正解は出しているものの、その過程や計算に使った数字を説明できない学生のようなものです。

これがロボットの安全性に意味すること

この論文は、これらのAIモデルは賢くなりつつあるものの、群衆の中を歩くロボットの唯一の安全ガードを務めるには、まだ準備ができていないと結論づけています。

• まだ信頼はできない: もしこれらに頼り切ってしまうと、モデルが「安全だ」と判断したために衝突を見逃したり、逆に安全なのにパニックになったりする可能性があります。
• プロンプトと特定のトレーニングが重要: モデルに少し追加の学習を与えることは、Qwen-VL単体ではわずかな助けにしかなりませんでしたが、最も大きな利得は、注意深く推論するように促す「プロンプト」と、特定の「ファインチューニング」の設定を組み合わせたときに得られました。
• 「盲目な」危険: 最大の教訓は、正しいラベル（高い危険）を得ることが、必ずしもロボットが「なぜ」危険なのかを理解していることを意味しないということです。モデルは、間違った理由で正解している可能性があるのです。

要約すると、これらの視覚言語モデルは、シーンを美しく描写できるものの、ナビゲーションを求められると迷子になってしまう「おしゃべりな観光客」のようなものです。特に、注意深く考えるよう指示され、適切に訓練されたQwenモデルは有望ですが、人間が後ろで見守ることなく、街中の通りをロボットに運転させるには、まださらなる練習が必要です。