How Users Understand Robot Foundation Model Performance through Task Success Rates and Beyond

技術要約：タスク成功率とその先を通じて、ユーザーがいかにロボット基盤モデルの性能を理解するか

問題提起
ロボット基盤モデル（RFM）は、任意のタスクを実行可能な汎用目的の家庭用ロボティクスを実現することを約束している。しかし、非専門家が、RFMが明示的に学習または評価されていない新規タスク（未知のタスク）を要求する際に、性能指標をどのように解釈するかについては、決定的なギャップが存在する。タスク成功率（TSR）はRFMを評価するための標準的な指標であるが、初心者がこの確率的なデータを意図通りに解釈しているかは不明である。さらに、物理環境における失敗のコストは高いため、ユーザーは単にロボットが成功するかどうかだけでなく、「どのように失敗する可能性があるか」についても理解する必要がある。現在の評価は、失敗モードに関する透明性に欠けることが多く、それが予期せぬ失敗や信頼の低下を招く可能性がある。本論文は、非ロボット技術者がRFMの性能情報、特にTSR、失敗事例の記述、および実際の履歴データと内部の性能推定値との相互作用をどのように解釈するかを調査している。

手法
著者らは、ユーザーによるRFM性能データの解釈を評価するために、2部構成の研究を実施した。

1. オンライン調査 (n=112): 参加者は、3つの公開されているRFM研究プロジェクト（OpenVLA、Baku、Multimodal Diffusion Transformer）から得られた、16種類の異なる操作タスクを含む実際の評価データを与えられた。この研究では、以下の4種類の情報タイプを様々な組み合わせで提示する被験者内設計を採用した。

   • 推定タスク成功率 (ETSR): 要求されたタスクに対する、ロボットの内部的な成功確率の推定値。
   • 推定失敗事例 (EFC): 要求されたタスクにおいて最も起こりやすい失敗モードの自然言語による説明。
   • 関連タスク - タスク成功率 (RT-TSR): ユーザーのリクエストに「類似している」とみなされたタスクからの、過去のTSRデータ。
   • 関連タスク - 失敗事例 (RT-FC): 類似したタスクからの、過去の失敗の説明。

   参加者は、タスクビデオ（実際の成功・失敗率を反映するようにサンプリングされたもの）を視聴する前と後に、信頼、快適さ、および情報の十分性を評価した。

2. 対面調査 (n=14): 身体性の影響を調べるため、参加者は大学のロビーで、Kinova Gen3 Liteロボットがスープ缶の配置タスクを自律的に試行する様子を観察した。彼らには同じ4種類の情報タイプが提供され、家庭環境におけるロボットの有用性と信頼性を評価するよう求められた。

主な貢献
本論文の主な貢献は以下の3点である：

1. TSR解釈の検証: 本研究は、非専門家ユーザーが専門家の期待と一致する方法でTSRを解釈することを経験的に検証した。報告されたTSR値と、ユーザーが報告するシステムへの信頼および自信との間には、強固な正の相関関係が存在する。
2. 失敗情報の価値: 著者らは、失敗事例の自然言語による記述が非専門家にとって非常に価値が高いことを示した。これらの記述は、ユーザーがリスクを理解し、潜在的な失敗に備えるのに役立つため、RFMの評価における失敗事例報告の標準化の必要性を示唆している。
3. 実データと推定値の両方の必要性: 本研究は、ユーザーが（現実に基づいた）類似タスクからの実際の履歴データと、新規タスクに対するロボット自身の推定値の両方を求めていることを明らかにしている。これは、RFMの展開にあたり、膨大な評価履歴へのアクセスと、未テストのタスクに対する性能を正確に推定する能力が必要であることを示唆している。

結果

• 情報の十分性: いかなる情報タイプであっても、存在することでユーザーの知覚される情報の十分性は有意に増加した。ただし、成功率（TSＲ）は、失敗事例よりも知覚される十分性に大きな効果量を持っていた。
• 快適さと信頼: ユーザーの快適さと信頼は、高い成功率（ETSRおよびRT-TSRの両方）によって強く予測された。逆に、失敗事例の記述（EFCおよびRT-FC）の存在は、報告された快適さを有意に高めることはなかったが、ユーザーはそれらを依然として有用であると評価した。
• 有用性のランキング: 大多数のユーザーがすべての情報タイプを有用であると感じた。定量的分析によれば、ETSRはEFCよりも有用であると報告され、RT-TSRはRT-FCよりも有用であると報告された。しかし、ETSRは他のすべてのタイプを合わせたものよりも有意に有用であるとは言えなかった。
• 予測精度: ETSRのみが、ユーザーのバイナリ（二値）の成功/失敗の結果の正しい予測能力を有意に向上させた（精度61.9%）。これは、ETSRが即時的な結果予測において最も情報量の多い指標であることを示している。
• 定性的洞察: ユーザーは、閾値の使用（例：ETSR < 70%のタスクを拒否する）や、実データによる推定値の照合など、多様な戦略を用いた。多くのユーザーは、裏付けとなる現実世界の証拠がない推定値に対して懐疑的な姿勢を示した。
• 身体性の影響: 対面調査は、オンラインでの知見とおおむね一致した。しかし、身体を伴う相互作用においては、物理的な安全性（例：床や物体への損傷）や、速度・作業スペースといった実用的な制約に関するより具体的な懸念が引き出された。

意義と主張
本論文は、TSRは必要な指標ではあるものの、家庭環境におけるRFMの安全かつ効果的な展開にはそれだけでは不十分であると主張している。著者らは、以下を含むユーザー中心で解釈可能な評価への移行を提唱している：

• 失敗事例（一般的シナリオおよびワーストケースの両方）の標準化された報告。
• 実世界の履歴データと、新規タスクに対する信頼できる性能推定値の両方の提供。
• RFMが新しいタスクに対して予測可能な挙動を示す、あるいは挙動を予測するためのメカニメント。

著者らは、情報を得たユーザーの方が、ロボットと協力し、教え、適切に信頼する準備ができていると強調している。専門家の評価指標とユーザーの理解との間の溝を埋めることで、本研究は将来のRFMの評価基準と展開戦略に資することを目指しており、ユーザーが特定のロボットタスクに対して、いつ監視し、いつ教え、いつ避けるべきかについて、情報に基づいた決定を下せるようにすることを目指している。本論文は、これらの知見が特定のタスク領域（台所仕事、操作）から得られたものであることを踏まえつつも、情報の透明性に関する原則は、異なるロボットの形態やタスクの種類にも一般化できる可能性が高いと控えめに述べている。