Each language version is independently generated for its own context, not a direct translation.

🤖 問題：ロボットはなぜ「勘違い」するのか？

Imagine（想像してみてください）：
あなたがロボットに「テーブルの上の牛乳パックをカゴに入れて」と命令しました。ロボットは牛乳パックをつかみ、カゴに向かって動き出します。

しかし、途中で牛乳パックがこぼれてテーブルに落ちました。

従来のロボット（π0 など）：
ロボットは自分の「腕が動いた回数」や「関節の角度」といった内部の感覚（プロプリオセプション）だけを信じています。「あ、腕を動かしたから、もうカゴに届いたはずだ！」と盲目の自信を持ち、実際には牛乳パックが落ちていないのに「完了！」と宣言して作業を終わらせてしまいます。
これを論文では**「偽りの完了（False Completion）」**と呼んでいます。
人間の常識：
もし人間がこれをやったら、「あれ？牛乳がこぼれたぞ！拾い直さなきゃ！」と**目（ビジョン）**で確認して修正しますよね。でも、従来のロボットは「目」よりも「自分の感覚」を優先しすぎていたのです。

💡 解決策：ReViP（リヴィップ）の登場

この論文の著者たちは、この問題を解決するために**「ReViP」**という新しい仕組みを開発しました。

ReViP の仕組みは、まるで**「優秀な監督」と「選手」**のチームワークのようです。

監督（タスク・ステージ・オブザーバー）：
この「監督」は、常にロボットの目の前の映像（カメラ）と指示文を見ています。「牛乳パックがまだカゴに入っていない！」「あ、こぼれた！今すぐ拾い直さなきゃ！」と、現在の状況を冷静に分析しています。
選手（ロボットの制御システム）：
通常、選手は自分の感覚（関節の動き）だけで動いていますが、ReViP では「監督」から**「今、牛乳パックは床にあるぞ！カゴに向かうな！」**というリアルタイムなアドバイス（視覚的な手がかり）を受け取ります。
バランスの再調整（リバランス）：
これまで「感覚（90%）」と「視覚（10%）」のバランスが悪かったのを、**「視覚の情報を取り込んで、感覚の暴走を抑える」**ように調整します。

🛠️ 具体的な実験：どうやってテストした？

彼らは、ロボットが失敗しやすい状況をあえて作る**「偽りの完了ベンチマーク」**というテスト場を作りました。

落とし物テスト： 掴んだ物をわざと落とす。
入れ替えテスト： 牛乳パックと似たような別の箱を置き換える。
配置変更テスト： 目標の場所を移動させる。

これらのテストで、従来のロボットは「感覚」だけで進んで失敗しましたが、ReViP を使ったロボットは「監督」のアドバイスに従い、落ちた物を拾い直したり、正しい箱を選んだりして、見事に成功させました。

🌟 結果：現実世界でも活躍

シミュレーションだけでなく、実際のロボットアームを使って実験もしました。

牛乳パックを落としても、自分で拾い直してカゴに入れた。
引き出しを開ける際、中身が入っていないのに閉じようとする失敗を防いだ。

従来のロボットに比べて、成功率が大幅に向上しました（特に「偽りの完了」を防ぐ能力は 26% も向上）。

🎯 まとめ

この研究は、ロボットに**「自分の感覚（内部状態）に溺れず、目の前の現実（視覚情報）を素直に受け取る」**という、人間らしい賢さを教えることに成功しました。

以前のロボット： 「俺は動いたから、もう終わったはずだ！」（盲目の自信）
ReViP のロボット： 「待てよ、カメラを見るとまだ落ちてるぞ。やり直そう！」（冷静な観察と修正）

これにより、ロボットはより複雑で予期せぬことが起きる現実世界でも、失敗を恐れずにタスクを完遂できるようになりました。まるで、「自信過剰な新人」に「経験豊富なコーチ」を付けてあげたようなものですね。

Each language version is independently generated for its own context, not a direct translation.

ReViP: 視覚 - 固有受容感覚の再バランスによる VLA モデルにおける「偽の完了」の抑制

1. 問題定義：偽の完了（False Completion）

Vision-Language-Action (VLA) モデルは、視覚、言語、固有受容感覚（プロプリオセプション）を統合してロボットの動作を予測しますが、既存の手法には重大な欠陥が存在します。

現象: 目標が達成されていないにもかかわらず、ロボットがタスクを「完了した」と判断して動作を停止してしまう現象を**「偽の完了（False Completion）」**と呼びます。
原因: これは**「モダリティの偏り（Modality Imbalance）」、特に「状態支配バイアス（State-Dominant Bias）」**に起因します。VLA モデルは、外部からの視覚フィードバック（例：物体が落下した、目標位置がずれた）よりも、内部の固有受容感覚（関節角度、グリッパーの開閉状態など）の進行状況に過度に依存してしまいます。
具体例: 対象物体を掴んだ後に落下させても、モデルは「掴んだ」という状態信号を優先し、視覚的な失敗を無視してそのまま目標位置への配置動作を継続してしまいます。その結果、視覚的には失敗しているにもかかわらず、ロボットはタスク完了と判断して動作を中断してしまいます。

2. 提案手法：ReViP (Vision-Proprioception Rebalance)

著者らは、単に状態入力を削除するのではなく、視覚と固有受容感覚を適応的に再バランスするフレームワーク**「ReViP」**を提案しました。

2.1 主要な構成要素

ReViP は、外部の Vision-Language Model (VLM) を活用し、タスクの進行状況に応じた視覚的手がかりを抽出・注入する 2 つの主要コンポーネントで構成されます。

タスクステージ観測器 (Task-Stage Observer, TSO)
- 役割: 現在の観測画像とタスク指示を入力とし、タスクに関連する推論を行います。
- 機能: 物体の物理状態（掴まれているか、落下したか）、空間的な位置、および現在のタスクステージの意図を特定します。
- 出力: 離散的な言語的な手がかり（例：「クリームチーズがアームに掴まれていない」）を生成し、これを埋め込みベクトル（ $z_t$ ）に変換して VLA のバックボーンに渡します。これにより、視覚的な証拠が明示的に利用可能になります。
タスクステージエンハンサー (Task-Stage Enhancer, TSE)
- 役割: TSO から得られた進行状況に敏感な視覚的手がかりを、VLA の特徴量レベルで適応的に注入します。
- メカニズム: TS-FiLM (Task-Stage Feature-wise Linear Modulation) を使用します。
  - 抽出された手がかり $z_t$ を用いて、 $\gamma_t$ （スケーリング係数）と $\beta_t$ （バイアス）を生成します。
  - これらを視覚 - 言語のプレフィックストークンに適用し、視覚証拠と整合するチャネルを強調し、状態バイアスに寄与するノイズや誤った情報を抑制します。
- 効果: 状態信号に依存した「慣性」的な動作を抑制し、現在の視覚状況に基づいた再計画（リプランニング）や再掴み（リグラップ）を促します。

2.2 動作フロー

観測画像と指示を TSO が処理し、タスク進行に応じた視覚的手がかりを抽出。
TSE がこれらの手がかりを FiLM 変換を通じて VLA の特徴空間に注入し、視覚と固有受容感覚の重みを動的に調整。
調整された特徴量に基づき、フローマッチング（Flow Matching）を用いて次の動作チャンクを予測。

3. 主要な貢献

「偽の完了」の特定と分析:
- VLA モデルにおける「偽の完了」を重要な失敗モードとして定義し、それがモダリティの偏り（状態支配）によって引き起こされることを実証しました。
- 実世界およびシミュレーションにおいて、状態入力を単純にマスクすると視覚への依存は高まるものの、タスク成功率が低下することを示し、「再バランス」の必要性を立証しました。
False-Completion Benchmark Suite の開発:
- 偽の完了を評価するための最初のベンチマークスイートを開発しました。
- 8 つのタスクと3 つの制御された摂動（Object Drop: 物体落下、Distractor Swap: 類似物体の入れ替え、Relayout: 配置変更）を含み、モデルの視覚的グラウンディング能力と回復能力を包括的に評価します。
ReViP フレームワークの提案:
- 外部 VLM を用いた進行状況認識と、特徴量レベルでの適応的再バランスを実現する新しいアーキテクチャを提案しました。

4. 実験結果

4.1 偽の完了ベンチマーク

結果: ReViP は、強力なベースラインである $\pi_0$ モデルに対して、ベンチマーク全体で26% の成功率向上を達成しました。
詳細:
- Object Drop: 物体落下時の再掴み能力が大幅に向上（ $\pi_0$ の 24% → ReViP の 62.4%）。
- Distractor Swap: 類似物体の区別能力が向上（15% → 37%）。
- Relayout: 環境配置変更への適応性が向上（70% → 84%）。

4.2 一般シミュレーションベンチマーク (LIBERO, RoboTwin 2.0)

LIBERO: 4 つのタスクスイート（Spatial, Object, Goal, Long）全体で、平均成功率**96.7%**を達成し、SOTA（State-of-the-Art）を記録しました。
RoboTwin 2.0 (二腕): 複雑な二腕操作タスクにおいても、他の手法を凌駕する性能を示し、ドメインランダム化された厳しい条件下でもロバスト性を維持しました。

4.3 実世界実験

実ロボット（ROKAE アーム）を用いた実験でも、物体落下や配置変更などの摂動に対して、ReViP は視覚フィードバックに基づいて自動的に回復動作を行い、高い成功率（88%）を達成しました。一方、ベースラインモデルは視覚的失敗を無視して「偽の完了」を起こすケースが多く見られました。

5. 意義と結論

本論文は、VLA モデルが「内部状態の進行」に依存しすぎることによる致命的な失敗モード（偽の完了）を初めて体系的に解明し、その解決策を提示しました。

技術的意義: 単なるマルチモーダル融合ではなく、タスクの文脈（進行状況）に基づいて視覚と固有受容感覚の重みを動的に調整する「再バランス」アプローチの有効性を証明しました。
実用性: 実世界の不確実性（物体の落下、障害物、環境変化）に対するロボットの回復力と信頼性を大幅に向上させ、安全で堅牢なロボット操作の実現に寄与します。
コミュニティへの貢献: 偽の完了を評価するための新しいベンチマークスイートとコードをオープンソース化し、今後の研究開発の基盤を提供しています。

要約すると、ReViP は「ロボットが何をしているか（状態）」だけでなく、「何が見えているか（視覚）」を適応的に重視することで、人間のような常識的なタスク完了判断を可能にする画期的なアプローチです。

ReViP: Mitigating False Completion in Vision-Language-Action Models with Vision-Proprioception Rebalance