技術サマリー：SCALE — Vision-Language-Actionモデルのための手法

問題提起

Vision-Language-Action（VLA）モデルは、事前学習済みのVision-Language Model（VLM）を活用して、マルチモーダルな観測と言語指示をアクションへとマッピングすることで、汎用的なロボット制御を実現する主要なパラダイムとして台頭しています。しかし、これらのモデルは、知覚的な曖昧さ（例：視覚的に類似したディストラクター）やアクションのマルチモーダル性（複数の妥当なアクションが存在すること）を特徴とする実世界のシナリオにおいて、堅牢性の面で課題に直面することがよくあります。

テスト時における堅牢性を高めるための既存の戦略（Test-Time Scaling: TTSと呼ばれる）は、通常、以下の3つの決定的な制限事項を抱えています：

1. デプロイメントの非実用性： 多くのTTS手法は、外部検証器や自己検証のための追加学習を必要とし、ドメインシフトによって性能が低下し、さらに複数のフォワードパスを必要とするため、リアルタイムの制約と相反します。
2. 固定された知覚： 現在のTTSアプローチは、視覚的表現を固定したまま、アクションのデコーディング段階でのみ介入します。これは、知覚的な曖昧さが「何をすべきか」だけでなく、「どのようにシーンを知覚すべきか」を再考する必要がある場合に、不十分です。
3. 不適切な不確実性指標： 既存の不確実性測定法は、多くの場合、全体的な分布の不確実性（例：エントロピー）のみを捉えており、ほとんどのVLAで使用される貪欲なデコーディング（greedy decoding）において極めて重要な、トップ1の選択に対するモデルの決断性を考慮できていません。

手法：SCALE

著者らは、モデル固有の「自己不確実性（self-uncertainty）」に基づいて、視覚的知覚とアクションを共同で調整する、シンプルで学習を必要としない推論戦略であるSCALE（Self-uncertainty Conditioned Adaptive Looking and Execution）を提案しています。能動推論（Active Inference）理論における不確実性駆動型の探索に着想を得たSCALEは、外部の検証器を用いることなく、単一のフォワードパスで動作します。

1. 自己不確実性の推定

核心となる革新は、分布の広がりとトップ1の決断性の両方を捉える新しい自己不確実性指標（$u_t^k$）です。SCALEは単一のリファレンスに依存するのではなく、以下の2つのリファレンス分布を定義します：

• 低不確実性リファレンス ($q_{low}$): モデルの予測されたトップ1トークンを中心としたワンホット分布であり、完全な確信を表します。
• 高不確実性リファレンス ($q_{high}$): ボキャブラリ全体にわたる一様分布であり、完全な曖昧さを表します。

自己不確実性スコアは、予測分布（$p_t^k$）とこれら2つのリファレンスの間のカルバック・ライブラー（KL）ダイバージェンスの差として計算されます：
$$u_t^k = D_{KL}(p_t^k \parallel q_{low}) - D_{KL}(p_t^k \parallel q_{high})$$
この定式化により、予測を確信度のスペクトラム上に位置づけます。正のスコアは分布が曖昧さに近いことを示し、負のスコアは高い自信を示します。

2. 適応的推論メカニズム

SCALEはこの不確実性信号を利用して、VLAパイプラインの2つの補完的な側面を調整します。

• 適応的アクションデコーディング（トークンレベル）： アクショントークンのサンプリング温度（$\tau_t^k$）は、トークンレベルの不確実性 $u_t^k$ に基づいて動的に調整されます。
  $$\tau_t^k = T_0 \cdot \sigma(u_t^k)$$
  ここで $\sigma$ はシグモイド関数です。不確実性が高い場合、温度は上昇して多様で探索的なサンプリングを促進します。不確実性が低い場合、温度は低下し、ニア・グリーディな実行を可能にします。

• 適応的視覚アテンション（ステップレベル）： 知覚的な曖昧さに対処するため、SCALEはビジョンエンコーダのアテンション温度（$\gamma_t$）を調整します。アクションデコーディングとは異なり、視覚的調整は瞬時的な不確実性ではなく、シーンの複雑性の「変化」に反応します。

  • システムは、トークンレベルの不確実性を平均することで、ステップレベルの不確実性（$u_t$）を算出します。
  • また、直近の不確実性の指数移動平均（EMA）（$\bar{u}_{t-1}$）を追跡します。
  • 偏差（$\Delta u_{t-1} = u_{t-1} - \bar{u}_{t-2}$）がアテンション温度を決定します：
    $$\gamma_t = \kappa \tanh(\Delta u_{t-1})$$
  • 不確実性が直近の平均よりも上昇した場合（$\Delta u > 0$）、$\gamma_t > 1$ となり、シーンを探索するためにアテンションを広げます。不確実性が低下した場合（$\Delta u < 0$）、$\gamma_t < 1$ となり、タスクに関連する手がかりに集中するためにアテンションを鋭敏にします。

これにより、あるタイムステップでの不確実性がアクションのサンプリングを調整すると同時に、次のステップのための視覚的アテンションを調整するというフィードバックループが作成され、クローズドループ制御における適応的な実行が可能になります。

主な貢献

1. 知覚とアクションの共同調整： 視覚的アテンションとアクションサンプリングを共に適応させることで、従来のTTS手法とは異なり、知覚と行動の両面からアプローチし、曖昧なシナリオにおける失敗の根本原因に対処しています。
2. 学習不要かつシングルパスの効率性： 追加の学習、外部検証器、または複数のフォワードパスを必要としないため、リアルタイムのロボットデプロイメントにおいて実用的です。
3. 新しい不確実性指標： 提案されたデュアルリファレンス不確実性指標は、分布の不確実性とトップ1の決断性の両方を捉え、エントロピーや信頼度スコアといった既存のプロキシを凌駕しています。
4. 実証的検証： 本手法は、シミュレーションおよび実世界の環境の両方において、多様な自己回帰型VLAアーキテクチャ（OpenVLA, $\pi_0$-FAST, SpatialVLA）を用いて検証されています。

実験結果

実験は、シミュレーション上のベンチマーク（LIBERO, SIMPLER-WidowX, LIBERO-PRO-Long）および、UR10eアームを用いた実世界のピック・アンド・プレース・タスクに対して行われました。

• 性能向上： SCALEは、最新の（SoTA）VLAおよび既存のTTS手法を一貫して上回っています。OpenVLAを用いたLIBEROベンチマークにおいて、SCALEは平均成功率**81.5%**を達成し、貪欲なベースライン（75.7%）や、MG-Select、RoboMonkey、TACOのような学習を必要とするTTS手法（70.8%）を上回りました。
• 堅牢性： 実世界の実験において、SCALEはイン分布（in-distribution）条件下で成功率を**+19.5%（OpenVLA）および+13.9%（$\pi_0$-FAST）向上させ、未知の物体を含むアウトオブ分布（out-of-distribution）条件下ではそれぞれ+16.7%および+12.5%**向上させました。
• アブレーション研究：
  • 適応的デコーディングと適応的視覚アテンションを組み合わせることで、相乗的な利得（ベースラインに対して+10.6%）が得られ、個別の改善の合計を超えました。
  • 提案された自己不確実性指標は、エントロピー、ジニ不純度、自己確信度などの代替指標を大幅に上回りました（63.3% 対 次点の57.8%）。
  • VLAバックボーンのクロスモーダルアテンションを調整するよりも、ビジョンエンコーダのユニモーダルアテンションを調整する方が効果的でした。
• 効率性： SCALEはシングルパスの効率性を維持していますが、複数のサンプルを必要とする手法（例：Best-of-N）は、OpenVLAにおいて最大15.9倍のレイテンシ増加を示しました。

意義と主張

本論文は、SCALEが、既存のTTS手法のような計算オーバーヘッドなしに、VLAの堅牢性を高めるための実用的かつ効果的なソリューションを提供すると主張しています。能動推論の原理に基づき、著者らは、エージェントが知覚の方法（視覚的アテンション）と行動の内容（アクションサンプリング）の両方を適応的に変えることで、不確実性を減少させられることを示しています。

著者らは、自らの貢献は主に方法論的なものであり、新しいモデルの能力を導入することではなく、適応的推論を通じて既存のVLAアーキテクチャを改善することに焦点を当てていることを強調しています。彼らは、SCALEが、ロボットが自身の予測的な確信度に基づいて探索と活用を動的に切り替えることを可能にすることで、多様な実世界環境におけるより信頼性の高い安全な運用を実現すると主張しています。さらなる研究とデプロイを促進するため、コードは公開されています。