技術要約：Intrinsic Robot Rewarding (IRR)

問題定義

OpenVLAのようなVision-Language-Action (VLA) モデルは、視覚的観察と言語指示をアクションへと結びつけることで、ロボット操作の基礎を確立している。しかし、これらのポリシーを新しい産業タスクに適応させるには、通常、経験からの学習（例：強化学習による）を促進するための外部報酬信号が必要となる。現在のアプローチは、以下に依存していることが多い：

• 専用の報酬基盤モデル、または個別の視覚・言語評価器。
• 追加の知覚バックボーン。
• 報酬信号を生成するための、結果に対する広範な人間によるラベル付け。

このような分離は、統合の手間、計算オーバーヘッド、および継続的な人間の監督コストを増大させる。本論文は、VLAパイプラインに既に存在するリソース、具体的には凍結された視覚エンコーダと、模倣学習に使用される成功したデモンストレーションのエンドポイントが、ロボットのパフォーマンスを評価するために十分に活用されていないと主張している。核心となる問題は、新しいモデルや大幅な外部の監督を導入することなく、どのようにして既存の内部表現を活用してポリシー改善のための内在的報酬を生成するかである。

手法：Intrinsic Robot Rewarding (IRP)

IRRは、ロボットがアクション生成に使用するのと同じ知覚リソースを用いて、自らの結果を評価するフレームワークを提案する。この手法は、主に4つのコンポーネントで構成される：

1. タスク条件付きリファレンスバンク

別途報酬モデルを訓練する代わりに、IRRは模倣学習のために既に収集されたデモンストレーションの成功したエンドポイントからリファレンスバンク（$Z^+_g$）を構築する。

• 特徴抽出: VLAの凍結されたチェックポイントである視覚エンコーダ（$\phi$）が、カメラの観察（$o_t$）から特徴ベクトル（$z_t$）を抽出する。
• リファレンス構築: 成功したデモンストレーションの軌跡（$\tau_i$）は、有効なタスク結果を表すリファレンス埋め込みのセットを提供する。このバンクは、単一の視覚的なプロトタイプを強制するのではなく、複数の有効な結果（例：異なる物体のポーズ）を許容する。

2. 類似度ベースのスコアリング

新しいロボットの試行は、リファレンスバンクとの類似度に基づいてスコア化される。

• 距離指標: システムは、現在の観察の埋め込みと、リファレンスバンク内の$k$-近傍との間の平均二乗ユークリッド距離（$d_g$）を計算する。
• スコアリング関数: スコア（$s_g$）は、タスク固有の温度パラメータ（$\tau_g$）によって制御される指数減衰関数を用いて導出される。
• 持続性: 一時的な視覚的一致を避けるため、持続性スコア（$s^{pers}_g$）は、試行後の短い観察ウィンドウにおける最小スコアを採用する。
• 報酬信号: 最終的な内在的報酬（$r^{IRR}_T$）は、エピソードの終端時刻に適用される、持続性スコアから導出されたバイナリまたはスケーリングされた値である。

3. 残差RLによるポリシー改善

このフレームワークは、残差強化学習（Residual RL）コントローラとIRRを統合する。

• アーキテクチャ: ベースとなるポリシー（$\pi_0$）は、模倣学習されたVLAである。残差ポリシー（$\pi_\theta$）は、IRRのフィードバックに基づいて、デカルト座標系の補正量（$\delta a_t$）を出力するように学習する。
• 実行: 最終的なアクションは、ベースポリシーのアクションと残差補正の有界な和となる。これにより、システムはVLAバックボーン全体を即座に再学習することなく、改善を学習することが可能になる。
• 学習アルゴリズム: 確率的な学習メカニズムを扱うために、オフポリシー・アクタークリティック法（例：Soft Actor-Critic）が提案されている。

4. キャリブレーションと検証

• ポジティブのみ vs. キャリブレーション済み: システムは、「ポジティブのみ」モード（リファレンスバンクの構築に成功したデモンストレーションのみを使用）または、「キャリブレーション済み」モード（決定閾値を調整したり、小さな報酬ヘッドを訓練したりするために、ラベル付けされた失敗の小セットを使用）の両方で動作できる。
• 独立した監査: 信頼性を確保するため、評価のための成功/失敗ラベルは、報酬生成プロセスとは別に、同期されたビデオをレビューする人間によって生成される。

主な貢献

本論文は、以下の具体的な貢献を概説している：

1. リソースの再利用: 既存のVLAの凍結された視覚エンコーダとデモンストレーションデータを、アクションの実行と結果の評価の両方に再利用する設計。これにより、別途の報酬基盤モデルの必要性を排除する。
2. 報酬定式化: 成功したエンドポイントのリファレンスバンクに対する類似性に基づいた、タスク条件付き報酬を生成するための具体的な数学的定式化。
3. TRL 4 デモンストレータ: COMAU Racer 3 産業用アーム、Robotiq Hand-E グリッパー、および OpenVLA-7B を使用した、動作可能なラボ基盤の提示。これは現在、キューブ・トゥ・コンテナ・タスクにおいて56%のタスク成功率を達成している。
4. 研究フレームワーク: 表象の再利用、物理的ポリシーの改善、および効率性の向上を評価するための、構造化された一連の研究質問（RQ）と評価指標。

現在の結果と実験的基盤

本論文は、提案されたIRR学習ループの最終的な結果を報告していない。なぜなら、提案されている研究は、報酬の定式化を物理的なポリシー改善に結びつけることだからである。しかし、検証済みのベースラインを提供している：

• システム: ROS制御スタックと三人称カメラを備えた COMAU Racer 3 アーム。
• ベースライン性能: 50回の物理試行（緑色のキューブを容器に入れる）の調査において、模倣学習された OpenVLA-7B ポリシーは 56% の成功率（50試行中28回成功）を達成した。
• 失敗分析: 主要な失敗モード（22回の失敗のうち8回）は、エンドエフェクタを物体に対して中心に配置できなかったことであり、これは残差RLによる補正の特定のターゲットを特定している。
• データ可用性: リファレンスバンクを構築するために、245のエピソードのデモンストレーションが利用可能である。

重要性と主張

本論文は、IRRを、自己評価および自己改善を行う産業用ロボットへの実用的な経路として位置づけている。その重要性は、以下の3つの側面から構成される：

1. 統合努力の軽減: 既存のVLAエンコーダとデモンストレーションデータを再利用することで、別個の報酬基盤モデルや追加の知覚バックボーンを訓練し、維持するという複雑さを回避する。
2. 監督の効率化: 学習フェーズにおける結果のスコアリングに必要な繰り返しの人間による労力を削減することを目指しており、システムは内部表現に基づいて成功を自律的に評価できる。
3. スケーラビリティ: コアとなる知覚モデルを再学習することなく、新しいデモンストレーションでリファレンスバンクを更新するだけで、新しいタスク（新しい部品、固定具、または条件）に適応できるメカニズムを提供する。

著者らは、理論的基盤とTRL 4のデモンストレータは確立されているものの、極めて重要な次のステップは、この内在的報酬信号が実際に物理的なポリシー改善を駆動すること、および内部評価の信頼性が独立した人間による監査と一致することであることを実証的に検証することであるとし、控えめな姿勢を維持している。本研究は、完全に解決された問題の報告というよりも、研究の方向性を提案するポジションペーパーとしての役割を果たしている。