テクニカル・サマリー：PRISM – 相互作用構造を持つ運動制御のための多項式表現

1. 問題提起

標準的なロボット・ポリシーは、通常マルチレイヤー・パーセプトロン（MLP）として実装されており、観測値（関節位置、速度、コマンドなど）を直接アクションへとマッピングする。MLPは理論的には複雑な関数を近似できるが、入力を一次変数として扱う。しかし、ロボットの挙動を支配する多くの重要な物理量（関節パワー、慣性効果、スリップ、接触インパルス、コンプライアンスなど）は、観測可能な変数間の**乗法的相互作用（積）**から生じる。

標準的なMLPにおいて、これらの相互作用の手がかりは潜在的なままとなる。ネットワークは、物理的に二次または高次の関係であるものを近似するために、データからこれらの関係を暗黙的に発見しなければならず、多くの場合、過剰な容量（モデル・キャパシティ）を必要とする。単にパラメータ数（モデル容量）を増やすことは、入力の基底を変えるものではない。それは、ポリシーに対して、物理的実態に沿った明示的な「相互作用基底」を与えないまま、モデルを放置することになる。さらに、接触の多いタスクにおいてコンプライアンスのある挙動を実現するには、通常、力センサ、トルク入力、あるいは専用のアドミッタンス制御器が必要となるが、これらはセンサーを最小限に抑えたデプロイメントのシナリオでは利用できないことが多い。

2. 手法：PRISM

著者らは、観測可能な物理変数間の多項式的な相互作用を、明示的かつ学習可能でコンパクトなものにするポリシー表現であるPRISM（Polynomial Representations for Interaction-Structured Motor Control）を提案している。

コア・アーキテクチャ

PRISMは、固有受容感覚入力に対する標準的な線形コンディショニング・パスウェイを、因子分解された多項式モジュールに置き換える。すべての単項式項を明示的に列挙する（計算効率が悪いため）代わりに、PRISMは学習された射影を用いてコンパクトな潜在因子を形成する。

固有受容感覚の入力ベクトル $x_t$ が与えられたとき、PRISMは2つの学習されたアフィン因子を計算する：
$$u_t = W_1 x_t + b_1$$
$$v_t = W_2 x_t + b_2$$

二次表現は以下のように構築される：
$$\psi_2(x_t) = u_t \odot (1 + \alpha_2 \odot v_t) = u_t + \alpha_2 \odot (u_t \odot v_t)$$
ここで $\odot$ は要素ごとの積を表し、$\alpha_2$ はゼロ付近に初期化された学習可能なパラメータである。この設計により、ポリシーは十分な場合には線形特徴を保持しつつ、有益な場合には二次的な相互作用を強化するように学習することができる。

このフレームワークは次数 $K$ まで再帰的に拡張される：
$$\psi_k(x_t) = \psi_{k-1}(x_t) \odot [1 + \alpha_k \odot (W_k x_t + b_k)]$$
これにより、明示的な展開を行うことなく、低次のパスウェイをすべて保持しながら高次の相互作用項を追加することができる。

学習パラダイムへの統合

• 強化学習 (RL): PRISMは、標準的なMLPバックボーンに入る前の、デプロイメント時に利用可能な固有受容感覚状態に対して多項式モジュールを適用することで、アクター・ネットワークを拡張する。アクション空間、報酬関数、および低レベル制御器は変更されない。
• 模倣学習 (IL): Diffusion Policyにおいて、PRISMは標準的な線形固有受容感覚コンディショニング層を多項式相互作用層に置き換える。この層は、アクション予測のために視覚および言語特徴と組み合わされ、エンドツーエンドで訓練される。

決定的なのは、PRISMがデプロイメント中に追加のセンサ（力、触覚、トルクなど）や特権的な物理入力（接触ラベル、地形摩擦など）を必要としない点である。

3. 主な貢献

1. 限界の特定: 本論文は、デフォルトのMLPポリシーが一次の物理変数しか受け取っておらず、制御に不可欠な乗法的相互作用（例：パワーのためのトルク $\times$ 速度）を明示的に表現できていないことを指摘している。
2. PRISM アーキテクチャ: すべての単項式を列挙することなく、相互作用を明示的かつ学習可能にする、コンパクトで因子分解された多項式ポリシー表現。これはRLにおける段階的な活性化をサポートし、Diffusion Policyの線形コンディショニングを置き換えることができる。
3. 実証的検証: 構造化された相互作用モデリングが、標準的なMLPおよび容量を一致させたより大きなMLPの両方に対して性能向上をもたらすことを示し、相互作用の構造はパラメータ数だけで代替できないことを証明した。

4. 実験結果

著者らは、Humanoid-Gym（歩行）およびLIBERO（接触の多い操作）においてPRISMを評価した。

ヒューマノイド歩行 (Humanoid-Gym)

• 性能: PRISMは、エピソード長、線形/ヨー速度の追従誤差、および生存率において、標準的なMLPおよび「より大きなMLP」（ベースラインのほぼ2倍のパラメータを持つもの）の両方を大幅に上回った。
• 安定性: PRISMは、ベースラインと比較して、トレーニングシード全体でよりタイトな収束境界を示し、速度ドリフトを減少させた。
• 結論: 性能の飛躍は、単なるモデル容量の増加ではなく、乗法的相互作用の明示的なモデリングによって駆動されている。

接触の多い操作 (LIBERO)

• センサレス・コンプライアンス: PRISMは91.0%の成功率を達成し、標準的なDiffusion Policy (63.8%) およびセンサレス・コンプライアンス制御器 (MCC-Sensorless, 47.8%) を大幅に上回った。
• 挙動: PRISMは創発的なコンプライアンス挙動を示した。自由空間では高速な接近を維持したが、接触時には即座に速度を抑制し、力/触覚入力なしで力を制御した。これは、応答の遅れや高い衝撃力を伴ったMCC-Sensorlessよりも優れた結果であった。
• バックボーン非依存性: 強力なバックボーン（歩行にはBFM-Zero、操作にはSmolVLA）に統合した場合でも、PRISMはより大きな容量の制御器を上回り続け、その恩恵が容量によるものではなくアーキテクチャによるものであることを裏付けた。

物理量の分析

• 線形プロービング: 固定されたPRISM表現に対して訓練された線形プローブは、メカニクスに基づいた量（スリップ速度、関節パワー、接触インパルス、接触仕事）を、ベースラインよりも有意に低い平均二乗誤差 (MSE) と高いピアソン相関係数 (PCC) で予測した。
• 創発的な相互作用: アブレーション研究により、最も影響力のある学習された因子が、「速度メモリ」（現在の速度 $\times$ 過去の速度）や「関節速度結合」といった物理的に意味のある結合に対応していることが明らかになり、モデルがタスクに関連する物理構造を学習していることが確認された。

5. 意義と主張

本論文は、多項式表現が、具現化された運動制御における標準的なアーキテクチャの選択肢となるべきであると主張している。

• 物理に整合した帰納バイアス: 相互作用構造を明示的にすることで、PRISMは制御が状態変数の積に依存するという物理的実態に、ポリシーの帰納バイアスを適合させている。
• センサレス・コンプライアンス: PRISMは、コンプライアンスのある接触認識挙動が、固有受容感覚と視覚入力のみから学習可能であることを示しており、デプロイメントにおける高価または脆弱な力/触覚センサの必要性を排除する。
• 容量よりも効率: 結果は、ポリシーの性能向上は単にモデルの規模をスケールさせる関数ではなく、物理変数の相互作用構造を明示的にモデリングすることが、優れたデータ効率と堅牢性をもたらすことを示唆している。

著者らは、PRISMが主要な手がかりが低次の多項式によって捉えられることを前提としており、長期の履歴や未観測の幾何学構造に対しては苦戦する可能性があるとしつつも、多様なロボット形態やタスクにおいて、構造化された相互作用制御のための堅牢でデプロイ可能なソリューションを提供すると結論づけている。