技術的サマリー：動的非結合球面半径圧縮（DD-SRad）

1. 問題定義

物理ロボットへの強化学習（RL）方策の展開には、アクチュエータ速度制約の満たしが必須である。これは、各制御ステップにおける各関節の位置コマンドの変化率に対する硬い制限（$|a^i_t - a^i_{t-1}| \le \delta^i$）を意味する。これらの制限は構造的に不均質であり、モータ慣性や伝動剛性の違いにより、関節ごとの速度制限$\delta^i$は大きく異なる（例：股関節は足関節に比べてはるかに高い速度を許容する傾向がある）。

既存の手法は、この不均質性を幾何学的に処理することに失敗している：

• MPC/QPアプローチは、実行時のソルバオーバーヘッドを招き、学習と展開の不整合に陥るため、エンドツーエンドの最適化を阻害する。
• 制約付きMDP（CMDP）手法（CPO、FOCOPSなど）は、期待値形式の保証しか提供せず、ハードウェアを損傷しうる一時的なステップごとの違反を許容する。
• 行動パラメータ化手法は、通常、等方的な$\ell_2$-球制約（例：球面半径圧縮、SRad）を課す。不均質な制約下では、半径$R = \min_i \delta^i$を持つ$\ell_2$球は、真の可行集合（$\ell_\infty$超長方体）を著しく過小にカバーする。$\ell_2$球と真の可行集合との体積比は、次元と不均質性に応じて指数関数的に劣化し、高予算関節における探索空間を実質的に圧縮してしまう。
• $\ell_\infty$クリッピング手法（BoxPre+など）は正しい幾何学をカバーするが、境界において勾配を切り捨て、方策更新中に方向情報を失う。

核心的な課題は、実行時のソルバオーバーヘッドなしに、ステップごとの硬い制約満たし、可行集合の正確な$\ell_\infty$カバレッジ、およびエンドツーエンドの勾配逆伝播を達成することである。

2. 手法：DD-SRad

本論文は、方策出力と不均質な速度制約との間の幾何学的ミスマッチを解決する、滑らかな解析的行動パラメータ化である**動的非結合球面半径圧縮（DD-SRad）**を提案する。

中核メカニズム

単一のグローバル半径$R$を使用するSRadとは異なり、DD-SRadは各行動次元$i$に対して独立して位置適応型実効半径$R^i_{\text{eff}}$を計算する：
$$R^i_{\text{eff}}(u^i, a^i_{\text{prev}}) = \begin{cases} \min(\delta^i, a^i_{\max} - a^i_{\text{prev}}) & \text{if } u^i > 0 \\ \min(\delta^i, a^i_{\text{prev}} - a^i_{\min}) & \text{if } u^i < 0 \\ \delta^i & \text{if } u^i = 0 \end{cases}$$

この写像は、潜在行動$u \in \mathbb{R}^d$を、次元ごとの独立した球面圧縮を介して物理行動$a$に変換する：
$$a^i = a^i_{\text{prev}} + R^i_{\text{eff}}(u^i, a^i_{\text{prev}}) \cdot \frac{u^i}{\sqrt{1 + (u^i)^2}}$$

主要特性

1. 幾何学的整合性：DD-SRadの到達可能集合は、速度制限と位置境界によって定義される正確な$\ell_\infty$超長方体であり、不均質な制約下で等方的$\ell_2$ベースラインが失った体積を回復する。
2. 硬い制約満たし：この写像は、任意の潜在行動$u$に対して、確率1で$|a^i - a^i_{\text{prev}}| \le \delta^i$および$a^i \in [a^i_{\min}, a^i_{\max}]$を保証する。
3. 勾配保持：この写像は滑らかで解析的である（$u=0$を除くが、これは測度ゼロ事象）。ヤコビアンは対角正定値行列であり、クリティックからの完全な方向勾配情報が切り捨てられることなく方策に伝播されることを保証する。
4. ゼロオーバーヘッド：プラグアンドプレイ層として、実行時のソルバ（QP/MPC）を必要とせず、SACやTD3などのオフポリシーバックボーンに直接統合可能である。

3. 主要貢献

• 幾何学的整合性：次元ごとの適応型半径を介して可行集合の正確な$\ell_\infty$カバレッジを達成し、不均質な制約下で$\ell_2$ベースラインが失った体積を体系的に回復する。
• 理論的保証：ステップごとの硬い制約満たしを確率1で証明し、ヤコビアン条件数の境界を確立することで、条件付きの良い勾配を確保する。
• エンドツーエンド互換性：滑らかな解析形式は、ゼロの実行時ソルバオーバーヘッドで正確な方策勾配逆伝播をサポートし、標準的なオフポリシーアルゴリズムと互換性がある。
• 実証的検証：広範な実験により、DD-SRadがゼロの制約違反で最高タスクリターンを達成し、MuJoCoベンチマークと高忠実度IsaacLabシミュレーションの両方でベースラインを上回ることを実証した。

4. 実験結果

著者は、MuJoCo（Ant、Humanoid、HalfCheetah、Hopper）およびIsaacLab（Unitree H1およびG1ヒューマノイドロボット）上でDD-SRadを評価した。

MuJoCoベンチマーク

• 性能：厳格な不均質制約下において、DD-SRadはすべての8つの環境・バックボーン構成（SACおよびTD3）で最高リターンを達成し、多くの場合、制約なしの上限に匹敵または上回った。
• 制約利用：DD-SRadは、球面ベースラインと比較して制約空間カバレッジで30%〜50%の改善を示した。構造的崩壊（例：Ant-SACにおける68.8%の制約違反）に苦しんだSRad-Strictとは異なり、DD-SRadはゼロの違反を維持した。
• 比較：DD-SRadは、$\ell_\infty$クリッピング（BoxPre+）をリターン面で5%〜14%上回り、境界での勾配切り捨てよりも滑らかな勾配伝播が優れていることを確認した。

高忠実度シミュレーション（IsaacLab）

• ロバスト性：Unitree H1（粗い地形）およびG1（平坦な地形）の公式関節仕様を使用して、DD-SRadは最適な歩行を達成した。
  • H1（粗い地形）：DD-SRadは37.14のリターンと48.7%の転倒率を達成し、BoxPre+（23.11のリターン、70.2%の転倒）およびSRad-Strict（0.83のリターン、100%の転倒）を大幅に上回った。
  • G1（平坦な地形）：DD-SRadは5473のリターンと0.3%の転倒率、および最低の速度追跡誤差（0.138 m/s）を達成した。
• 適応的割り当て：レーダーチャートと散布図は、DD-SRadがタスク適応的な速度予算の割り当てを可能にすることを確認した（例：平坦な地形では推進のために股関節を利用しつつ、足関節の動きを最小化する）。これは、クリッピング手法の均一な活性化や球面手法の幾何学的圧縮によって阻害されていた能力である。

5. 意義と主張

本論文は、ハードウェアデータシートから安全な展開への体系的な道筋を提供すると主張している。公式の関節速度仕様から直接行動空間をパラメータ化することにより、DD-SRadはRLエージェントが報酬設計や事後の安全フィルタなしに物理的制限を尊重する最適方策を学習することを可能にする。

著者は、DD-SRadが、速度制約の$\ell_\infty$性質と標準的な球面パラメータ化の$\ell_2$性質との間の根本的な幾何学的ミスマッチを解決することを強調している。これにより以下が可能となる：

1. 安全な展開：アクチュエータ制限に対する硬い保証は、コマンドの静かな破棄やハードウェア損傷を防ぐ。
2. 効率的な学習：可行集合の完全な幾何学を保持することで、エージェントは物理的に可能な行動の全範囲を探索でき、収束の高速化と高性能化につながる。
3. スケーラビリティ：この手法は、QPソルバの計算負担なしに、高次元のヒューマノイドロボット（17以上の関節）に拡張可能である。

本研究は、既存の手法が安全性、幾何学的カバレッジ、または学習効率のいずれかを犠牲にしているのに対し、DD-SRadはこれら3つを同時に達成し、実世界のロボット制御における有用性を検証していると結論づけている。