技術要約: Transformer Transformer

問題提起

ロボットの操作性能は、そのエンボディメント（物理的構造、運動学、および動力学）に決定的に依存します。しかし、標準的な操作ポリシーは特定のエンボディメントに対して学習されることが多く、異なるロボットの形態へと効果的に転移することができません。さらに、既存のロボット共同設計（co-design）手法は、エンボディメントの生成と制御を切り離された問題として扱ったり、計算コストが高く低速な進化計算アルゴリズムに依存したりすることがよくあります。本論文は、モーション条件付きロボット共同設計、すなわち、ユーザー定義の報酬関数（例：サイズの最小化、追従精度の最大化、または関節速度の低減）を最適化しつつ、ターゲットとなるエンドエフェクタの軌跡（人間のデモンストレーションから派生したもの）を正確に追従できる完全なロボット設計を自動生成するという課題に取り組んでいます。

手法

1. 統一表現: RoboTokens

提案手法の核心となるのは、剛体連結ロボットのための統一トークン化スキームであるRoboTokenです。最適化が困難で一貫性に欠けるテキストベースの形式（例：MJCF）とは異なり、RoboTokensはロボットの記述を連続値ベクトルに変換します。

• 完全性: 時間不変のエンボディメント属性（リンク、ジョイント、モータ、形状、慣性）と、時間変化するダイナミクス（状態およびアクション）をエンコードします。
• 柔軟性: IDベースのポインタを使用することで、可変長のシーケンスや任意の接続性（例：受動ジョイント）をサポートします。
• 一貫性: 冗長な空間オフセットを排除するために厳格な変換規則を適用し、モデルが幾何学的なノイズではなく意味のあるダイナミクスを学習できるようにします。
• 拡張性: コアとなるトークナイザーを再学習させることなく、ターゲットとなるエンドエフェクタのポーズなどの条件付けトークンを含めるように拡張可能です。

2. 統一アーキテクチャ: Transformer Transformer

著者らは、RoboTokens上で学習された拡散Transformer（Diffusion Transformer: DiT）であるTransformer Transformerを提案しています。この単一のアーキテクチャは、共同設計パイプラインにおいて以下の3つの異なる役割を果たします。

• ジェネレータ（生成器）: ターゲットとなる動作を条件として、ロボットのエンボディメントを生成します。
• クリティック（評価器）: 生成されたエンボディメントとダイナミクスに基づいて報酬を予測します。
• コントローラー（制御器）: 未知のロボット設計に対するアクションを予測する、クロスエンボディメント全体系コントローラとして機能します。

モデルは、RoboTokensに対するマスク付きモデリングスキームを用いて学習されます。これにより、ロボットのエンボディメントとその対応する状態およびアクションの結合分布を学習します。非自己回帰的な拡散定式化を使用することで、自己回帰モデルに固有のエラー蓄積を回避し、並列的に長期的なダイナミクスを推論することができます。

3. ダイナミクス自己ガイダンスによる最適化

推論時に追加のネットワークを学習させることなく未知の報酬関数に対して最適化するために、本論文では**ダイナミクス自己ガイダンス（Dynamics Self-Guidance）**を導入しています。

• 別のダイナミクスモデルや微分可能なシミュレータを学習させる代わりに、拡散プロセス中のノイズを含むエンボディメント・トークンに対して、微分可能な報酬関数からの勾配を直接バックプロパゲーションします。
• これにより、拡散の軌跡を高価値な設計へと「誘導」します。
• この手法は、ゼロ次最適化器（並列サンプリングとランキング）およびCMA-ESのような進化計算ベースラインと比較されます。

主な貢献

1. 統一表現 (RoboTokens): キネマティクス、ジオメトリ、およびダイナミクスを一貫した学習可能な形式で表現することにより、単一のモデルが多様なロボットエンボディメント空間（固定ベース、四足歩行、バイマニュアル・モバイル）を横断することを可能にするトークン化スキーム。
2. 統一アーキテクチャ: ジェネレータ、クリティック、およびコントローラとして同時に機能する単一の拡散Transformerであり、共同設計パイプラインをGPU並列化可能なプロセスへと集約。
3. ダイナミクス自己ガイダンス: 報酬関数からの勾配を用いて拡散プロセスを高報酬設計へと導く手法であり、補助モデルなしでの未知の報酬に対するゼロショット最適化を実現。
4. クロスエンボディメント制御: 生成のために学習された同一のモデルをコントローラとして使用して設計を検証でき、未知のエンボディメントへの汎化能力を実証。

結果

シミュレーション実験

モデルは、固定ベース (ViperX)、四足歩行マニピュレータ、およびバイマニュアル・モバイルロボットの3つの設計空間で評価されました。

• ゼロショット最適化: モデルは、未知の報酬関数（追従誤差、サイズ、重量、トルク、速度）および未知の軌跡に対して、正常に最適化を行いました。
• 効率性: Transformer Transformerは、速度と性能の両面でCMA-ESを大幅に上回りました。CMA-ESの逐次的な評価に対し、同等またはそれ以上の報酬を達成しながら、数桁少ない時間（例：CMA-ESの逐次評価に対し、128個の候補を並列で最適化）で完了しました。
• テスト時スケーリング: 並列サンプル数（テスト時計算量）を増やすことで、大規模言語モデルで見られる現象と同様に、設計の質が向上しました。
• マルチ軌跡最適化: 拡散組成（diffusion composition）を用いることで、単一のロボット設計を複数の未知の軌跡に対して同時に最適化することができました。これは、CMA-ESが線形にスケールし、軌跡数が増えると性能が悪化する領域です。
• 多様性: モデルは、異なる報酬ランドスケープ（例：投擲のために、より大きく安定したロボット、あるいはサイズにペナルティがある場合のより小さなロボット）に適した、多様な設計（例：異なるアームの長さ、取り付け位置）を生成しました。

実世界での検証

著者らは、動的な布の展開（フリッピング）タスクのために、最適化されたALOHAロボット設計を製作しました。

• オリジナルの設計と比較して、最適化された設計は追従位置誤差を73%減少させ（13.0 cmから3.5 cmへ）、最大関節速度を30%低減させました。
• 最適化された設計は、特定のリンク長と逆転した取り付け構成を備えており、これにより、より効率的な脇の下の振動作を可能にし、モデルが未モデル化のダイナミクスや実世界の摂動を扱えることを実証しました。

重要性と主張

本論文は、モーション条件付きのロボット共同設計のための「ワンストップ・ショップ」を提供すると主張しています。エンボディメントの生成、報酬の評価、および制御を単一の拡散モデルに統合することで、共同設計パイプラインを簡素化し、GPUの並列化を活用して迅速な最適化を実現します。

著者らは、本手法がロボットのハードウェアを静的な制約として扱う段階を超えたものであることを強調しています。むしろ、ロボットの形態が、特定の操作タスクや報酬基準に合わせて動的に共同設計され得ることを示しています。最適化されたALOHA設計の実世界での製作は、モデリング誤差に対するモデルの堅牢性と、その実用的な有用性を強力に裏付けるものです。

本論文は限界についても認めており、現在のRoboToken表現はプリミティブベースのジオメトリに限定されており、複雑なシーンとの相互作用や触覚情報まではまだカバーしていないとしています。しかし、このフレームワークは、ロボットのエンボディメントを第一級のトークンとして扱うファウンデーションモデルへの重要な一歩であると位置づけています。