技術要約：建設現場におけるヒューマノイドロボットのタスク実行のための知覚・行動システム

問題提起

建設現場は複雑で危険性が高く、労働集約的な環境であり、安全リスクや労働力不足に対処するために自動化がますます必要とされています。特殊なロボット（例：レンガ積み職人、脚式検査ロボット）は導入されていますが、これらは多くの場合、単一のタスクに特化しており、人間が設計した空間で人間の作業員と自然に協力するための汎用性に欠けています。ヒューマノイドロボットは、既存のツールやワークフローに適合する人間のような形態を持ち、高い自由度（DoF）によってマルチタスクへの適応が可能であるため、有望な解決策となります。

しかし、建設現場へのヒューマノイドロボットの配備には、主に2つの技術的ギャップが存在します。

1. 形態的ミスマッチ（Morphological Mismatch）: 既存の人間姿勢推定手法は人間中心のデータを出力するため、肢の比率、関節構造、および駆動制約の違いにより、ヒューマノイドロボットに直接適用することができません。
2. 物理的実現可能性（Physical Feasibility）: ヒューマンの動きをヒューマノイドのスケルトンにリターゲティングできたとしても、接触が多い建設環境において、バランス、接触安定性、および動的な実現可能性を維持しながら、それらの運動学的参照を物理的に実行可能な全身動作へと変換することは、依然として大きな課題です。

手法

著者らは、作業員のデモンストレーションからヒューマノイドロボットが建設タスクを直接学習できるように設計された、視覚ベースの知覚・行動（Vision-based Perception-and-Action: VPA）システムを提案しています。このシステムは、Humanoid-PoseNetとHumanoid-ActionNetという2つのディープラーニングモジュールで構成されています。

1. Humanoid-PoseNet: 知覚とリターゲティング

このモジュールは、視覚的な作業員のデモンストレーションと、ロボットが実行可能なポーズとの間の溝を埋める役割を果たします。これは以下の2つのサブネットワークで構成されます。

• 3D人間姿勢推定: オフザシェルフのモデル（具体的には最適であると判断されたPoseNet）を利用して、2D RGBビデオフレームから3D人間のキーポイントを再構成します。
• 人間からヒューマノイドへのリターゲティング: 共有潜在空間アーキテクチャ（2つのエンコーダと1つのデコーダ）を持つディープネットワークを用いて、推定された人間のポーズをヒューマノイド互換の構成にマッピングします。
  • アーキテクチャ: 共有潜在空間を用いた多層パーセプトロン（MLP）を使用します。
  • 学習目的: 幾何学的な整合性と物理的な実現可能性を確保するために、3つの損失関数を組み合わせたネットワークを訓練します。
    • Triplet Loss ($L_1$): 骨格方向角誤差（Bone-Direction Angular Error: BAE）を用いて、潜在空間内で類似した人間とヒューマノイドのポーズペアをグループ化します。
    • Reconstruction Loss ($L_2$): デコーダがロボットのエンコードされた入力からロボットのポーズを正確に再構成できるようにします。
    • Latent-Consistency Loss ($L_3$): 人間のポーズをデコードしてロボットのポーズにしたものが、再エンコードされた際にも一貫性を保つように強制し、クロスドメインの分布アライメントを促進します。

2. Humanoid-ActionNet: 全身制御

このモジュールは、動的な安定性を維持しながら、リターゲティングされたポーズを実行するための制御ポリシーを学習します。**教師・生徒型強化学習（Teacher-Student Reinforcement Learning: RL）**フレームワークを採用しています。

• 教師ポリシー ($\pi_{teacher}$): シミュレーション（IsaacGym）内で、**近接方策最適化（PPO）**を用いて訓練されます。このポリシーは、「特権的（privileged）」な観測情報（例：正確な関節の差、ルート速度）にアクセスでき、物理的制約を課しながらタスク報酬を最大化します。
• 生徒ポリシー ($\pi_{student}$): 特権的な観測なしで動作するために、教師から蒸留されます。これは、自己受容感覚の状態（関節の位置/速度）と過去の状態の短い履歴のみに依存し、堅牢なsim-to-real転移を容易にします。
• 報酬設計: 報酬関数は「物理学を考慮（physics-aware）」しており、以下の項目を含みます。
  • DoFおよびキーポイント位置の追従。
  • ルートの線形速度および方向。
  • 体の回転および上半身のコヒーレンス（一貫性）。
  • 足の接触の一貫性（スリップペナルティ）およびエアタイム（滞空時間）の成形。
• デプロイメント: 生徒ポリシーは目標関節角を出力し、それは比例微分（PD）コントローラを介して物理的なロボット上で実行されます。

実験設定

• データ収集: 5名の被験者が、モーションキャプチャ環境において30種類の建設関連アクション（例：パイプの運搬、ブロックの持ち上げ、合図、階段の上昇）を行いました。
• ロボットプラットフォーム: シミュレーションおよび物理的なデプロイメントの両方に、Unitree G1ヒューマノイドロボット（23個の駆動DoF）を使用しました。
• 評価プロトコル:
  1. リターゲティング精度: ホールドアウトされたテストセットにおける平均関節位置誤差（MPJPE）を用いて測定。
  2. Sim-to-Sim転移: ダイナミクスモデリングの差異に対する堅牢性をテストするため、2つの物理エンジン（IsaacGymおよびMuJoCo）にわたって評価。
  3. Sim-to-Real転移: 物理的なUnitree G1にデプロイし、選択された8つの建設アクションを実行。

主な結果

• ポーズのリターゲティング: Humanoid-PoseNetは、14関節のヒューマノイド表現において平均48.46 mmのMPJPEを達成し、多様な人間の姿勢を実行可能なロボット構成へと正常に変換しました。
• タスク実行: Humanoid-ActionNetは、シミュレーションおよび物理的なロボットの両方において、8つの建設関連アクション（例：手押し車の押送、パイプの運搬、合図）を正常に実行しました。
• 追従性能: システムは、テストされた8つのアクション全体で平均82.45 mmのMPJPEのモーション追従誤差を達成しました。
• 比較性能: 最先端の全身制御ベースライン（ExBody, OmniH2O, ExBody2）との比較研究において、提案されたHumanoid-ActionNetはより低い平均MPJPEを示し、建設特有の動作に対する優れた追従精度を実証しました。
• 失敗分析: 本研究では、Sim-to-Sim転移時における失敗事例（例：バランスの喪失、追従の崩壊）を認め、それらは接触の多いダイナミクスのモデリングの難しさや、シミュレーションとハードウェアの間のギャップに起因すると結論付けています。

意義と主張

著者らは、本研究を建設現場におけるヒューマノイド協力者の配備に向けた初期段階として位置付けています。論文は以下の貢献を主張しています。

1. 新規パイプライン: ヒューマノイドロボットが人間のデモンストレーションから建設タスクを直接学習し実行することを可能にする初めての手法であり、建設ドメイン特有の課題に対処しています。
2. ギャップの架け橋: VPAシステムは、人間とロボットの形態的なギャップ、および運動学的な模倣と物理的に安定した実行の間の動的なギャップを効果的に埋めています。
3. 実用的な適用可能性: 材料の取り扱いや合図などのタスクにおいて、物理的なロボットへのSim-to-Real転移を実証することで、本研究は土木工学におけるロボティクス実装の基礎的な一歩を提供しています。
4. 適応性: システムは異なるヒューマノイド構成（Unitree G1およびH1のキネマティクス両方でテスト）に適応可能であることが示されており、他のヒューマノイドプラットフォームへの拡張の可能性を示唆しています。

著者らは現在の限界についても謙虚に述べており、現在のシステムはツールや材料との相互作用を明示的にモデル化することなく、姿勢ベースの模倣に焦点を当てていること、また、高度に動的で接触の多い環境における堅牢性には、報酬関数やシミュレーションのリアリズムのさらなる洗練が必要であることを指摘しています。