技術概要：BRICKCRAFT

問題定義

相互に連結するブロックの自律的ロボット組立は、長期的な操作における重大な課題を表しており、高レベルのタスク推論、空間的グラウンディング、および微細な接触を伴う操作のシームレスな統合を必要とする。既存の単一のエンドツーエンド制御パラダイムは、長期依存関係や、複雑な構造的制約をモデル化するために必要な広範なデータ要件に苦慮している。さらに、高レベルのセマンティックプランと低レベルの視覚運動実行の間のギャップを埋めることは、ブロック組立においては特に困難である。これは、2 つの交絡因子によるものである：(1) 周期的な幾何学的単位と反復的な特徴によって引き起こされる視覚的曖昧さ、および (2) 複数の局所的に有効だが離散的な組立姿勢が相互連結インターフェースに対して存在する空間的多様性。現在の解決策は、しばしば明示的な運動学状態（知覚ノイズに脆弱）または暗黙の目標画像（物理的なグラウンディングが困難）に依存しており、狭い隙間での組立シナリオにおけるロボットへの堅牢なガイダンスを提供できていない。

手法

本論文は、デジタルブロック設計を物理的製品に変換するために、3 つの明確なフェーズを通じて設計された構成フレームワークBRICKCRAFTを提示する。

1. スキル指向の組立推論

BRICKCRAFT は、組立による分解戦略を用いて、長期的な組立タスクを実行可能なサブゴールのシーケンスに分解する。

• 相対的定式化: 絶対姿勢の代わりに、各組立ステップは、既存の部分的な構造内で参照ブロック（$b_{ref}$）にターゲットブロック（$b_{tgt}$）を接続するタプル $(b_{ref}, b_{tgt}, \tau)$ として定義される。
• 幾何学的タスク符号化: 相対的な空間関係は、スタッド単位の離散的な空間オフセットと相対的な平面方位を表す 4 次元ベクトル $\tau = [\tau_x, \tau_y, \tau_z, \tau_\theta]$ によってパラメータ化される。この定式化は、多様な組立タスクを再利用可能なプリミティブスキルの有限集合に抽象化する。
• 探索アルゴリズム: 深さ優先探索（DFS）は、ゴール状態から実行可能な分解経路を探索し、候補となる移動を 4 つの基準、すなわち接続性（$C_{con}$）、観測可能性（$C_{obs}$）、操作可能性（$C_{op}$）、および安定性（$C_{stab}$）に対して検証する。

2. 組立意図のグラウンディング（状況的マニュアル）

記号的プランと物理的実行の間のギャップを埋めるために、フレームワークは状況的マニュアルを導入する。この戦略は、抽象的な組立意図をリアルタイムのロボット観測に投影し、明示的な空間的ガイダンスを提供する。

• 視覚参照の生成: シミュレーションエンジン（Blender）は、組立の期待される状態をレンダリングし、グローバル構造および特定の参照ブロックのためのフォトリアリスティックな画像とセマンティックマスクを生成する。
• 物理的エンティティのセグメンテーション: 微調整された YOLOv8-seg モデルが物理作業空間をセグメント化し、組立てられた構造、グリッパー、およびターゲットブロックを識別する。
• マスクの整合と追跡: アフィン変換が、シミュレートされた参照マスクを物理的観測に整合させる。追跡モジュール（SAM 2）がこれらのマスクの時間的一貫性を維持する。
• 視覚的拡張: システムは、追跡された参照マスクを生のカメラ映像に重ね合わせることで「状況的マニュアル」を作成する。アクティブなマスク以外の領域は、グラデーション遷移を伴って暗くされる（輝度が 25% に減衰され）、タスクに関連するエンティティを強調し、視覚的ノイズを抑制するスポットライト効果を生み出す。

3. 構成視覚運動実行

実行パイプラインは、状況的マニュアルのガイダンスの下で学習された視覚運動スキルを連鎖させる。

• ポリシーアーキテクチャ: 組立スキルは、二重ビュー視覚観測（状況的マニュアルで拡張されたもの）、固有受容状態、およびタスク符号化 $\tau$ に条件付けられた拡散ポリシーとして定式化される。
• 入力モダリティ: 観測には、作業空間および手首カメラのビュー、エンドエフェクタの姿勢、グリッパーの状態、および接触認識を強化するために関節トルクから推定された 3 次元外部力が含まれる。
• スキルの連鎖: 長期的なタスクは、ピックおよび組立スキルのシーケンスとして実行される：$\{S^{(1)}_{pick} \rightarrow S^{(1)}_{asm} \rightarrow \dots \rightarrow S^{(N)}_{asm}\}$。
• 検証: 事前および事後条件は、ターゲットの可視性、運動学的実現可能性、および物理的状態と記号的プランとの幾何学的整合性を検証し、誤差の蓄積を防ぐ。

主要な貢献

1. BRICKCRAFT フレームワーク: タスク推論と実行を分離する、長期的な相互連結ブロック組立のための構成フレームワーク。
2. 相対的タスク定式化: 相対的な幾何学的符号化を介してステップを参照ブロックに固定することにより、多様な組立タスクをプリミティブスキルの有限集合にマッピングする新規アプローチ。
3. 状況的マニュアル: タスクに関連するエンティティをセグメント化し、強調することで、記号的意図をリアルタイムの観測にグラウンディングする戦略であり、視覚的曖昧さを効果的に解決し、明示的な空間的ガイダンスを提供する。
4. 経験的検証: 未見の構造に対する強力な構成一般化を実証する包括的な実世界実験。

実験結果

このフレームワークは、LEGO Duplo ブロックを使用して Robotiq グリッパーを備えた Kinova Gen3 アーム上で評価された。

• データセット: 60 以上の構成にわたる 692 のデモンストレーション軌道であり、状況的マニュアルパイプラインで拡張された。
• 単一ステップのパフォーマンス: BRICKCRAFT は、48 の異なる構造（24 の既知、24 の未知）における 240 回の試行で86.25% の成功率を達成した。
  • これは、ゴール画像条件付き拡散ポリシー（GI-DP）およびゴール画像条件付き $\pi_0.5$（GI-$\pi_0.5$）というベースラインを大幅に上回った。
  • GI-DP は未知の構造において 12.5–15.0% のパフォーマンス低下を被ったのに対し、GI-$\pi_0.5$ は 50% 未満の成功率でボトルネックのままだった。
  • EigenCAM 可視化は、状況的マニュアルが視覚的注意を幾何学的関係に集中させることを確認したが、ベースラインはノイズに脆弱な分散した活性化を示した。
• 長期的パフォーマンス: システムは、トレーニング中に全く未見であった「城」を含む、4 つの異なる構造（ピラミッド、階段、家、城）の組立タスクを正常に完了した。
  • 完全に支持された構造（ピラミッド、階段）では完了率が高かったが、支持されていない中間領域を持つ構造（家、城）では、誤差の蓄積と構造的変形により、わずかな低下が見られた。
• アブレーション研究: 状況的マニュアルのための背景減衰戦略は、バウンディングボックスの代替案を 10–12.5% 上回った。これは、滑らかな遷移が人工的なエッジよりも幾何学的輪郭をよりよく保持することを示唆している。

意義と主張

本論文は、BRICKCRAFT が複雑な組立タスクにおける物理的実行への高レベルのセマンティック推論のグラウンディングという重要なボトルネックに対処していると主張している。状況的マニュアルを導入することにより、このフレームワークは反復的な幾何学的構造に内在する視覚的曖昧さを効果的に解決し、ロボットが限られたデモンストレーションから学習し、新規かつ未見の構成に一般化することを可能にする。

著者は、個々のスキルが有能である一方で、構成実行パイプラインが長期的な信頼性にとって不可欠であると強調している。このフレームワークは、複雑なタスクを相対的かつ再利用可能なプリミティブに分解し、明示的な空間的ガイダンスと組み合わせることが、複雑な実世界環境で動作する知的具現化システムへの実現可能な道筋を提供することを示している。この研究は、記号的推論と空間的にグラウンディングされた原子スキルを橋渡しすることが、より広範な操作シナリオにおける堅牢なエージェントの展開に向けた有望な方向性であることを示唆しているが、現在のシステムは相互連結ブロック組立に限定されており、失敗回復のための反応的な自己修正能力を欠いている。