Manual2Skill++: 視覚言語モデルを用いたマニュアルからの接続認識型汎用ロボット組立

本論文「Manual2Skill++」は、ロボット組立タスクにおいて、部品間の「接続（Connector）」を明示的な主要な要素として扱い、指示書（マニュアル）から構造化された接続情報を自動的に抽出・実行する新しいフレームワークを提案するものです。従来のアプローチが幾何学的な整合性や動作計画に焦点を当て、接続関係を二次的なものとみなしてきたのに対し、本手法は接続の種類、仕様、位置を明示的にエンコードすることで、実世界での複雑な組立タスクの成功率を飛躍的に向上させます。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 問題定義と背景

ロボットによる組立タスク（家具の組み立て、玩具の製作、工業部品など）において、成功の鍵は個々の部品の位置合わせだけでなく、それらを物理的に結合する「接続（ネジ、ダボ、継手など）」の正確な理解と実行にあります。

• 既存手法の課題: 従来の研究は、形状の整合性や動作計画に注力しており、接続関係（どの部品を、どの種類の接続具で、どこに結合するか）を事前に定義済みまたは二次的な問題として扱ってきました。
• 現実的なギャップ: 実際の組立では、接続具の種類（モルティス・テンジョイント、ダボ、ネジなど）や配置、数量がタスクの成否を決定します。指示書にはこれらの詳細が図解や記号で記載されていますが、これをロボットが構造化された知識として抽出し、実行に移す技術は未熟でした。
• 本論文の目標: 指示書から接続情報を抽出し、それを基に部品間の相対姿勢を高精度に計算・実行する、接続認識型の汎用組立フレームワークの構築。

2. 提案手法：Manual2Skill++

本フレームワークは、視覚言語モデル（VLM）を活用してマニュアルを解析し、階層的なグラフ表現を生成するパイプラインで構成されています。

A. 接続に富んだ階層的グラフ表現

組立タスクを以下の構造を持つグラフ $G = \{V, E_{comp}, E_{eqv}, E_{conn}\}$ として表現します。

• ノード ($V$): 原子部品（リーフノード）、中間的なサブアセンブリ、最終製品（ルートノード）。
• エッジ:
  • 構成エッジ ($E_{comp}$): 親と子の関係（サブアセンブリの構成）。
  • 等価エッジ ($E_{eqv}$): 同一の部品（例：テーブルの脚 4 本）を結ぶ。
  • 接続エッジ ($E_{conn}$): 本手法の核心。 物理的に結合される部品間の関係を、接続具の種類、数量、および取り付け点（Attachment Points）の幾何学的特徴（位置と法線ベクトル）として明示的にエンコードします。

B. VLM による階層的グラフ生成

指示書（マニュアル）の画像と 3D モデルのレンダリング画像を入力として、VLM が接続情報を抽出します。

1. 入力: マニュアルのステップ画像、関連する部品と接続具の 3D モデルから生成された 2D 画像、ドメイン知識（接続具のタイプなど）。
2. 2 段階プロンプト戦略:
   • Stage 1: マニュアルから、どの部品に、何個の、どのような接続具が必要かを推論し、候補範囲を絞り込みます。
   • Stage 2: 絞り込まれた範囲内で、各接続具がどの取り付け点のペアに該当するかを特定し、正確なペアリングを予測します。
3. 出力: 抽出された接続情報が、前述の階層的グラフの「接続エッジ」として構築されます。

C. 接続マッチングによる姿勢アライメント

従来の姿勢推定とは異なり、抽出された「取り付け点の対応関係」に基づき、幾何学的制約最適化によって部品間の相対姿勢を直接計算します。

• 最適化問題: 2 つの部品間の取り付け点の位置が一致し、かつ法線ベクトルが反対方向になるように回転行列 $R$ と並進ベクトル $t$ を求める。
• 効果: この制約ベースのアプローチにより、ミリメートルレベルの高精度な姿勢合わせが可能となり、ロボットの実行に必要な精度を確保します。

D. 実行ベンチマーク (Isaac Lab)

現実的な接続メカニズム（モルティス・テン、ダボ、ネジ）をシミュレートした環境で、4 つの複雑なタスク（椅子、靴棚、飛行機模型、LEGO 人形）の評価を行いました。ネジ締めなどは、回転と並進を段階的に制御する D6 ジョイント機構でシミュレートし、現実の摩擦や干渉を考慮しています。

3. 主要な貢献

1. 接続関係を明示的にモデル化するグラフ表現: 組立タスクの複雑さを捉えつつ、接続制約を通じて部品の姿勢を直接計算可能な新しい表現を提案。
2. Manual2Skill++ フレームワークとデータセット: 指示書から構造化された接続表現を自動抽出する VLM ベースの手法と、20 以上の多様なタスク（家具、玩具、工業部品）を含む大規模データセットの構築。
3. 現実的なシミュレーションベンチマーク: 多様な接続タイプと長期的なタスク（Long-horizon）を扱える、現実の組立プロセスを忠実に再現した評価環境の提供。

4. 実験結果

A. グラフ生成の精度

• 比較: 幾何学的マッチング（OpenCV ベース）やランダムサンプリング、非推論型 VLM（GPT-4o）と比較。
• 結果: 提案手法（推論型 VLM を使用）は、接続ペアの予測において、ランダムサンプリングに対して F1 スコアで 51% 以上、成功率で 47% 以上の改善を示しました。幾何学的マッチングはほぼゼロの成功率であり、抽象的なマニュアルからの推論の難しさを浮き彫りにしました。
• ロバスト性: マニュアルの一部が欠落している場合でも、文脈から接続情報を推論でき、高い性能を維持しました。

B. 姿勢アライメントの精度

• 比較: SingleImage や既存の Manual2Skill と比較。
• 結果: 既存手法はセンチメートルレベルの誤差を残すのに対し、提案手法は**ミリメートルレベル（RMSE 0.0013）**の精度を達成しました。これにより、精密な接続操作が可能になりました。

C. 接続実行（ロボットアーム）

• 評価: 4 つのタスクにおいて、ランダム探索、グリッド探索、力・位置ハイブリッド戦略を比較。
• 結果: 提案手法の姿勢アライメントと組み合わせた場合、Force-Position Hybrid 戦略で最も高い成功率（73.7% 〜 81.6%）を達成しました。特に、ミリメートルレベルの姿勢精度が、狭い公差を持つ接続（ダボやネジ）の成功に不可欠であることを実証しました。

5. 意義と結論

Manual2Skill++ は、ロボット組立において「接続」を単なる幾何学的な接触ではなく、タスクの構造そのものを定義する主要な要素として再定義しました。

• 技術的意義: 指示書という人間の知識源から、構造化された接続知識を抽出し、それを物理的な実行精度に変換するパイプラインを確立しました。
• 実用性: 家具の組み立てから工業製造まで、多様な接続タイプに対応可能な汎用性を示しました。
• 将来展望: この研究は、マルチモーダルなタスク理解と、接続を認識した操作（Connector-aware manipulation）の発展の基盤となり、真に汎用的な組立システムの実現への道を開きます。

本論文は、arXiv:2510.16344v2 として公開されており、詳細なコードやデータセットはプロジェクトページで公開されています。