技術的概要：Articraft - スケーラブルな可動 3D アセット生成のためのエージェントシステム

問題定義

可動 3D 物体（例：キャビネット、工具、車両）の理解とシミュレーションを学習する上での主要なボトルネックは、大規模で多様かつ高品質なデータセットの不足である。PartNet-Mobility や AKB-48 などの既存データセットは、カテゴリのカバレッジが限られており、しばしば手動によるキュレーションや実世界のスキャンに依存し、品質のばらつきが生じている。その結果、学習ベースの手法は利用可能なデータに過剰適合しやすく、新しい物体カテゴリへの汎化に失敗する傾向がある。合成生成は解決策となり得るが、可動アセットの作成は複雑であり、幾何学形状だけでなく、部品階層、ジョイント、可動範囲のモデリングも必要となる。従来のアプローチは、視覚的フィードバックのために重い外部グラフィックスソフトウェア（例：Blender）に依存するか、限られたライブラリから部品を取得する傾向があり、多様性とスケーラビリティを制限している。

手法

著者らは、物体を構築するプログラムを記述する問題として扱うことで、スケーラブルに可動 3D アセットを生成するエージェントシステム「Articraft」を提案する。このシステムは、再学習なしで市販の大規模言語モデル（LLM）を活用し、以下の 2 つの中核コンポーネントによって導かれる。

1. Articraft SDK（ソフトウェア開発キット）

SDK は、可動物体を定義するためのドメイン固有かつ LLM 親和性の高い Python インターフェースを提供する。

• プログラムインターフェース: LLM は、ArticulatedObject を構築する単一の Python ファイル（model.py）を記述する。
• 幾何学形状と部品: SDK は、部品幾何学を定義するための低レベルプリミティブ（例：円柱、箱）と高レベル抽象化（例：蝶番、車輪、グリル）の両方を提供する。複雑な形状については、CadQuery を通じた CAD 風ツールもサポートしている。
• 可動性の定義: SDK は、明確な原点、軸、可動制限を備えたジョイント（回転、直動、連続、固定）の仕様を可能にし、出力が構造化された運動学的表現（URDF）であることを保証する。
• 自己検証: SDK には run_tests() エントリーポイントが含まれており、エージェントは接触、隙間、包含関係などを確認するオブジェクト固有のテストを記述することで、デフォルトのチェックを超えた構造的完全性を検証できる。

2. Articraft ハーネス

ハーネスは、LLM をワンショット生成器ではなく反復型エージェントに変える制限付き実行環境として機能する。

• 制限付きワークスペース: エージェントは、1 つの書き込み可能ファイル（model.py）のみを持ち、SDK ドキュメントとキュレーションされた例への読み取り専用アクセス権限を持つサンドボックス内で動作する。任意のシェルコマンドの実行や複雑なファイルシステムの管理はできない。
• 制限されたアクション空間: エージェントは、read_file、edit_code（パッチ適用）、find_examples、compile_model、probe_model という少数のツールセットを使用する。
• 反復的改善ループ: プロセスは、推論 - 行動 - 観察のパターンに従う。
  1. LLM が model.py を編集する。
  2. ハーネスがコードを実行し、アセットをエクスポートして検証を実行する。
  3. ハーネスは、ランタイムエラー、幾何学的な重なり、切断された部品、または失敗したテストに関する構造化されたフィードバック（失敗、警告、注記）を返す。
  4. LLM はこのフィードバックを用いてコードを修正する。
• 画像条件付き生成: 参照画像が提供される場合、それは編集 - 実行 - 修復ループ全体を通じて、幾何学形状と比率の主要な正解データとして機能する。システムはその後、画像に一致するように PBR マテリアルを微調整できる。

主要な貢献

1. Articraft システム: 専門的な SDK に対してコードを記述することで可動 3D アセットを生成する新規エージェントフレームワークであり、重たい視覚的フィードバックループや外部グラフィックスソフトウェアの必要性を回避する。
2. Articraft-10K データセット: 245 の物体カテゴリにわたる 10,000 以上の可動 3D アセットからなるキュレーションされたデータセット。各アセットには URDF ファイル、ソース model.py プログラム、および完全なエージェント推論トレースが含まれる。
3. スケーラブルで軽量な設計: 画像ベースのレンダリングや検査ではなく、コード実行と構造化されたフィードバックに依存することで、システムはアセットあたりの推論コストを低く抑え、CPU ワーカー上での大規模生成を可能にする。
4. 性能検証: システムは、ドメイン固有のプログラミングインターフェースが、汎用コーディングエージェントや従来の可動アセット生成器を大幅に上回ることを実証した。

結果

• データセットの品質: 約 10,909 回の生成試行から、10,018 アセット（91.8%）が手動キュレーション基準（リアリズム、期待される可動性、物理的制約）をクリアした。
• ユーザー調査: 最先端の手法（Articulate-Anything、PhysX-Anything、URDF-Anything+、Codex）との比較において、Articraft（GPT-5.5 搭載）は最も高いユーザー選好を獲得し、比較の 37% で 1 位となった。特筆すべきは、Articraft ハーネスなしで同じ LLM（GPT-5.5）を使用した場合、順位は著しく低下し（2 番目に最後）、専門的なインターフェースの重要性が浮き彫りになったことである。
• 下流での有用性:
  • モデルトレーニング: 前方推論 3D 可動性推定モデルである Particulate のトレーニングデータを Articraft-10K で拡張した結果、特に元のトレーニング分布外のカテゴリにおいて、大幅な性能向上が見られた。
  • シミュレーションと VR: 生成されたアセットは、ロボット操作（例：引き出しの開閉）のために NVIDIA Isaac Sim で、また自然なユーザーインタラクションのために VR 環境で正常に展開され、シミュレーション対応性が確認された。
• コスト効率: 保持されたアセットあたりの平均 API コストは約 1.13 ドルであり、物体あたりの平均ターン数は 15〜17 回であった。これは、大規模なデータセット作成の経済的実現可能性を示している。

意義

本論文は、スケーラブルな可動アセット生成の鍵は、視覚中心のパイプラインからプログラム的、コードに基づくループへの移行にあると主張する。エージェントをタスク固有の SDK と最小限の実行ハーネスに制限することで、Articraft は LLM のコーディング能力と世界知識を効果的に活用し、高品質で構造化された 3D アセットを生成する。このアプローチは、可動物体に対するデータ不足の問題を解決するだけでなく、下流の 3D 知覚モデルの汎化を改善するトレーニングデータを生成する道筋を提供する。Articraft-10K、ソースコード、およびエージェントトレースの公開は、ロボット工学、バーチャルリアリティ、および具現化 AI におけるさらなる研究を促進することを目的としている。