cadrille: Multi-modal CAD Reconstruction with Reinforcement Learning

本論文は、視覚言語モデルを活用して点群、画像、テキストの3 種類の入力を同時に処理し、教師あり微調整とオンライン強化学習（GRPO）を組み合わせた新たな CAD 再構成モデル「cadrille」を提案し、DeepCAD ベンチマークおよび実世界データセットにおいて既存手法を上回る最先端性能を達成したことを示しています。

要約

この論文は、**「CAD（コンピュータ支援設計）の魔法」**について書かれたものです。

簡単に言うと、**「どんな形のものでも、写真や点の集まり、あるいは『赤い丸い箱』という説明さえあれば、すぐに設計図（プログラム）を自動で作ってくれる AI」**を開発したというお話です。

この AI の名前は**「cadrille（カドリル）」**といいます。

以下に、専門用語を使わずに、身近な例え話で解説します。

---

1. 何が問題だったの？（昔の AI の悩み）

これまで、AI に「この形を設計図に直して」と頼むとき、「入力方法」がバラバラでした。

• 点の集まり（点群）： 3D スキャナーで物体をスキャンしたデータ。これしか読めない AI がありました。
• 写真： 何枚かの写真。これしか読めない AI がありました。
• 言葉： 「赤い円柱」などの文章。これしか読めない AI がありました。

まるで、**「日本語しか話せない通訳」「英語しか話せない通訳」「フランス語しか話せない通訳」が別々にいて、それぞれが得意な言語しか翻訳できないような状態でした。また、これらの AI は「設計図」を生成する際、「失敗して動かないコード」**を出してしまうことが多く、実用化には難がありました。

2. cadrille（カドリル）のすごいところ

この新しい AI「cadrille」は、**「三言語を同時に話せる万能通訳」**のようなものです。

• 写真を見せれば、
• **点の集まり（スキャンデータ）**を見せれば、
• 「青い四角い箱」という言葉を聞けば、

どれでも理解して、**「Python というプログラミング言語で書かれた、実際に動く設計図」**を出力します。

具体的な例え：

• 写真 → 料理の完成写真を見て、「レシピ（設計図）」を逆算する。
• 点の集まり → 砂漠に散らばった砂粒の形を見て、「その砂粒で作られた像の設計図」を復元する。
• 言葉 → 「丸い窓のある青い家」という注文を受けて、設計図を描く。

これらすべてを一つの AIでこなせるのが画期的です。

---

3. どうやってこんなに上手になったの？（2 ステップの学習法）

この AI は、ただ大量のデータを見せただけではここまで上手になりませんでした。2 つの段階で「修行」を積みました。

第 1 段階：「模範解答」をひたすら暗記する（教師あり学習）

まず、AI は**「機械的に作られた大量の練習問題」**を解きます。

• 例え： 料理学校で、完璧なレシピと完成品の写真が何万枚も与えられ、「この手順でやればこうなる」というパターンをひたすら覚える段階です。
• ここまでは、他の AI と同じような学習方法です。

第 2 段階：「試行錯誤」して「正解」を突き止める（強化学習）

ここがこの論文の最大の特徴です。
AI は、覚えたパターンをそのまま使うだけでなく、**「実際に作ってみて、失敗したらやり直す」**という学習を追加しました。

• 例え：
  1. AI が「これだ！」と思ってレシピ（コード）を書きます。
  2. そのレシピを実際に実行（調理）してみます。
  3. もし「焦げている」や「形が崩れている」なら、**「ダメだ、次はこうしよう」**と自分で反省します。
  4. もし「完璧な出来」なら、「よし、このやり方を覚えよう」と強化します。

この**「自分で試して、正解かどうかをプログラムが自動でチェックして教える」というプロセスを繰り返すことで、AI は「動かないコード（失敗）」を出さなくなり**、より精密で美しい設計図を作れるようになりました。

---

4. なぜこれが重要なの？

• 誰でも設計できる： 専門知識がなくても、スマホで写真を撮るだけ、あるいは「こんな感じの椅子」と言葉で伝えるだけで、プロ仕様の設計図が作れます。
• 現実世界にも強い： 実際の工場や現場では、物体は傷ついたり、汚れがついたりしています。従来の AI はそういう「汚れたデータ」に弱かったのですが、cadrille は**「現実のノイズ（汚れ）」があっても、きれいな設計図を復元する**ことができます。
• 万能性： これまで「写真用」「点群用」「言葉用」とバラバラだったツールが一つにまとまりました。

まとめ

cadrilleは、「写真・点・言葉」という 3 つの異なる入り口から、どんな 3D 物体でも「動く設計図」に変えることができる、賢くて頑丈な AIです。

まるで、**「どんな材料（入力）が来ても、完璧な料理（設計図）を作り上げる、天才シェフ」**のような存在です。これにより、エンジニアリングや製造のハードルがぐっと下がり、誰でも簡単に 3D デザインの世界に入れるようになるかもしれません。

技術概要

CA DRILLE: 強化学習を用いたマルチモーダル CAD 再構築の技術的概要

本論文「CA DRILLE: MULTIMODAL CAD RECONSTRUCTION WITH REINFORCEMENT LEARNING」は、コンピュータ支援設計（CAD）の再構築タスクにおいて、点群、画像、テキストという 3 つの異なる入力モーダルを統合的に処理し、実行可能な Python コード（CAD 再構築スクリプト）を生成する新しいモデル「cadrille」を提案するものです。既存の単一モーダル手法や、既存のマルチモーダル手法の限界を克服し、強化学習（RL）を適用することで、実世界データを含む複数のベンチマークで最高性能（State-of-the-Art）を達成しました。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 問題定義と背景

CAD 再構築は、スキャンされた物体やユーザーからの入力から、編集可能な 3D CAD モデルを生成するタスクです。

• 既存手法の限界:
  • 単一モーダル依存: 従来の手法は、点群、画像、またはテキストのいずれか一つの入力形式に特化しており、汎用性と頑健性に欠けます。
  • マルチモーダル手法の未熟さ: 近年、マルチモーダル手法（例：CAD-MLLM, CAD-GPT）が登場しましたが、単一モーダルの SOTA 手法に比べて性能が大幅に劣っていました。
  • 訓練データの課題: 手作業で作成された CAD データセット（DeepCAD など）は規模が小さく多様性に欠け、一方、手作業で作成されたデータで訓練されたモデルは実世界データへの転移が困難でした。また、既存の RL 適用手法では、SFT（教師あり微調整）と RL 微調整に同じデータセットを使用しており、訓練とテストのギャップを埋めるのに不十分でした。
• 目標: 3 つのモーダル（点群、画像、テキスト）を単一のモデルで処理し、高品質かつ実行可能な CAD コード（Python スクリプト）を生成する汎用的なシステムの構築。

2. 提案手法：CA DRILLE

cadrille は、大規模言語モデル（LLM）およびビジョン・ランゲージモデル（VLM）のトレーニングパラダイムを CAD 再構築に応用した、2 段階のトレーニングパイプラインを採用しています。

2.1 モデルアーキテクチャ

• 基盤モデル: 既存の VLM（Qwen2-VL-2B）を基盤として使用し、テキストと画像の理解、Python コード生成能力を既に備えています。
• マルチモーダル入力処理:
  • テキスト: 元の埋め込み層を通過。
  • 画像: 元の視覚エンコーダを通過。
  • 点群: CAD-Recode と同様に、3D 点を単一の投影層で埋め込み、最遠点サンプリング（FPS）を用いて表面からサンプリングした点を入力として扱います（法線ベクトルは使用しない）。
• 出力: 実行可能な Python スクリプト（CadQuery ライブラリを使用）。このスクリプトを実行すると、パラメトリックな境界表現（B-Rep）の 3D 形状が生成されます。

2.2 トレーニングパイプライン（2 段階）

1. 教師あり微調整（SFT）:

   • データ: 大規模な手続き的に生成された CAD データセット（CAD-Recode データセット、約 100 万件）を使用。
   • 目的: モデルに点群処理の能力を習得させ、マルチモーダル入力から Python コードを生成するポリシーを学習させます。
   • 戦略: 手作業データ（DeepCAD など）を直接混ぜて SFT を行うと、データセット間の CAD コマンドの不一致（例：DeepCAD 特有の対称押し出しなど）により性能が低下するため、SFT には手続き生成データのみを使用します。

2. 強化学習微調整（RL Fine-tuning）:

   • データ: 手作業で作成されたデータセット（DeepCAD, Fusion360）を使用。ただし、CAD シーケンス（正解ラベル）は不要です。3D メッシュ（Ground Truth）のみがあれば十分です。
   • 報酬関数: 生成された Python コードを実行して得られた CAD モデルと、Ground Truth メッシュとの比較に基づきます。
     • $r_{IoU}$: 交差率（IoU）を 10 倍に重み付けし、精度を重視。
     • $r_{invalid}$: 実行失敗（無効なコード）の場合に大きなペナルティ（-10）を与える。
   • アルゴリズム:
     • DPO (Direct Preference Optimization): 正解ラベルなしで、報酬が高いサンプルを好ましいものとして学習。
     • Dr. CPPO: 最近の GRPO 改良版（Dr. GRPO と CPPO のハイブリッド）を採用。オンライン RL として、新しいサンプルから強信号を持つものを選択し、PPO 目的関数を最大化します。これにより、DPO の限界（生成サンプルの質に依存）を克服し、より効率的に学習します。
   • ハード例マイニング: 報酬が閾値（$R_{th} = 7.5$）以下の「難しい」サンプルのみを RL 学習に使用し、収束を加速させます。

3. 主要な貢献

1. 初の高性能マルチモーダル CAD 再構築モデル: 点群、画像、テキストの 3 つのモーダルを単一モデルで処理し、各モーダルにおいて既存の単一モーダル SOTA 手法を上回る性能を達成しました。
2. RL 微調整の有効性の証明: マルチモーダル CAD 再構築において、RL 微調整が生成コードの有効性（Invalidity Ratio の低下）と精度（IoU の向上）を劇的に改善することを初めて実証しました。
3. 包括的な評価: 単一モデルで 3 つのモーダル、4 つのデータセット（DeepCAD, Fusion360, CC3D, Omni-CAD）における合計 10 のベンチマークで SOTA を更新しました。特に、実世界のノイズを含む CC3D データセットでの性能向上は顕著です。
4. データ戦略の革新: SFT には大規模な手続き生成データ、RL には高品質だが少量の手作業データを使用する「分離型」トレーニング戦略により、ドメインギャップを効果的に埋めました。

4. 実験結果

• DeepCAD ベンチマーク:
  • 3 モーダル同時学習により、点群、画像、テキスト全ての入力において、既存の単一モーダル手法（CAD-SIGNet, CADCrafter, Text2CAD など）を凌駕しました。
  • 特に、点群入力での無効率（IR）は 1.1% から 0.4% に、画像入力では 3.6% から 0.5% に大幅に改善されました。
• 実世界データ（CC3D）への汎化:
  • Zero-shot 設定（手作業データで訓練せず、手続き生成データのみで訓練）でも、CC3D（実スキャンデータ）において高い性能を発揮しました。
  • RL 微調整（Dr. CPPO）を適用後、CC3D での IoU は 65.0% に達し、無効率（IR）は 0.1% まで低下しました。
• RL の効果:
  • RL 微調整により、テスト時のサンプリング（10 回生成してベストを選ぶなど）を行わなくても、単一サンプルで高い精度と低無効率を達成しました。
  • 画像入力での RL 微調整が、点群入力での性能向上にも寄与する（モーダル間の転移学習効果）ことが確認されました。
• 推論時間:
  • 既存の単一モーダル手法と比較して、推論時間はわずかに増加するものの（テキスト入力では約 2 倍）、性能向上のトレードオフとして許容範囲内であり、実用可能です。

5. 意義と将来展望

• 実用性の向上: 従来の CAD 再構築は専門的なスキャン機器や手作業が必要でしたが、cadrille はスマートフォンカメラ（画像）や自然言語（テキスト）からも CAD モデルを生成可能にし、設計プロセスの民主化に貢献します。
• オープンワールドへの適応: 手続き生成データと実世界データ（メッシュ）の組み合わせによる RL 学習は、実世界のノイズや欠損に対しても頑健なモデルを構築する新しいパラダイムを示しました。
• 今後の課題:
  • 複数のモーダルを単一のプロンプトで組み合わせ、低品質な入力を補完する手法の検討。
  • 点群に対する RL 微調整のさらなる適用。
  • 手続き生成データの複雑さ増大と RL 学習データの量増による、より高度な実世界スキャンへの適応。

結論として、cadrille は VLM と強化学習を組み合わせることで、マルチモーダル CAD 再構築の性能限界を突破し、実用的で高品質な CAD 生成システムの実現に向けた重要な一歩を踏み出した研究です。