CAD-Tokenizer: Towards Text-based CAD Prototyping via Modality-Specific Tokenization

本論文は、CAD の構造的な性質を捉えるためにプリミティブレベルのトークン化を採用した「CAD-Tokenizer」を提案し、テキストによる CAD 生成と編集を統合するプロトタイピングタスクにおいて、既存の手法を上回る性能を実現したことを示しています。

要約

この論文は、**「AI に自然な言葉で『3D の設計図』を描かせる」**という新しい技術について書かれています。

タイトルは『CAD-TOKENIZER』ですが、難しい専門用語は一旦横に置いて、**「AI への翻訳器」**という視点で説明しましょう。

🏗️ 背景：AI と設計図の「言葉の壁」

まず、**CAD（Computer-Aided Design）とは、工場で使う精密な 3D モデルを作るための設計ソフトのことです。
AI に「赤い箱を作ってください」と言っても、AI は普通の言葉（「赤」「箱」）で考えてしまいます。しかし、CAD の設計図は、人間が読む文章ではなく、「線を引く」「押し出す（厚みをつける）」**といった、厳密な「命令の羅列（コード）」でできています。

これまでの AI は、この設計図のコードを「単語」のようにバラバラに切って読んでいました。

• 例： 「押し出し（Extrusion）」という命令を、「Ex」「tru」「sion」という意味のない断片に分けて読んでしまうようなものです。
• 結果： AI は「あ、これは『Ex』という文字だ」としか考えられず、「これは『押し出し』という重要な設計命令だ！」という意味を理解できず、壊れた設計図を作ってしまうのです。

💡 解決策：CAD 専用の「翻訳器（CAD-Tokenizer）」

この論文の著者たちは、「AI に CAD の『部品』そのものを理解させる翻訳器」を作りました。これがCAD-Tokenizerです。

🧩 比喩：レゴブロックの箱

• これまでの AI（普通の翻訳器）：
  レゴブロックの箱を開けて、中身を「赤いプラスチック」「丸い突起」「四角い穴」という素材だけで見ています。だから、「どう組み立てれば城ができるか」がイメージできません。
• 新しい AI（CAD-Tokenizer）：
  箱を開けると、中身が**「城の壁」「塔」「窓」という完成された部品（プリミティブ）として整理されています。
  AI は「赤いプラスチック」ではなく、「城の壁」という意味のあるブロック**を直接受け取れます。だから、「城を作れ」と言われれば、すぐに正しい形を組み立てられるのです。

🚀 この技術がすごい 3 つのポイント

1. 設計の「意味」を丸ごと理解する
   従来の AI が「文字の断片」を処理していたのに対し、この技術は「線」「弧（アーチ）」「押し出し」といった設計の基本単位をそのまま AI に渡します。これにより、AI は「ここを曲げる」「ここを厚くする」という設計者の意図を正しく理解できるようになりました。

2. 「作り直し」と「修正」を 1 つの AI でこなす
   これまでの研究は、「ゼロから作る（Text-to-CAD）」か、「既存のものを直す（CAD Editing）」のどちらかしかできませんでした。
   しかし、この新しい AI は**「新しい家を作れ」と言われれば作り、「既存の家の壁を青く塗り替えろ」と言われれば修正もできます。まるで、「建築士」でありながら「リフォーム業者」も兼ね備えた万能職人**のようなものです。

3. 文法ミスを防ぐ「自動チェック機能」
   設計図には厳格なルール（文法）があります。例えば、「線を引く前に、まず起点を決めなければならない」などです。
   この AI は、生成中に**「Finite State Automaton（有限状態機械）」という、設計図のルールブックを持った「厳格な編集者」**を横に置いています。AI が「ルール違反の命令」を出そうとすると、編集者が「待て、それはダメだ！」とブロックして正しい形に誘導します。これにより、壊れた設計図が生まれるのを防ぎます。

🌟 結論：なぜこれが重要なのか？

この技術は、**「AI が人間の設計者のパートナーとして、もっと自然に働けるようになる」**ことを意味します。

• 以前： 「設計図のコードをバラバラに読んで、意味を勘違いして、壊れたものを作る」
• 今回： 「設計の基本ブロックを理解し、指示通りに正確に作り、ルール違反も防ぎながら、ゼロから作ったり直したりもできる」

まるで、**「設計図の言語をネイティブに話す天才職人」**が AI に誕生したようなものです。これにより、製品開発のプロセスが劇的に速くなり、誰でも簡単にプロのレベルの 3D デザインができる未来が近づいたと言えます。

技術概要

CAD-Tokenizer: 模態固有トークン化によるテキストベース CAD プロトタイピングへの取り組み

技術的サマリー（日本語）

本論文は、ICLR 2026 にて発表された「CAD-Tokenizer」に関する研究です。これは、自然言語指示に基づく CAD 生成（Text-to-CAD）と既存 CAD の編集（CAD Editing）を単一のモデルで統合的に処理する「テキストベース CAD プロトタイピング」タスクに焦点を当てたものです。

1. 背景と課題

CAD（Computer-Aided Design）モデルは、単なる座標の集合ではなく、スケッチや押し出し（extrusion）などの「操作シーケンス」として定義されます。この構造的な性質により、プロトタイプの初期化やその後の編集が効率的に行えます。

しかし、既存の手法には以下の重大な課題がありました：

• 既存の LLM トークナイザの不適切さ: 一般的な大規模言語モデル（LLM）のデフォルトトークナイザは、CAD シーケンスを自然言語の単語単位（word pieces）に分解します（例：[extru] [sion]）。これにより、CAD のプリミティブ（線、弧、押し出し操作など）としての意味が失われ、アテンション機構が幾何学的な構造やプリミティブ間の関係性を捉えられなくなります。
• タスクの統合の欠如: 従来、Text-to-CAD 生成と CAD 編集は別々のタスクとして扱われてきました。しかし、実際の設計プロセスではこれらが反復的に行われるため、両方を統一的に扱えるモデルの必要性がありました。

2. 提案手法：CAD-Tokenizer

著者らは、CAD のプリミティブと構造的な性質に整合した「モ달ティ固有（modality-specific）のトークン化戦略」を提案しました。CAD-Tokenizer は、以下の 3 つの主要なステップで構成されます。

2.1 プリミティブベースの VQ-VAE トークナイザ

CAD シーケンスを、LLM が直接扱える離散トークンに変換するためのエンコーダ・デコーダとして、VQ-VAE（Vector Quantized Variational Autoencoder）を事前学習します。

• プリミティブプーリング: 従来の VQ-VAE がシーケンス全体を 1 つの潜在ベクトルに圧縮するのに対し、本手法では「スケッチ - 押し出しペア」ごとにプーリング層を適用し、複数の離散トークンを生成します。これにより、局所的な幾何情報と文脈情報を両方保持できます。
• 圧縮と表現: 入力された CAD シーケンスを、プリミティブレベルのコンパクトなトークン列に変換します。

2.2 LLM 埋め空間へのアライメント

VQ-VAE で生成されたプリミティブトークンを、事前学習済みの LLM（LLaMA-3-8B など）の埋め込み空間に統合します。

• アダプタの導入: 凍結された LLM の埋め込み層とロジット層の間に、双方向のアダプタ（Linear Adapter）を挿入します。これにより、VQ-VAE の出力ベクトルを LLM が認識可能なトークン ID にマッピングし、かつ元の表現を忠実に復元できるように訓練します。
• メリット: 基盤モデル（Backbone）を再学習させることなく、CAD 固有のトークンをシームレスに統合できます。

2.3 統一されたファインチューニングと FSA ベース推論

• インストラクションチューニング: 統合されたトークンを用いて、Text-to-CAD 生成と CAD 編集の両方をカバーする統一タスクとして LLM をファインチューニングします。シーケンスが圧縮されているため、計算効率と学習効率が向上します。
• 有限状態オートマトン（FSA）によるサンプリング: 推論段階では、標準的なデコーディング（top-p やビームサーチ）では CAD の文法エラーが発生する可能性があります。そこで、CAD の構文規則を定義した FSA を導入し、生成ステップごとに有効なトークンのみを許可するマスクを適用します。これにより、文法的に正しい CAD コードの生成を強制し、無効な出力を大幅に削減します。

3. 主要な貢献

1. CAD 固有の VQ-VAE トークナイザの開発: スケッチと押し出しのペアを複数の離散トークンにマッピングするプリミティブレベルのトークナイザを提案し、LLM との統合のためにアダプタを設計しました。
2. 統一された CAD プロトタイピングフレームワーク: Text-to-CAD 生成と CAD 編集を単一のモデルで処理する初めての枠組みを構築し、タスク固有のベースラインを上回る性能を示しました。
3. FSA 駆動サンプリング戦略: CAD の形式文法（Finite-State Automaton）に基づくデコーディングを導入し、生成の品質と構文の正当性を保証しました。
4. 包括的な評価: 定量的・定性的評価、およびアブレーション研究を通じて、トークン化戦略、プーリング手法、サンプリング手法の各要素が性能向上に寄与することを実証しました。

4. 実験結果

SkexGen データセットに基づき、CAD 編集タスクと Text-to-CAD 生成タスクで評価を行いました。

• 定量的評価:

  • CAD 編集: CAD-Tokenizer は、タスク固有のモデル（CAD-Editor）や汎用 LLM（Vanilla-LLaMA）と比較して、F1 スコア（スケッチ・押し出しともに約 10 ポイント向上）、VLM スコア、人間評価（Human Evaluation）で全体的に最高性能を記録しました。
  • Text-to-CAD 生成: 既存のタスク固有モデル（CADFusion）と比較しても、F1 スコアや Chamfer Distance（形状の類似度）で大幅な改善が見られました。特に、VLM スコアは CADFusion よりやや低かったものの、他のすべての指標で優位でした。
  • 無効率（Invalidity Ratio）: 提案手法は、標準的なサンプリング手法（top-p, beam search）と比較して、無効な CAD シーケンスの生成を劇的に減らしました（FSA 導入による効果）。

• 定量的評価の洞察:

  • 従来のトークナイザ（BPE や Vanilla-LLaMA）を使用すると、CAD 編集タスクにおいてモデルが指示に従わず、元の形状をそのまま出力するなどの失敗が頻発しました。
  • CAD-Tokenizer は、プリミティブレベルの構造を捉えることで、指示された編集操作を正確に実行できることを示しました。

• アブレーション研究:

  • プリミティブプーリング（curve-based）の有効性が確認され、プーリングなし（single）や BPE では性能が著しく低下しました。
  • FSA サンプリングは、生成の堅牢性を高めるために不可欠であることが示されました。

5. 意義と結論

CAD-Tokenizer は、LLM を CAD 設計の自動化に応用する際のボトルネックであった「トークン化のミスマッチ」を解決しました。自然言語の単語単位ではなく、CAD のプリミティブ単位でデータを表現することで、LLM が幾何学的構造と設計意図をより深く理解できるようになりました。

この研究は、単一のモデルで CAD の生成と編集を統一的に処理する可能性を証明し、産業用プロトタイピングのワークフローを効率化する重要な一歩となりました。特に、FSA を利用した構文制約付き生成は、ドメイン固有の制約を持つ生成タスクにおける新しいアプローチとして意義深いです。今後の課題としては、より複雑な形状への対応や、空間推論能力のさらなる向上が挙げられますが、本手法はテキストから CAD への変換において、既存の手法を凌駕する性能を示しました。