PLLM: Pseudo-Labeling Large Language Models for CAD Program Synthesis

以下は、提示された論文「PLLM: Pseudo-Labeling Large Language Models for CAD Program Synthesis」の詳細な技術的サマリーです。

1. 問題設定 (Problem)

3D 幾何形状から CAD（Computer-Aided Design）プログラムを復元する「CAD プログラム合成」は、エンジニアリングや製造業界において重要な課題です。このタスクは、形状のセマンティックな編集やコンパクトな表現を可能にするため、逆問題として広く研究されています。

近年、大規模言語モデル（LLM）の進歩により、記号推論能力を活かした CAD プログラム合成の進展が見られます。しかし、既存の手法には重大な限界があります。

• ラベル付きデータの不足: 既存の手法は、形状と対応する CAD プログラムのペア（Ground Truth）を用いた教師あり学習に依存しています。
• スケーラビリティの壁: 高品質なペアデータは作成コストが高く、特定のデータセットに限定されるため、新しいドメインや新しい CAD 言語への適用が困難です。
• 既存リポジトリの活用困難: ABC データセットのような大規模な形状コレクションは存在しますが、それらには対応する CAD プログラムの注釈が含まれていません。

本研究は、ラベル付けされていない 3D 形状データセットから、CAD プログラム合成モデルを適応させるための新しいアプローチを提案します。

2. 手法 (Methodology)

著者らは、PLLM (Pseudo-Labeling Large Language Models) と呼ばれる自己学習（Self-Training）フレームワークを提案しました。この手法は、ラベルなしデータから自動的に教師信号を生成し、モデルを反復的に改善するプロセスに基づいています。

PLLM のパイプラインは、以下の 4 つの主要ステップで構成されます（図 1 参照）：

1. プログラムサンプリング (Program Sampling):

   • 事前学習済みの CAD 対応 LLM（CAD-Recode）を用いて、ターゲット形状データセット（例：ABC データセット）の各形状に対して、複数の候補プログラムを確率的にサンプリングします。
   • 生成された各プログラムを実行し、入力形状との幾何学的な一致度を評価します。

2. 高忠実度プログラムの選択 (Selection):

   • 実行結果と入力形状を比較し、Chamfer Distance（CD） が最小となる（幾何学的に最も忠実な）プログラムを選択します。
   • 複数の候補がほぼ同等の精度を持つ場合は、より短いプログラムを選択することで、簡潔な表現を促進します。

3. プログラムレベルのデータ拡張 (Program-Level Data Augmentation):

   • 単に選択されたプログラムを使うだけでなく、そのプログラムを人工的に「拡張」または「短縮」することで、多様なバリエーションを生成します。
     • 拡張: 既存のワークスペースに操作を追加したり、新しいワークスペースを生成したりして、構造的な複雑さを増します。
     • 短縮: 最上位のブーリアン演算（和、差、積）を削除し、構文の正当性を保ちながらプログラムを簡略化します。
   • これにより、元の予測だけでは得られない多様なプログラム長や構造パターンを含む合成データセットが構築されます。

4. 反復的ファインチューニング (Iterative Fine-tuning):

   • 選択された高品質なプログラムと、その拡張・短縮版、およびそれらを実行して得られた 3D 形状（Ground Truth として機能）をペアとした合成データセットを用いて、LLM を LoRA（Low-Rank Adaptation）でファインチューニングします。
   • このプロセスを数回反復し、モデルが生成するプログラムの品質が向上するにつれて、より高精度な教師データが生成される「自己強化サイクル」を形成します。

重要な特徴:

• 生成されたプログラムとその実行結果（形状）は完全に一致しているため、ラベルノイズが存在しません。
• 教師信号はデータ生成プロセス自体から導出され、外部の注釈を必要としません。

3. 主要な貢献 (Key Contributions)

1. PLLM フレームワークの提案: ラベルなし 3D データセットに対して、合成された CAD プログラムを拡張・選別することで教師信号を構築する自己学習フレームワークを提案しました。
2. データ合成戦略: サンプリングとプログラム編集（拡張・短縮）を組み合わせた戦略により、多様性が高く情報量の多い「プログラム - 形状」ペアを生成しました。
3. 実証実験: DeepCAD で事前学習された CAD-Recode モデルを、ラベルなしの ABC データセットに適応させる実験において、幾何学的忠実度（Chamfer Distance）とプログラムの多様性の両方で一貫した改善が確認されました。

4. 結果と評価 (Results and Evaluations)

実験は、DeepCAD で事前学習された CAD-Recode モデルを、ラベルなしの ABC データセット（75,000 形状中、実行可能な 71,784 形状を使用）に適用して行われました。

• 幾何学的忠実度の向上:
  • Chamfer Distance は反復学習の初期 4 回で顕著に減少しました（Best CD: 26.12 → 9.73）。
  • 5 回目以降は改善が頭打ちになりましたが、これはベースモデル（CAD-Recode）の操作セットの限界によるものと分析されています。
• プログラム長の多様化:
  • 初期モデルは 768 トークンに制限されていましたが、PLLM による拡張戦略により、最大 1200 トークンを超える詳細なプログラムを生成できるようになりました。
• ベースラインとの比較:
  • 生成されたプログラムとその実行結果をペアにした学習（提案手法）は、入力形状と生成プログラムを直接ペアにする手法や、バッチ内の上位 20% のみを選ぶ手法よりも優れた性能を示しました（Table 1）。
  • 特に、提案手法は Chamfer Distance が最も低く、反復を通じて最も安定した性能向上を示しました。
• 定性的評価:
  • 図 4 と図 5 に示されるように、反復が進むにつれて生成された形状は、グランドトゥルース（真値）に徐々に近づき、形状の細部まで再現されるようになりました。

5. 意義と結論 (Significance and Conclusion)

PLLM は、CAD プログラム合成における「ラベル付きデータの不足」という根本的なボトルネックを解決する画期的なアプローチです。

• データ中心のアプローチ: 手動注釈に依存せず、モデル自体の出力と実行フィードバックを活用して教師データを構築することで、大規模な未注釈 CAD リポジトリへのスケーリングを可能にします。
• 実用性: 計算コスト（サンプリング、実行、フィルタリングの繰り返し）は高いものの、手動アノテーションのコストに比べれば現実的なトレードオフであり、将来的には CAD 学習の自動化を加速させる可能性があります。
• 汎用性: このフレームワークは、特定の CAD 言語やドメインに限定されず、未ラベルの形状データが存在する限り適用可能です。

結論として、PLLM は既存の LLM を新しいドメインに適応させるための強力な手段を提供し、ラベルなしデータから高品質な CAD 合成モデルを構築する新たなパラダイムを示しました。