3DCodeVerse: Exploring 3D Worlds as Code

粘土で彫刻したり、マウスで形状をドラッグしたりするのではなく、作曲家が交響曲を書き記したり、建築家が設計図を起草したりするように、指示を書き込むことで三次元の物体を作り出す世界を想像してみてください。これは「3Dコーディング」という領域であり、そこではコンピュータプログラムがデジタルな幾何学構造を構築し、部品の動きを定義し、シーン全体を構成するための道具として機能します。長年、研究者たちは人工知能にこれらの指示を書く方法を教え、単純なおもちゃから複雑な機械に至るまで、あらゆるものの作成を自動化することを目指してきました。課題は常に、コンピュータはルールの遵守には非常に優れている一方で、そのルールが記述している物理的な現実を理解することには苦労するという点にありました。プログラムは画面上では完璧に見える椅子を生成するかもしれませんが、脚が宙に浮いていたり、関節が物理的に曲がらなかったりすることがあります。これまでは、機械に自らの作業をチェックさせ、人間が「その脚は長すぎる」と介入することなく、こうした物理的なエラーを検知して修正させるための信頼できる方法はありませんでした。

ある研究チームは、「3DCodeVerse」と呼ばれる新しいシステムを導入しました。これは、3D制作を「記述、テスト、洗練」というコード作成のプロセスとして扱うことで、ゲームのルールを変えるものです。すべてのデジタルオブジェクトを人間が検査することに頼る代わりに、このシステムは、コードを書き、それを実行し、その結果を厳格にチェックするために協力し合う一連の人工知能エージェントを使用します。もしコードが脚の浮いた椅子を生成した場合、システムはエラーを検出し、脚が地面からどれくらい離れているかを正確に計算し、コーディングエージェントに対して、そのエラーを修正するために特定の行のコードを書き直すよう指示を出します。このサイクルが自動的に繰り返されることで、以前は不可能だった規模で、高品質かつ物理的に妥当な3Dコンテンツを生成することが可能になります。研究者たちは、モデルを学習させるために200万件を超える動作確認済みの3Dコードの膨大なライブラリを構築し、生成されたオブジェクトが記述通りに実際に存在するかどうかを検証できるフレームワークを作成しました。

この成果の中核となるのは、「3DCodeVerse-2M」という名称のデータセットであり、これは人工知能モデルのための広大な訓練場として機能します。研究者たちは、3Dデザインやプロシージャル生成のための様々なオープンソースライブラリなどの既存のコードを収集し、実行およびチェックが可能な統一されたフォーマットに変換しました。また、独自の自動システムを使用して新しいプログラムを生成し、ライブラリ内のすべてのコードが実際に動作し、結果を生み出せることを保証しました。このコレクションには、テーブルのような静的なオブジェクト、動く関節を持つロボットのような可動式アセット、さらには仮想空間全体や複雑な視覚効果を作成するための指示が含まれています。この多様で検証済みのライブラリを用いてモデルを訓練することで、研究者たちは、人工知能が動作するコードを書く能力が大幅に向上することを発見しました。標準的なタスクでテストを行った際、このデータで微調整されたモデルは、生成したコードを93パーセント近い確率で正常に実行することに成功しました。これは、このトレーニングを受けていないモデルと比較して劇的な改善です。

コードが単に実行可能な結果を生むだけでなく、高品質な3Dコンテンツを生み出すことを確実にするために、チームは「3DCodeVerse Harness」と呼ばれる高度なフレームワークを開発しました。このシステムは、異なるAIエージェントが特定の役割を果たす多段階のワークショップとして機能します。あるエージェントは「三本脚ののスツールを作れ」といった複雑な要求を小さなタスクへと分解し、オブジェクトの構造を計画します。他のエージェントは各パーツのコードを書き、別のエージェントは審判として、レンダリングされた出力が元の要求に合致しているかを検査します。決定的なのは、このシステムが間違いを見つけるために人間の目を利用しないことです。自動化されたツールを使用してデジタルオブジェクトを測定し、パーツ同士が接触していない、関節が衝突している、あるいは寸法が不適切であるといった問題をチェックします。問題が見つかった場合、システムは具体的な修復指示を生成し、それをコーディングエージェントに送り返します。この「記述、チェック、修正」のループは、オブジェクトがすべての基準を満たすまで継続されます。テストにおいて、この自動化された洗練プロセスにより、システムは主要な商用デザインツールと比較して、人間の評価者から90パーセント以上の割合で好ましい結果を得ることができました。

研究者たちはまた、このアプローチが機械部品からアニメーションシーンに至るまで、異なる種類の3D制作において有効であることを実証しました。彼らは、システムがテキストによる説明を受け取り、正しく動くロボットアームや、家具が適切に接地し照明が当たっている仮想の部屋の動作するプログラムを生成できることを示しました。ある特定の応用例では、生成された3Dコードを使用してビデオ制作をガイドし、ビデオ内のオブジェクトの動きがコードで定義された物理的制約と一致するようにしました。この硬直的で論理的なコードと流動的な視覚メディアとのつながりは、デジタル世界がどのように構築され、アニメーション化されるかを制御する新しい方法を示唆しています。人間の介入なしに複雑で多部構成のプロジェクトを処理できるこのシステムの能力は、3D制作をアクセシブルかつスケーラブルにすることへの重要な一歩を刻みました。

これらの知見は、3Dデザインの未来が、人間の創造性と自動検証のパートナーシップにあることを示唆しています。機械が物理法則やユーザーの要求に対して自らの仕事をチェックする方法を提供することで、研究者たちは創造的プロセスの大きなボトルネックを取り除きました。このシステムは、オブジェクトがどのように見えるべきかを推測するのではなく、それが正しい状態になるまで、構築し、測定し、修正するのです。この能力は、単純なテキスト指示によって、ロボティクス、エンターテインメント、エンジニアリングの分野で膨大な量のカスタム3Dコンテンツを生成する扉を開きます。この研究は、適切なツールとトレーニングデータがあれば、人工知能は3Dの世界のためのコードを書くだけでなく、その世界が理にかなっていることを保証できることを証明し、この分野の新たな基礎を築きました。