3DCodeVerse: Exploring 3D Worlds as Code

Imaginez un monde où la création d'un objet tridimensionnel ne relève pas de la sculpture de l'argile ou du déplacement de formes avec une souris, mais de l'écriture d'instructions, tout comme un compositeur écrit une symphonie ou un architecte rédige un plan. C'est le domaine de la programmation 3D, un champ où les programmes informatiques servent d'outils pour construire la géométrie numérique, définir comment les pièces se déplacent et composer des scènes entières. Depuis des années, des chercheurs cherchent à apprendre à l'intelligence artificielle à écrire ces instructions, espérant automatiser la création de tout, des jouets simples aux machines complexes. Le défi a toujours été que, si les ordinateurs sont excellents pour suivre des règles, ils ont du mal à comprendre la réalité physique que ces règles décrivent. Un programme peut générer une chaise qui semble parfaite sur un écran, mais dont les pieds flottent dans les airs ou dont les articulations ne peuvent pas physiquement se plier. Jusqu'à présent, il n'existait aucun moyen fiable d'apprendre aux machines à vérifier leur propre travail, à détecter ces erreurs physiques et à les corriger sans qu'un humain n'intervienne pour dire : « Ce pied est trop long ».

Une équipe de chercheurs a introduit un nouveau système appelé 3DCodeVerse, qui change la donne en traitant la création 3D comme un processus d'écriture, de test et de perfectionnement du code. Au lieu de compter sur un humain pour inspecter chaque objet numérique, ce système utilise une équipe d'agents d'intelligence artificielle qui travaillent ensemble pour écrire le code, l'exécuter, puis vérifier rigoureusement les résultats. Si le code produit une chaise avec un pied flottant, le système détecte l'erreur, calcule exactement la distance entre le pied et le sol, et ordonne à l'agent de codage de réécrire la ligne de code spécifique pour corriger l'erreur. Ce cycle se répète automatiquement, permettant au système de générer du contenu 3D de haute qualité et physiquement valide à une échelle qui était auparavant impossible. Les chercheurs ont construit une immense bibliothèque de plus de deux millions d'exemples de codes 3D fonctionnels pour enseigner à leurs modèles, et ils ont créé un cadre capable de vérifier si un objet généré existe réellement de la manière dont il est décrit.

Le cœur de cette réussite est un ensemble de données nommé 3DCodeVerse-2M, qui sert de vaste terrain d'entraînement pour ces modèles d'intelligence artificielle. Les chercheurs ont rassemblé des codes existants provenant de diverses sources, telles que des bibliothèques open-source pour la conception 3D et la génération procédurale, et les ont convertis en un format unifié qui peut être exécuté et vérifié. Ils ont également utilisé leur propre système automatisé pour générer de nouveaux programmes, garantissant que chaque morceau de code dans la bibliothèque puisse réellement s'exécuter et produire un résultat. Cette collection comprend des instructions pour créer des objets statiques comme des tables, des éléments articulés comme des robots dotés de joints mobiles, des scènes virtuelles entières et même des effets visuels complexes. En entraînant leurs modèles sur cette bibliothèque diversifiée et vérifiée, les chercheurs ont constaté que l'intelligence artificielle devenait nettement plus performante pour écrire du code qui fonctionne. Lors de tests sur un ensemble de tâches standards, un modèle ayant bénéficié de cet entraînement a réussi à exécuter son code généré près de 93 % du temps, une amélioration spectaculaire par rapport aux modèles n'ayant pas reçu cet entraînement.

Pour s'assurer que le code produise non seulement des résultats exécutables mais aussi un contenu 3D de haute qualité, l'équipe a développé un cadre sophistiqué appelé le 3DCodeVerse Harness. Ce système agit comme un atelier à plusieurs étapes où différents agents d'IA jouent des rôles spécifiques. Un agent planifie la structure de l'objet, décomposant une requête complexe telle que « construire un tabouret à trois pieds » en tâches plus petites. D'autres agents écrivent le code pour chaque partie, tandis qu'un agent distinct agit comme un juge, inspectant le rendu final par rapport à la requête d'origine. Crucialement, le système ne repose pas sur les yeux humains pour trouver les erreurs. Il utilise des outils automatisés pour mesurer l'objet numérique, vérifiant des problèmes tels que des pièces qui ne se touchent pas, des articulations qui entrent en collision ou des dimensions incorrectes. Si un problème est détecté, le système génère une instruction de réparation spécifique et la renvoie à l'agent de codage. Cette boucle d'écriture, de vérification et de correction continue jusqu'à ce que l'objet réponde à tous les critères. Lors des tests, ce processus de raffinement automatisé a permis au système de produire des résultats préférés par les évaluateurs humains plus de 90 % du temps par rapport à un outil de conception commercial de premier plan.

Les chercheurs ont également démontré que cette approche fonctionne à travers différents types de création 3D, des pièces mécaniques aux scènes animées. Ils ont montré que le système pouvait prendre une description textuelle et produire un programme fonctionnel pour un bras robotique qui bouge correctement, ou une pièce virtuelle où les meubles sont correctement ancrés au sol et éclairés. Dans une application spécifique, ils ont utilisé le code 3D généré pour guider la création vidéo, garantissant que le mouvement des objets dans une vidéo corresponde aux contraintes physiques définies dans le code. Cette connexion entre un code rigide et logique et des médias visuels fluides suggère une nouvelle façon de contrôler la construction et l'animation des mondes numériques. La capacité du système à gérer des projets complexes à plusieurs parties sans intervention humaine marque une étape importante vers la rendre la création 3D accessible et évolutive.

Les conclusions suggèrent que l'avenir de la conception 3D pourrait résider dans un partenariat entre la créativité humaine et la vérification automatisée. En fournissant un moyen aux machines de vérifier leur propre travail par rapport aux lois de la physique et aux exigences de l'utilisateur, les chercheurs ont supprimé un goulot d'étranglement majeur dans le processus de création. Le système ne se contente pas de deviner l'apparence d'un objet ; il le construit, le mesure et le corrige jusqu'à ce qu'il soit correct. Cette capacité ouvre la porte à la génération de vastes quantités de contenu 3D personnalisé pour des applications dans la robotique, le divertissement et l'ingénierie, le tout piloté par de simples instructions textuelles. Ce travail établit un nouveau fondement pour le domaine, prouvant qu'avec les bons outils et les bonnes données d'entraînement, l'intelligence artificielle peut non seulement écrire le code des mondes 3D, mais aussi garantir que ces mondes font sens.