3DCodeVerse: Exploring 3D Worlds as Code

3차원 객체를 만드는 것이 점토로 조각하거나 마우스로 도형을 드래그하는 일이 아니라, 작곡가가 교향곡을 쓰거나 건축가가 설계도를 작성하는 것처럼 지침을 작성하는 일이 되는 세상을 상상해 보십시오. 이것이 바로 3D 코딩의 영역이며, 컴퓨터 프로그램이 디지털 기하학을 구축하고, 부품이 어떻게 움직이는지 정의하며, 전체 장면을 구성하는 도구 역할을 하는 분야입니다. 수년 동안 연구자들은 인공지능에게 이러한 지침을 작성하도록 가르쳐서, 단순한 장난감부터 복잡한 기계에 이르기까지 모든 것을 자동 생성하기를 희망해 왔습니다. 문제는 컴퓨터가 규칙을 따르는 데는 뛰어나지만, 그 규칙이 설명하는 물리적 실체를 이해하는 데는 어려움을 겪는다는 점이었습니다. 프로그램은 화면상으로는 완벽해 보이는 의자를 생성할 수 있지만, 다리가 공중에 떠 있거나 관절이 물리적으로 굽혀질 수 없는 상태일 수도 있습니다. 지금까지는 기계가 자신의 작업을 스스로 검토하고, 이러한 물리적 오류를 포착하며, 인간이 "이 다리는 너무 길어"라고 말하지 않아도 스스로 수정할 수 있도록 가르칠 수 있는 신뢰할 만한 방법이 없었습니다.

연구진은 3D 생성을 코드의 작성, 테스트, 정제 과정으로 취급함으로써 게임의 판도를 바꾸는 '3DCodeVerse'라는 새로운 시스템을 도입했습니다. 이 시스템은 모든 디지털 객체를 사람이 일일이 검사하는 것에 의존하는 대신, 코드를 작성하고, 실행하고, 결과를 엄격하게 점검하는 일련의 과정을 수행하는 인공지능 에이전트 팀을 사용합니다. 만약 코드가 다리가 공중에 떠 있는 의자를 생성한다면, 시스템은 오류를 감지하고 다리가 지면에서 정확히 얼마나 떨어져 있는지 계산한 뒤, 코딩 에이전트에게 해당 특정 코드 줄을 다시 작성하여 수정하도록 지시합니다. 이 순환 과정은 자동으로 반복되어, 이전에는 불가능했던 규모로 고품질의 물리적으로 유효한 3D 콘텐츠를 생성할 수 있게 합니다. 연구진은 모델을 학습시키기 위해 작동하는 3D 코드의 200만 개 이상의 방대한 예시 라이브러리를 구축했으며, 생성된 객체가 기술된 방식대로 실제로 존재하는지 검증할 수 있는 프레임워크를 만들었습니다.

이 성과의 핵심은 인공지능 모델의 광활한 훈련장이 되는 '3DCodeVerse-2M'이라는 데이터셋입니다. 연구진은 3D 디자인 및 절차적 생성(procedural generation)을 위한 다양한 오픈 소스 라이브러리와 같은 여러 출처에서 기존 코드를 수집하여, 실행 및 검사가 가능한 통일된 형식으로 변환했습니다. 또한 자체적인 자동화 시스템을 사용하여 새로운 프로그램을 생성함으로써, 라이브러리의 모든 코드가 실제로 실행되어 결과를 낼 수 있도록 보장했습니다. 이 컬렉션에는 정적인 객체(테이블 등), 관절이 움직이는 가동형 자산(로봇 등), 전체 가상 장면, 심지어 복잡한 시각 효과를 생성하기 위한 지침이 포함되어 있습니다. 이러한 다양하고 검증된 라이브러리를 통해 모델을 학습시킨 결과, 인공지능은 작동하는 코드를 작성하는 능력이 크게 향상되었습니다. 표준 과업 세트에 대해 테스트했을 때, 이 데이터로 미세 조정된 모델은 생성된 코드를 거의 93%의 확률로 성공적으로 실행할 수 있었으며, 이는 학습을 거치지 않은 모델에 비해 비약적인 발전입니다.

코드가 단순히 실행 가능한 결과를 내는 것을 넘어 고품질의 3D 콘텐츠를 생성하도록 하기 위해, 연구진은 '3DCodeVerse Harness'라고 불리는 정교한 프레임워크를 개발했습니다. 이 시스템은 서로 다른 AI 에이전트들이 특정 역할을 수행하는 다단계 워크숍 역할을 합니다. 한 에이전트는 "세 다리 의자를 만들어줘"와 같은 복잡한 요청을 더 작은 작업들로 나누어 객체의 구조를 계획합니다. 다른 에이전트들은 각 부분에 대한 코드를 작성하며, 별도의 에이전트는 심판 역할을 하며 렌더링된 출력물을 원래의 요청과 대조하여 검사합니다. 결정적으로, 이 시스템은 실수를 찾기 위해 인간의 눈에 의존하지 않습니다. 자동화된 도구를 사용하여 디지털 객체를 측정하고, 부품이 서로 닿지 않거나, 관절이 충돌하거나, 치수가 잘못된 등의 문제를 체크합니다. 문제가 발견되면 시스템은 구체적인 수리 지침을 생성하여 코딩 에이전트에게 다시 보냅니다. 이 작성, 점검, 수정의 루프는 객체가 모든 기준을 충족할 때까지 계속됩니다. 테스트 결과, 이 자동화된 정제 과정 덕분에 시스템은 상용 디자인 도구와 비교했을 때 인간 평가자로부터 90% 이상의 높은 선호도를 얻었습니다.

연구진은 또한 이 접근 방식이 기계 부품에서 애니메이션 장면까지 다양한 유형의 3D 생성에 적용될 수 있음을 입증했습니다. 그들은 시스템이 텍스트 설명을 받아 올바르게 움직이는 로봇 팔을 위한 작동 프로그램을 만들거나, 가구가 바닥에 제대로 놓여 있고 조명이 적절히 배치된 가상 방을 생성할 수 있음을 보여주었습니다. 특히 한 응용 사례에서는 생성된 3D 코드를 비디오 제작에 활용하여, 영상 속 객체의 움직임이 코드에 정의된 물리적 제약 조건과 일치하도록 했습니다. 이러한 경직되고 논리적인 코드와 유동적인 시각 매체 사이의 연결은 디지털 세계를 구축하고 애니메이션화하는 새로운 제어 방식을 시사합니다. 인간의 개입 없이도 복잡한 다부품 프로젝트를 처리할 수 있는 이 시스템의 능력은 3D 생성을 더욱 접근 가능하고 확장 가능하게 만드는 중요한 진전입니다.

이러한 연구 결과는 3D 디자인의 미래가 인간의 창의성과 자동화된 검증 사이의 파트너십에 달려 있음을 시사합니다. 기계가 물리 법칙과 사용자의 요구 사항에 따라 자신의 작업을 스스로 검토할 수 있는 방법을 제공함으로써, 연구진은 창의적 과정의 주요 병목 현상을 제거했습니다. 이 시스템은 단순히 객체가 어떻게 보여야 하는지 추측하는 것이 아니라, 그것을 구축하고, 측정하고, 올바르게 될 때까지 수정합니다. 이러한 능력은 단순한 텍스트 지침만으로 로보틱스, 엔터테인먼트, 엔지니어링 분야에서 방대한 양의 맞춤형 3D 콘텐츠를 생성할 수 있는 문을 열어줍니다. 이 연구는 적절한 도구과 훈련 데이터가 있다면 인공지능가 3D 세계를 위한 코드를 작성할 뿐만 아니라, 그 세계가 물리적으로 타당함을 보장할 수 있다는 것을 증명하며 새로운 토대를 마련했습니다.