🤖 AI

WorldCoder-Bench: Benchmarking Physically Grounded 3D World Synthesis

이 논문은 브라우저 네이티브 환경에서 물리적으로 근거가 있고 상호작용 가능한 3D 세계를 합성하는 대규모 언어 모델의 능력을 평가하고 검증하기 위해 2,026개의 전문가 큐레이션 태스크와 StateProbe 실행 기반 프로토콜을 특징으로 하는 포괄적인 벤치마크인 WorldCoder-Bench를 소개하며, 현재의 프런티어 모델들이 상태 일관성과 상호작용 체인을 유지하는 데 상당한 어려움을 겪고 있음을 밝혀낸다.

원저자: Shuo Lu, Yinuo Xu, Kecheng Yu, Siru Jiang, Yongcan Yu, Yubin Wang, Haitao Yang, Yuxiang Zhang, Bin Wang, Ran He, Jian Liang

게시일 2026-06-02

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shuo Lu, Yinuo Xu, Kecheng Yu, Siru Jiang, Yongcan Yu, Yubin Wang, Haitao Yang, Yuxiang Zhang, Bin Wang, Ran He, Jian Liang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇 건축가에게 "공이 현실적으로 튀어 오르는 농구 게임을 만들어줘"와 같은 간단한 설명을 주고 가상 놀이터를 만들도록 고용한다고 상상해 보십시오.

과거에 AI에게 웹사이트를 만들어달라고 요청했을 때는 화면을 보기만 하면 되었습니다. 버튼이 제대로 보이고 색상이 예쁘다면, 작동한다고 가정할 수 있었습니다. 하지만 웹 브라우저 내부에 3D 세계(비디오 게임이나 물리 시뮬레이터와 같은)를 구축하는 것은 다릅니다. 그것은 마치 벽이 투명한 유리로 된 집을 짓는 것과 같습니다. 밖은 볼 수 있지만, 기초가 튼튼한지, 문이 실제로 열리는지, 혹은 중력이 제대로 작동하는지는 단순히 사진 한 장을 보는 것만으로는 알 수 없습니다.

이 논문은 AI가 단순히 예쁜 그림을 만드는 것을 넘어, 실제로 작동하는 3D 세계를 구축할 수 있는지 테스트하는 새로운 방법인 WorldCoder-Bench를 소개합니다.

다음은 이들의 접근 방식을 쉬운 비유를 사용하여 정리한 내용입니다.

1. 문제점: "블랙박스" 캔버스

AI가 3D 세계를 구축할 때, AI는 브라우저의 <canvas>라고 불리는 숨겨진 영역 안에서 실행되는 코드를 작성합니다.

기존 방식: 이전의 테스트들은 놀이터의 사진만 보는 비평가를 고용하는 것과 같았습니다. 그들은 "미끄럼틀이 파란색이니 괜찮네요!"라고 말할 수 있습니다. 하지만 미끄럼틀이 실제로 지면에 붙어 있는지, 혹은 공이 가장자리 밖으로 굴러떨어지는지는 볼 수 없습니다.
현실: AI가 완벽해 보이는 농구 골대를 그릴 수는 있지만, 코드가 잘못되었다면 공이 골대를 통과해 그냥 떠다니거나, 골대를 만졌을 때 골대가 사라져 버릴 수도 있습니다. 기존의 테스트들은 이러한 "보이지 않는" 실패를 놓쳤습니다.

2. 해결책: "상태 프로브(State Probe)" (보이지 않는 검사관)

저자들은 StateProbe라는 새로운 도구를 만들었습니다. 단순히 사진을 찍는 대신, 이 도구는 가상 세계 내부로 걸어 들어가는 보이지 않는 검사관과 같습니다.

작동 방식: 이 검사관은 인간 전문가들이 작성한 비밀 체크리스트("계약")를 가지고 있습니다. 단순히 장면을 보는 것이 아니라, 코드 내부로 손을 뻗어 세계의 "생체 신호"를 확인합니다.
확인 항목:
- 물리 법칙: 공이 실제로 적절한 속도로 떨어지고 있는가?
- 상호작용: 버튼을 클릭하면 게임이 실제로 클릭을 인식하는가, 아니면 버튼은 그냥 그림일 뿐인가?
- 상태: 점수를 냈을 때 점수 카운터가 실제로 올라가는가, 아니면 0에 멈춰 있는가?

검사관이 엄격하게 작동하도록 하기 위해, 그들은 **변이 테스트(Mutation Testing)**라는 기술을 사용했습니다. 그들은 AI의 코드를 의도적으로 작은 방식으로 망가뜨렸습니다(예: 중력을 매우 약하게 만들거나 점수 버튼을 숨기는 등) 이를 통해 검사관이 실수를 잡아내는지 확인했습니다. 만약 검사관이 실수를 놓친다면, 검사관을 수정했습니다. 이를 통해 테스트가 엄격하고 공정하도록 보장했습니다.

3. 테스트: WorldCoder-Bench

그들은 2,026개의 서로 다른 챌린지로 구성된 거대한 테스트 스위트를 구축했습니다.

과제: 단순한 것(공이 튀게 만들기)부터 복잡한 것(화학 반응 시뮬레이션이나 농구 골대를 겨냥해야 하는 게임 만들기)까지 다양합니다.
규칙: AI는 자연어 지시문(예: "게임을 만들어줘...")을 받고 단 하나의 웹 페이지를 생성해야 합니다. AI는 비밀 체크리스트나 검사관의 규칙을 볼 수 없습니다.

4. 결과: AI는 여전히 배우는 중입니다

그들은 세계 최고의 9개 AI 모델을 테스트했습니다. 결과는 놀라웠습니다.

점수: 가장 뛰어난 AI조차 약 **28%**의 테스트만 통과했습니다.
환상: 많은 AI가 스크린샷상으로는 완벽해 보이지만 "보이지 않는 검사관" 테스트에서는 실패하는 세계를 만들어냈습니다. 그들은 풍경은 잘 만들었지만, 물리 법칙이나 버튼을 게임 로직에 연결하는 법을 잊어버렸습니다.
주요 실수: AI는 대개 "외형"은 제대로 구현했지만 다음 항목에서 실패했습니다:
- 스키마 드리프트(Schema Drift): AI가 검사관에게 알리지 않고 게임의 규칙을 변경했습니다(예: 공은 빨간색이어야 하는데, AI가 파란색으로 만들고 점수 업데이트를 하지 않음).
- 끊어진 연결(Broken Chains): AI가 문을 만들었지만, 손잡이를 문에 연결하지 않아 문이 열리지 않는 식입니다.

5. "가치" 확인: 돈값을 하는가?

저자들은 또한 이 AI들을 사용하는 것이 인간 개발자를 고용하는 것에 비해 비용을 절감할 수 있는지 계산했습니다.

반전: AI가 자주 실패함에도 불구하고, 단순한 작업의 경우 매우 저렴하고 빠르기 때문에 여전히 많은 돈을 아껴줍니다. 이는 마치 아주 저렴하고 빠른 견습생을 둔 것과 같아서, 쉬운 일은 빠르게 처리하지만 복잡한 일은 인간의 도움이 필요합니다.
지표: 그들은 "자동화 수익률(Return on Automation)" 점수를 만들었습니다. 쉬운 작업(멋진 시각 효과 만들기 등)의 경우 AI는 아주 좋은 거래입니다. 하지만 어려운 작업(복잡한 물리 법칙 등)의 경우, AI는 여전히 인간을 대체하기에는 신뢰도가 낮습니다.

요약

WorldCoder-Bench는 AI에 대한 현실 점검입니다. 이는 우리가 예쁜 그림에 속지 않도록 막아주며, AI가 만든 3D 세계가 내부적으로 실제로 작동하는지 증명하도록 강제합니다. 현재 최고의 AI 모델들은 자동차의 완벽한 그림을 그릴 줄은 알지만, 실제로 달리는 엔진을 만드는 법은 아직 배우지 못한 재능 있는 화가와 같습니다. 우리는 점점 가까워지고 있지만, AI가 스스로 완전히 기능적이고 상호작용 가능한 세계를 구축하기까지는 아직 갈 길이 멉니다.

기술 요약: WorldCoder-Bench

문제 정의

현재의 대규모 언어 모델(LLM)은 자연어를 기반으로 실행 가능한 웹 애플리케이션을 생성하는 과업을 점점 더 많이 부여받고 있습니다. 그러나 기존의 웹 생성 벤치마크는 주로 정적인 인터페이스나 2D 시각적 출력(픽셀, DOM 노드)을 평가하는 데 치중되어 있습니다. 이러한 접근 방식은 브라우저 네이티브 3D 월드(예: Three.js로 구축된 환경)를 평가하기에는 불충분합니다. 왜냐하면 핵심 로직인 물리 시뮬레이션, 충돌 감지, 상태 동기화가 불투명한 <canvas>와 JavaScript 런타임 내부에서 발생하기 때문입니다.

본 논문은 결정적인 "사각지대"를 식별합니다. 생성된 3D 월드는 시각적으로는 그럴듯해 보일 수 있지만(스크린샷이나 DOM 기반 검사를 통과함에도 불구하고), 물체가 올바르게 충돌하거나, 에너지가 예상되는 속도로 소산되거나, UI 위젯이 엔진 상태와 동기화되어 유지되는 것과 같은 근본적인 행동 요구 사항을 충족하지 못할 수 있습니다. 기존의 평가 패러다임(스크린샷, DOM 탐색, 또는 외부 에이전트 탐색)은 이러한 메커니즘을 검증하는 데 필요한 내부 런타임 상태에 접근할 수 없으며, 이로 인해 코드 정확성을 평가할 때 높은 위양성(false-positive) 비율을 초래합니다.

방법론

1. WORLDCODER-BENCH: 벤치마크

저자들은 자율적이고 물리적으로 근거가 있는 3D 월드 합성을 평가하기 위해 설계된 2,026개의 전문가 큐레이션 태스크로 구성된 WORLDCODER-BENCH를 소개합니다.

태스크 구조: 각 태스크는 모델이 자연어 프롬프트를 바탕으로 Three.js를 사용한 단일 독립형 HTML 파일을 생성할 것을 요구합니다. 태스크에는 선택적으로 .glb 에셋이 포함될 수 있습니다.
분류 체계: 태스크는 세 가지 매크로 의도(macro-intents)로 분류됩니다:
- 시뮬레이션(Simulation): 물리적으로 진화하는 시스템 (예: 연성체, 화학, 물리).
- 렌더링(Rendering): 제어 가능한 시각 효과 (예: 셰이더, 재질, 포스트 프로세싱).
- 애플리케이션(Application): 목표 지향적 상호작용 사용 (예: 게임, 건축, 애니메이션).
스플릿(Splits):
- WORLDCODER-CORE: 주요 리더보드를 위한 205개의 고난도 태스크.
- WORLDCODER-EXTENDED: 대규모 비교를 위한 1,621개의 태스크.
- WORLDCODER-ROBUST: 템플릿 암기를 통한 일반화를 테스트하기 위해 무작위화된 물리 상수(중력, 탄성), 객체 수, 에셋 파일명을 적용한 CORE 태스크의 615개 변형 버전.
- WORLDCODER-DEV: 디버깅을 위해 공개된 계약(contracts)이 포함된 200개의 공개 태스크.

2. STATEPROBE: 실행 기반 검증

3D 월드의 "숨겨진" 동작을 평가하기 위해, 저자들은 시각적 관찰을 넘어선 실행 기반 프로토콜인 STATEPROBE를 제안합니다.

런타임 인터페이스: 생성된 프로그램은 좌표, 속도, 상호작용 플래그와 같은 변수를 보고하는 표준화된 상태 인터페이스(예: window.__3D_STATE__)를 노출해야 합니다.
숨겨진 계약(Hidden Contracts): 각 태스크는 도메인 전문가가 작성한 숨겨진 실행 가능 행동 계약과 쌍을 이룹니다. 이 계약은 기대되는 어포던스(affordances), 상태 전이, 그리고 수치적 불변량(예: 보존 법칙)을 정의합니다.
변이 강건성(Mutation Hardening): 계약은 **변이 테스트(mutation testing)**를 통해 엄격하게 교정됩니다. 참조 구현체에 흔히 발생하는 결함(오래된 상태 업데이트, 깨진 에셋 로딩, 잘못 지정된 이벤트 타겟 등)을 주입합니다. 계약은 이러한 변이된 버전을 성공적으로 거부할 때만 승인되며, 이를 통해 "통과"가 느슨한 임계값이 아닌 실제 정확성을 반영하도록 보장합니다.
실행 흐름: 프로그램은 헤드리스 크로미엄(Chromium) 브라우저에서 실행됩니다. 스크립트된 액션 시퀀스가 월드를 구동하며, STATEPROBE는 각 단계 전후의 상태를 스냅샷하여 델타(delta) 값을 숨겨진 계약과 대조하여 검증합니다.

3. 지표

이진 통과/실패를 넘어, 본 논문은 다음을 도입합니다:

커버리지 지표:
- 어포던스 커버리지 (A-Cov): 필수 객체/제어 장치의 존재 여부.
- 상태 커버리지 (S-Cov): 중간 상태의 도달 가능성.
- 전이 커버리지 (T-Cov): 액션에 의해 트리거된 상태 변화의 정확성.
- 검증 커버리지 (V-Cov): 주요 지표로서, 통과된 숨겨진 단언(assertions)의 비율.
유틸리티 지표:
- 자동화 수익률 (RoA): 달러당 절감된 품질 조정 인간 노동 가치.
  _ 시간 효율성 승수 (TEM): 모델 생성 시간당 절감된 인간 시간.

주요 기여

WORLDCODER-BENCH: 시각적 그럴듯함이 아닌 생성된 Three.js 월드의 행동적 정확성을 점수화하는 최초의 벤치마크로, 15개의 세밀한 도메인에 걸쳐 2,026개의 태스크를 다룹니다.
STATEPROBE: 물리, 에셋 통합 및 상태 동기화를 검증하기 위해 숨겨진 변이 강건 계약과 런타임 상태 프로빙을 사용하는 새로운 평가 프로토콜입니다.
유틸리티 지표: 정확성, 추론 비용, 지연 시간을 결합하여 저렴하지만 부정확한 출력을 페널티를 부여함으로써 실질적인 경제적 가치를 측정하는 RoA와 TEM을 도입했습니다.
경험적 분석: (GPT-5.4, Claude Opus 4.6, Qwen3.6-Plus를 포함한) 9개의 프런티어 모델을 벤치마킹하여 시각적 외관과 기능적 정확성 사이의 상당한 격차를 밝혀냈습니다.

실험 결과

저자들은 9개의 프런티어 모델을 WORLDCODER-CORE 및 WORLDCODER-ROBUST에서 평가했습니다:

낮은 검증 커버리지: 가장 성능이 좋은 모델(GPT-5.4)조차 CORE에서 27.8%, ROBUST에서 **19.9%**의 V-Cov만을 달성했습니다. 어떤 시스템도 숨겨진 계약에서 30%를 넘지 못했습니다.
실패 모드: 실패는 장면 요소의 누락이나 물리 계산 오류보다는 **상태 스키마 드리프트(State Schema Drift, 42.8%)**와 **끊어진 상호작용 체인(Broken Interaction Chains, 40.8%)**에 의해 지배되었습니다. 모델들은 종 часто 시각적으로는 그럴듯한 장면을 생성했지만, 사용자 액션과 런타임 상태를 동기화하는 데 실패했습니다.
평가 패러다임의 실패: 외부 평가 방법(DOM 전용, 스크린샷+VLM, 에이전트 탐색)은 실제 ground-truth V-Cov와 거의 상관관계가 없거나 음의 상관관계를 보였습니다. 예를 들어, DOM 기반 스코어링은 Kendall $\tau_b$ 가 -0.021이었으며, 에이전트 기반 탐색은 심각한 결함이 있는 출력의 45.6%를 잘못 통과시켰습니다.
강건성: 독점 모델과 오픈 웨이트 모델 간의 격차는 ROBUST 스플릿에서 더 넓어졌습니다 (CORE의 6점 차이 대비 2.5점 차이). 이는 오픈 모델이 메커니즘 이해보다 템플릿 회상에 더 많이 의존함을 시사합니다.
경제적 가치: 낮은 V-Cov에도 불구하고, "저렴한" 모델(예: DeepSeek-V4-Flash)은 낮은 추론 비용 덕분에 높은 RoA($19,150 per dollar)를 보였으며, 빠른 모델(GPT-5.4)은 TEM(68.9x)에서 앞섰습니다. 렌더링 태스크는 시뮬레이션이나 애플리케이션 태스크보다 훨씬 쉬웠습니다.

의의 및 주장

본 논문은 WORLDCODER-BENCH와 STATEPROBE가 현재 시각 전용 평가기에 의해 가려져 있는 3D 코딩에서의 LLM 특유의 실패 모드를 진단하는 데 필수적이라고 주장합니다.

진단적 가치: 벤치마크는 3D 월드 합성의 주요 장벽이 정적인 기하학적 구조의 생성이 아니라, 액션과 동기화된 런타임 상태 계약 및 물리적 불변량의 유지임을 밝혀냈습니다.
현재 모델의 한계: 가장 강력한 모델조차 숨겨진 행동 계약을 준수하는 실행 가능한 월드를 일관되게 생성하는 데 실패하며, 이는 "그럴듯해 보인다"는 것이 더 이상 "제대로 작동한다"는 것의 충분한 대리 지표가 아님을 나타냅니다.
미래 방향: 저자들은 이 벤치마크를 단순한 그럴듯한 장면이 아닌 실행 가능한 월드를 구축할 수 있는 에이전트 개발을 가이드하는 진단 플랫폼으로 포지셔닝합니다. 이들은 발전의 척도가 시각적 외관이 아닌 행동적 신뢰성, 특히 현재 모델들이 어려움을 겪고 있는 복잡한 시스템 및 물리 중심 태스크의 "롱테일(long tail)" 영역에 맞춰져야 함을 강조합니다.