← 최신 논문
🤖 인공지능

3D GameDev Arena: Benchmarking Coding Agents That Plan, Build, and Playtest extreme Long-Horizon Browser Games

이 논문은 자동화된 코딩 에이전트가 복잡한 3D 브라우저 게임을 처음부터 계획하고, 구축하고, 플레이테스트하는 능력을 평가하기 위해 108개의 초장기(extreme long-horizon) 태스크를 특징으로 하는 종합적인 벤치마크인 3D GameDev Arena를 소개하며, 현재의 에이전트들이 이러한 과업에 어려움을 겪고 있다는 점과 코드 수준의 정확성이 플레이어의 선호도를 보장하지는 않는다는 점을 밝히고 있습니다.

원저자: Bizhe Bai, Jiliang Jian, Yuqing Yan, Tao Chen, Ying Wen

게시일 2026-11-19
📖 3 분 읽기☕ 가벼운 읽기

원저자: Bizhe Bai, Jiliang Jian, Yuqing Yan, Tao Chen, Ying Wen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 비디오 게임을 컴퓨터에 설명하기만 하면, 컴퓨터가 단순히 코드를 작성하는 것을 넘어 캐릭터를 디자인하고, 3D 세계를 구축하며, 재미 요소까지 스스로 테스트할 수 있는 세상을 상상해 보십시오. 이것은 연구자들이 기계에게 소프트웨어 엔지니어처럼 행동하도록 가르치고 있는 인공지능의 최전선입니다. 한동안 이러한 AI 시스템들은 기존 코드의 작은 오류를 수정하거나 단순한 평면 프로그램을 만드는 능력을 입증해 왔습니다. 하지만 이들의 진정한 능력에 대한 시험대는 아무것도 없는 상태에서 복잡한 무언가를 만들어내는 것, 즉 실감 나고 보기 좋으며 실제로 플레이하기 즐거운 거대한 3차원 게임을 만드는 데 있습니다. 이는 엄청난 도전인데, 비디오 게임은 단순히 명령의 목록이 아니라 물리 법칙, 시각 효과, 그리고 플레이어의 선택이 매끄럽게 어우러져야 하는 살아있는 시스템이기 때문입니다. 만약 코드는 작동하지만 게임이 뻣뻣하거나 지루하게 느껴진다면, 그것은 가장 중요한 목적을 달달성하지 못한 것입니다.

중국의 여러 대학 연구진은 '3D GameDev Arena'라는 새로운 테스트 환경을 구축함으로써 이 도전에 뛰어들었습니다. 그들은 현재의 AI 에이전트가 빈 폴더와 간단한 텍스트 설명에서 시작하여 처음부터 완전한 3D 게임을 구축할 수 있는지 확인하고자 했습니다. 연구진은 AI에게 미리 만들어진 템플릿, 시작 코드, 또는 바로 사용할 수 있는 3D 모델을 제공하지 않았습니다. 대신, AI는 프로젝트 전체를 계획하고, 캐릭터와 환경 같은 디지털 자산을 직접 찾거나 생성하며, 캐릭터를 움직이게 하는 코드를 작성한 다음, 게임이 제대로 작동하는지 확인하기 위해 직접 플레이해야 했습니다. 과제는 레이싱, 격투, 역할 수행 모험 등 14가지의 서로 다른 게임 유형을 아우를 정도로 까다로웠습니다. 일부 과제의 경우 AI가 게임을 계획하고, 구축하고, 수정하기 위해 천 번 이상의 개별적인 두뇌 호출을 수행하며 거의 8시간 동안 실행되어야 했습니다.

이 실험의 결과는 기계가 정확하게 수행할 수 있는 일과 인간이 느끼는 재미 사이의 놀라운 간극을 드러냈습니다. 연구진은 세 가지 별개의 방식으로 게임을 평가했습니다. 첫째, 캐릭터의 체력이 타격을 받았을 때 올바르게 감소하는지와 같이 게임이 규칙을 따르는지 코드를 점검했습니다. 둘째, 자동화된 에이전트를 사용하여 게임을 플레이하며 3D 세계가 어떻게 보이는지, 그리고 조작감이 얼마나 부드러운지를 판단했습니다. 마지막으로, 연구진은 게임을 공개 아레나에 배치하여 실제 인간 플레이어들이 두 가지 버전의 동일한 게임을 플레이하게 한 뒤 선호하는 버전을 투표하게 했습니다. 연구 결과, AI가 기술적 규칙을 통과하는 게임을 자주 구축할 수는 있었지만, 규칙을 통과하는 것이 게임의 재미를 보장하지는 않는다는 사실이 밝혀졌습니다. 실제로 기술 테스트에서 동일하게 우수한 성적을 거둔 두 AI 시스템이 인간 플레이어들에게는 매우 다르게 평가되었으며, 한 시스템이 다른 시스템보다 두 배 이상 더 높은 선호도를 얻기도 했습니다.

이 연구는 성공적인 게임의 핵심이 AI가 얼마나 많은 코드를 작성했는지 또는 3D 오브젝트를 얼마나 많이 장면 안에 추가했는지에 달려 있지 않다는 점을 밝혀냈습니다. 가장 인기 있는 게임을 만들어낸 한 AI 시스템은 코드베이스를 작고 조직적으로 유지한 반면, 플레이어 선호도에서 고전한 다른 시스템은 방대한 양의 코드를 작성하고 화면을 수십 개의 추가 3D 모델로 가득 채워 게임을 탐색하기 어렵게 만들었습니다. 가장 결정적인 차이는 AI가 자신의 작업을 검증하는 방식에 있었습니다. 인간이 가장 좋아한 시스템들은 실제 브라우저에서 게임을 플레이하며 캐릭터의 움직임을 관찰하고 플레이어처럼 조작감을 테스트하는 데 시간을 보냈습니다. 반면 인간이 선호하지 않은 시스템들은 주로 정적인 검증에 의존하여, 게임을 실제로 실행해 보지 않고 종이 위에서 코드가 맞는지 확인하는 데 그쳤습니다. 이는 AI가 게임 개발과 같은 창의적인 과업을 진정으로 마스터하기 위해서는 단순히 논리를 검증하는 것을 넘어, 자신의 창작물을 직접 경험하는 법을 배워야 함을 시사합니다.

이러한 통찰에도 불구하고, 연구진은 빈 바닥에서 대규모 3D 게임을 구축하는 것이 아직 해결되지 않은 문제라고 결론지었습니다. 가장 뛰어난 AI 시스템조차 기술적 요구 사항의 약 3분의 2만을 충족했을 뿐이며, 어떤 시스템도 플레이 가능성이나 인간의 선호도 측면에서 높은 점수에 도달하지 못했습니다. AI는 여전히 생성된 3D 모델을 작동하는 게임에 통합하는 데 어려움을 겪고 있으며, 캐릭터가 세계관에 어울리지 않거나 제대로 움직이지 않는 경우가 빈번했습니다. 또한, AI는 몇 시간의 작업 후에도 목표를 놓치지는 않았지만, 게임을 자연스럽게 만들기 위해 계획을 조정하는 데는 자주 실패했습니다. 연구진은 올바른 코드를 작성하는 능력이 매력적인 경험을 창조하는 능력과 같지는 않다고 강조합니다. AI가 계속 진화함에 따라, 다음 단계는 단순히 명령을 따르는 기계를 만드는 것이 아니라, 놀이의 미묘한 인간적 감각을 이해할 수 있는 시스템을 구축하는 것입니다.

연구 분야의 논문에 파묻히고 계신가요?

연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.

Digest 사용해 보기 →