AutoUE: Automated Generation of 3D Games in Unreal Engine via Multi-Agent Systems

이 논문은 Unreal Engine 에서 3D 게임의 자산 생성부터 코드 작성 및 자동 테스트까지 전 과정을 수행하는 다중 에이전트 시스템 'AutoUE'를 제안하며, 이를 통해 도구 사용 환각을 줄이고 견고한 게임 생성이 가능함을 입증합니다.

핵심

🎮 AutoUE: 게임 개발자를 대신하는 'AI 팀장' 이야기

이 논문은 **"언리얼 엔진 (Unreal Engine)"**이라는 복잡한 3D 게임 제작 툴에서, 사람이 직접 코딩하고 장치를 맞추지 않아도 AI 가 알아서 게임을 만들어주는 시스템을 소개합니다. 이 시스템의 이름은 **'AutoUE(오토유이)'**입니다.

기존의 AI 는 그림을 그리거나 글을 쓰는 데는 뛰어나지만, "게임 엔진"이라는 정교한 공장에서 실제로 작동하는 게임을 만드는 건 매우 어렵습니다. 마치 레고로 성을 짓는 것은 쉽지만, 그 레고 성 안에 전기 배선을 깔고, 문이 열리고, 캐릭터가 움직이게 만드는 것은 훨씬 어렵기 때문이죠.

AutoUE 는 이 문제를 해결하기 위해 **5 명의 AI 전문가로 구성된 '팀'**을 꾸렸습니다. 각 팀원이 맡은 역할은 다음과 같습니다.

---

🏗️ AutoUE 의 5 인조 AI 팀

1. 소스 찾기 팀 (Model Retrieval Agent)

• 역할: 게임에 필요한 3D 모델 (나무, 집, 캐릭터 등) 을 찾아옵니다.
• 비유: 마치 **"건축 자재 창고"**에 가서 "눈 덮인 캠프장"을 만들려면 어떤 텐트와 모닥불이 필요한지 찾아내는 구매 담당자입니다.
• 특징: 85 만 개가 넘는 3D 모델 데이터베이스를 뒤져서, 가장 적합한 자재를 찾아옵니다.

2. 현장 설계 팀 (Scene Generation Agent)

• 역할: 찾은 자재들을 어떻게 배치할지 설계도를 그립니다.
• 비유: **"건축 현장 감독"**입니다. 단순히 나무를 심는 게 아니라, "나무가 지나치게 빽빽하지 않게, 그리고 산에 자연스럽게 붙이게" 배치하는 **PCG(절차적 콘텐츠 생성)**라는 기술을 사용합니다.
• 핵심: AI 가 임의로 코드를 짜면 배선이 꼬일 수 있는데, 이 팀은 미리 정해진 안전한 배치 패턴을 따르도록 설계되어 있습니다.

3. 코딩 팀 (Gameplay Code Agent)

• 역할: 게임의 규칙과 로직을 코딩합니다.
• 비유: **"전기 기사 및 기계 엔지니어"**입니다. "문은 열어야 하고, 보물은 줍고, 적과 싸워야 한다"는 규칙을 C++ 코드로 변환합니다.
• 핵심: AI 가 코딩할 때 흔히 하는 실수 (환각) 를 막기 위해, 게임 개발의 **표준 규칙 (디자인 패턴)**과 엔진의 안전 수칙을 엄격하게 따르도록 훈련시켰습니다.

4. 상호작용 팀 (Interactive Object Agent)

• 역할: 게임 속 사물들이 플레이어와 어떻게 소통할지 연결합니다.
• 비유: **"연결 기술자"**입니다. 코딩 팀이 만든 '보물상자' 모듈과 '플레이어'를 연결하여, "플레이어가 보물상자를 클릭하면 상자가 열리고 보물이 나온다"는 연결고리를 만듭니다.

5. 테스트 팀 (Automated Play-testing Agent)

• 역할: 만들어진 게임을 직접 플레이하며 버그를 찾습니다.
• 비유: **"게임 테스트러 (QA)"**입니다. 사람이 일일이 해보지 않아도, AI 가 자동으로 게임을 실행하고 "문이 열리나?", "캐릭터가 벽에 부딪히나?"를 확인하고 리포트를 작성합니다.

---

🛠️ AutoUE 가 특별한 이유 (3 가지 비밀 무기)

이 시스템이 기존 AI 와 다른 점은 다음과 같습니다.

1. 할루시네이션 (환각) 방지책 (RAG 기술)

   • 문제: AI 는 모르는 것을 지어내는 경향이 있습니다. 복잡한 게임 엔진 도구를 다룰 때 "없는 기능"을 만들어내면 게임이 망가집니다.
   • 해결: AutoUE 는 실제 엔진 매뉴얼을 검색해서 (RAG) 정확한 사용법을 참고하게 합니다. 마치 요리사가 레시피 책을 옆에 두고 요리하는 것처럼, 실제 문서에 근거해서 작업을 합니다.

2. 규칙에 맞는 코딩 (디자인 패턴)

   • 문제: AI 가 만든 코드는 한 번은 작동해도 나중에 수정하기 어렵거나, 다른 기능과 충돌할 수 있습니다.
   • 해결: 게임 개발자들이 수백 년간 쌓아온 표준적인 설계 방식을 따르도록 했습니다. 그래서 코드가 깔끔하고, 나중에 기능을 추가하기도 쉽습니다.

3. 자동 테스트 시스템

   • 문제: 게임이 잘 만들어졌는지 확인하려면 사람이 직접 플레이해봐야 합니다.
   • 해결: AutoUE 는 스스로 게임을 실행하고 테스트 명령어를 입력하여, 게임이 실제로 작동하는지 자동으로 평가합니다.

---

📊 결과는 어땠나요?

연구진은 20 가지의 다양한 게임 시나리오 (숲속의 초소, 모험, 전투 등) 를 만들어보게 했습니다.

• 결과: AutoUE 는 완전히 작동하는 3D 게임을 끝까지 만들어냈습니다.
• 비교: 기존에 있던 다른 AI 들은 단순히 '장면'만 만들거나, '코드'만 만들었지만, AutoUE 는 장면 + 코드 + 상호작용 + 테스트를 모두 연결하여 실제 플레이 가능한 게임을 완성했습니다.
• 품질: 만든 게임의 그래픽과 플레이감은 기존 방법들보다 훨씬 자연스럽고 안정적이었습니다.

💡 결론

이 논문은 **"AI 가 이제 게임 개발자의 조수에서, 게임을 직접 기획하고 제작하는 '팀장'으로 성장했다"**는 것을 보여줍니다. AutoUE 는 복잡한 게임 엔진의 기술적 장벽을 낮춰주어, 누구나 아이디어만 있다면 쉽게 3D 게임을 만들어볼 수 있는 시대를 열었습니다.

마치 **"레고 블록을 주면, AI 가 알아서 설계도도 짜고, 조립도 하고, 완성된 성을 직접 뛰어다니며 테스트까지 해주는 마법 같은 로봇"**이라고 생각하시면 됩니다! 🤖🏰✨

기술 요약

1. 문제 정의 (Problem)

상업용 게임 엔진 (Unreal Engine 등) 에서 3D 게임을 자동으로 생성하는 것은 여전히 해결되지 않은 난제입니다.

• 복잡성: 3D 게임 생성은 장면 (Scene) 구성, 블루프린트, 코드 작성 등 다양한 엔진 관련 워크플로우를 통합해야 하므로 매우 복잡합니다.
• 기존 연구의 한계: 최근 대규모 언어 모델 (LLM) 을 활용한 게임 생성 연구가 진행되고 있으나, 대부분 2D 게임이나 단일 구성 요소 (장면 생성 또는 로직 생성만) 에 집중되어 있습니다.
• 핵심 과제: LLM 이 엔진 도구를 사용할 때 발생하는 할루시네이션 (Hallucination), 게임 디자인 패턴 부재로 인한 유지보수 불가능한 코드 생성, 그리고 생성된 게임의 동적 행동을 평가하기 위한 자동화된 테스트 부재 등의 문제가 존재합니다.

2. 방법론 (Methodology)

저자들은 AutoUE라는 새로운 다중 에이전트 시스템 (Multi-Agent System) 을 제안하여, 자연어 설명으로부터 UE(Unreal Engine) 에서 실행 가능한 3D 게임을 엔드 - 투 - 엔드 (End-to-End) 로 생성합니다. 시스템은 다음과 같은 5 개의 에이전트로 구성됩니다.

2.1 시스템 아키텍처 및 워크플로우

1. 모델 검색 에이전트 (Model Retrieval Agent):
   • 입력된 게임 설명을 바탕으로 필요한 3D 오브젝트 목록을 생성합니다.
   • 85 만 개 이상의 3D 모델이 포함된 데이터베이스 (TexVerse) 에서 텍스트 임베딩을 기반으로 가장 적합한 모델을 검색 (Semantic Retrieval) 합니다.
2. 장면 생성 에이전트 (Scene Generation Agent):
   • 검색된 모델들을 바탕으로 UE 의 PCG (Procedural Content Generation) 도구를 활용하여 장면을 구성합니다.
   • 고정된 좌표 대신 PCG 그래프 (노드 체인) 를 생성하여 시각적으로 편집 가능한 레이아웃을 만듭니다.
   • RAG (Retrieval-Augmented Generation) 를 적용하여 PCG 노드의 파라미터와 핀 연결 (Pin Connection) 정보를 엔진 문서에서 검색하여 할루시네이션을 방지합니다.
3. 게임플레이 코드 에이전트 (Gameplay Code Agent):
   • 게임 로직을 모듈화하여 UE C++ 코드를 생성합니다.
   • 게임 개발의 일반적인 디자인 패턴과 엔진의 제약 조건 (Export 매크로, 헤더 포함 등) 을 준수하도록 프롬프트에 포함시켜, 컴파일 가능하고 유지보수가 용이한 코드를 생성합니다.
4. 상호작용 객체 에이전트 (Interactive Object Agent):
   • 생성된 모듈 (예: 인벤토리, 대화 모듈) 을 호출하여 실제 상호작용 (줍기, 대화 등) 을 구현하는 C++ 코드를 생성합니다.
   • 객체 간의 상호작용 흐름을 정의하고 이를 코드에 반영합니다.
5. 자동 플레이 테스트 에이전트 (Automated Play-testing Agent):
   • 생성된 게임의 동적 행동을 평가하기 위해 런타임 테스트 명령어를 자동으로 생성하고 실행합니다.
   • MCP (Model Context Protocol) 를 통해 UE 런타임 환경과 연결되어 테스트를 수행하고, 로그 및 스크린샷을 기반으로 게임을 평가합니다.

2.2 핵심 기술적 혁신

• RAG 기반 도구 사용 가이드: LLM 이 UE 도구 문서를 기반으로 정확한 사용법을 학습하도록 하여 도구 사용 오류를 줄였습니다.
• 디자인 패턴 및 제약 조건 통합: 게임 개발 관행과 엔진 제약을 코드 생성 과정에 명시적으로 포함시켜 견고한 코드를 보장합니다.
• 자동화된 플레이 테스트 파이프라인: 정적 검사가 아닌, 실제 런타임 환경에서의 실행을 통해 동적 행동을 체계적으로 평가합니다.

3. 주요 기여 (Key Contributions)

1. UE 기반 3D 게임 생성을 위한 엔드 - 투 - 엔드 다중 에이전트 시스템: 장면, 로직, 상호작용, 테스트를 통합하여 완전한 게임을 생성하는 최초의 체계적인 프레임워크 중 하나입니다.
2. 할루시네이션 감소 및 코드 품질 향상: RAG 메커니즘과 게임 디자인 패턴을 도입하여 LLM 의 오류를 줄이고 재사용 가능한 모듈 코드를 생성합니다.
3. 게임 생성 데이터셋 및 벤치마크 구축: 20 개의 다양한 게임 생성 태스크 (PlayGen-20) 와 자동 평가 파이프라인을 제공하여 3D 게임 생성 연구의 표준 벤치마크를 마련했습니다.

4. 실험 결과 (Results)

저자들은 PlayGen-20 데이터셋 (쉬움, 보통, 어려움 3 단계) 을 사용하여 시스템을 평가했습니다.

• 전체 게임 품질 (Q1): LLM 을 심사위원으로 활용한 평가에서 AutoUE 는 장면, 게임플레이, 시각적 일관성 측면에서 높은 점수를 받으며, 엔드 - 투 - 엔드 실행 가능한 게임을 안정적으로 생성함을 입증했습니다.
• 장면 생성 품질 (Q2): 기존 생성 모델 (DreamFusion, Magic3D 등) 과 절차적 생성 모델 (Infinigen, UnrealLLM 등) 과 비교했을 때, GAS (GPT Aesthetic Score) 기준 7.8 점으로 가장 높은 점수를 기록했습니다. 특히 UE 내장 PCG 도구를 활용한 레이아웃 구성이 우수함을 보였습니다.
• PCG 그래프 유효성 (Q3): RAG 와 사전 정의된 패턴 (Large/Small object patterns) 을 제거한 Ablation Study 결과, 노드 생성, 파라미터 채우기, 핀 연결 성공률이 급격히 떨어졌습니다. 이는 제안된 메커니즘이 PCG 그래프의 신뢰성에 필수적임을 증명합니다.
• 게임플레이 코드 품질 (Q4): 의존성 관리, 코드 템플릿, 엔진 제약 조건을 제거한 변형 실험에서 모든 변형이 컴파일 실패를 겪었습니다. 반면 AutoUE 는 높은 컴파일 성공률과 통합 점수를 기록하여, 제안된 설계가 실행 가능한 코드 생성에 결정적임을 입증했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 게임 개발 자동화의 새로운 지평: AutoUE 는 LLM 과 게임 엔진 간의 격차를 해소하고, 복잡한 3D 게임 개발 워크플로우를 자동화할 수 있는 가능성을 보여줍니다.
• 확장 가능한 인프라: 생성된 코드와 테스트 파이프라인은 모듈화되어 있어 향후 더 복잡한 게임 장르나 기능으로 확장하기 용이합니다.
• 실용적 가치: 이 연구는 게임 개발자의 생산성을 높이고, 아이디어를 실제 실행 가능한 프로토타입으로 빠르게 전환하는 데 기여할 수 있습니다.

결론적으로, AutoUE 는 LLM 의 언어 이해 능력과 게임 엔진의 기술적 제약을 효과적으로 결합하여, 신뢰할 수 있고 실행 가능한 3D 게임을 자동 생성하는 새로운 패러다임을 제시합니다.