Grounding Machine Creativity in Game Design Knowledge Representations: Empirical Probing of LLM-Based Executable Synthesis of Goal Playable Patterns under Structural Constraints

이 논문은 목표 플레이 가능 패턴 (GPC) 을 기반으로 한 게임 디자인 지식 표현을 활용하여 대규모 언어 모델 (LLM) 이 구조적 제약 하에서 유니티 엔진 실행 가능 게임을 생성할 수 있는지 검증하고, 중간 표현 (IR) 을 통한 파이프라인이 직접 생성 방식보다 컴파일 성공률 향상에 기여하며 '그라운딩'과 '위생' 실패 모드가 주요 병목임을 규명합니다.

핵심

🍳 핵심 비유: "완벽한 레시피를 가진 요리사가 왜 요리를 망칠까?"

상상해 보세요. 아주 유명한 **요리사 (AI 모델)**가 있습니다. 이 요리사는 책에서 본 요리법 (게임 디자인 패턴) 을 보고 요리를 만들 수 있습니다. 하지만 이 요리사는 **특정 주방 (Unity 엔진)**에서만 일할 수 있습니다.

연구자들은 이 요리사에게 26 가지 다른 요리법 (게임의 목표 패턴, 예: "보물을 모으기", "적을 피하기" 등) 을 주고, 실제로 먹어볼 수 있는 요리 (실행 가능한 게임 코드) 를 만들어달라고 요청했습니다.

그런데 놀라운 결과가 나왔습니다. 아무도 성공한 요리를 만들어내지 못했습니다. 모든 시도가 실패했습니다.

🔍 왜 실패했을까요? (두 가지 주요 문제)

연구자들은 실패한 요리들을 분석해서 두 가지 종류의 실수를 발견했습니다.

1. "현실 감각 부족" (Grounding Failures)

• 비유: 요리사가 레시피에 "마법의 소금"이라고 적혀 있는 걸 보고, 실제로는 존재하지 않는 가상의 재료를 사오거나, 주방에 없는 특수 냄비를 찾으려다 난리를 치는 상황입니다.
• 실제 의미: AI 가 게임 엔진 (Unity) 의 실제 구조를 모르고, 존재하지 않는 코드나 변수를 만들어냈습니다. 예를 들어, "이 캐릭터가 점프할 때 쓰이는 함수"가 있는데, AI 는 그 함수가 없는 다른 함수를 호출하거나, 아예 없는 클래스를 만들어내는 식입니다.
• 원인: AI 는 게임 엔진이라는 '현실 세계'의 규칙을 잘 모르고, 레시피 (디자인 아이디어) 만 보고 막연하게 상상해서 코드를 짰기 때문입니다.

2. "청소 및 정리 실수" (Hygiene Failures)

• 비유: 재료는 다 맞는데, 요리사가 칼을 잘못 썼거나, 소스 병 뚜껑을 닫지 않아서 요리에 이물질이 섞이거나, 레시피를 읽다가 문장을 잘못 끊어서 요리가 엉망이 된 경우입니다.
• 실제 의미: 코드의 문법 오류, 중복된 이름, 불필요한 기호 등이 섞여 컴파일 (요리 완성) 이 안 되는 경우입니다. 이는 AI 의 지능 부족보다는 '코딩 실수'에 가깝습니다.

🛠️ 연구자들은 어떻게 해결하려 했나요? (중간 단계 도입)

연구자들은 "그냥 레시피를 주고 요리해라"라고만 하지 않고, 중간 단계를 거치도록 시켰습니다.

• 기존 방식: "게임 아이디어 (자연어)" → "직접 코드 작성"
• 새로운 방식: "게임 아이디어" → "중간 설계도 (IR)" → "코드 작성"

이 **'중간 설계도 (IR)'**는 요리사가 주방의 실제 도구 (Unity 의 prefab, 스크립트 등) 를 정확히 파악하고, 어떤 재료가 어디에 있어야 하는지 상세히 적어주는 기술 도면 같은 것입니다.

📉 결과는 어땠나요?

1. 일부 개선: 중간 설계도를 쓰자, '현실 감각 부족 (Grounding)' 실수는 줄어들었습니다. AI 가 주방의 실제 도구 이름을 더 정확히 알게 된 것입니다.
2. 새로운 문제 발생: 하지만 설계도가 너무 복잡해지자, 요리사가 요리하는 데 너무 많은 시간을 써서 (Timeout) 결국 요리를 끝내지 못하고 포기하는 경우가 훨씬 더 늘었습니다.
3. 결론: 결국 아무도 성공한 게임을 만들어내지 못했습니다. (컴파일 성공률 0%)

💡 이 연구가 우리에게 주는 교훈

이 논문은 "AI 가 게임을 자동으로 만들 수 있다"는 낙관적인 전망보다는, **"아직은 AI 가 복잡한 게임 엔진의 규칙을 완벽하게 이해하고 코드를 짜는 것은 매우 어렵다"**는 사실을 냉정하게 보여줍니다.

• AI 는 아이디어는 잘 내지만, 실제 실행 (구현) 을 위한 세부적인 규칙을 지키는 데는 한계가 있습니다.
• 중간 설계도 (IR) 를 쓰면 도움이 되지만, 너무 복잡해지면 AI 가 혼란을 겪습니다.
• 미래의 해결책: AI 가 코드를 직접 다 짜는 게 아니라, 인간이 '중간 설계도'를 더 잘 만들어주고, AI 는 그 설계도에 맞춰 '문법 오류'만 없애는 식으로 역할을 나누는 것이 필요하다는 것입니다.

🎯 한 줄 요약

"인공지능이 게임 아이디어를 실제 게임으로 바꾸려 했으나, 현실적인 엔진 규칙을 모르고 (현실 감각 부족) 혹은 **코딩 실수 (청소 실수)**를 범해 모두 실패했습니다. 중간 설계도를 쓰면 조금 나아지지만, 여전히 AI 가 복잡한 게임 코드를 완벽하게 구현하는 것은 **'아직은 요행'**에 가깝다는 것을 보여줍니다."

이 연구는 AI 가 게임 개발의 전 과정을 대신하기보다는, 인간 디자이너와 AI 가 서로의 강점을 살려 협업하는 방식을 찾아야 함을 시사합니다.

기술 요약

이 논문은 **게임 디자인 지식 표현을 기반으로 한 LLM(대형 언어 모델) 의 실행 가능한 게임 생성 (Executable Synthesis)**의 한계를 실증적으로 분석한 연구입니다. 저자들은 복잡한 게임 아이디어를 Unity 엔진과 같은 실행 가능한 아티팩트 (코드 및 프로젝트) 로 변환하는 과정에서 발생하는 'Grounding(현실 세계/엔진과의 연결)' 문제를 규명하고, 이를 해결하기 위한 중간 표현 (Intermediate Representation, IR) 의 역할을 평가했습니다.

다음은 논문의 주요 내용을 기술적으로 요약한 것입니다.

---

1. 연구 배경 및 문제 제기 (Problem Setting)

• 핵심 문제: 계산적 게임 창의성 (Computational Game Creativity) 분야에서 LLM 이 고수준의 게임 디자인 아이디어를 Unity 프로젝트나 C# 코드와 같은 실행 가능한 아티팩트로 변환하는 것은 여전히 주요 난제입니다.
• 구체적 과제: "Goal Playable Concepts (GPCs)"라고 불리는 목표 패턴 (Goal Patterns) 을 Unity 엔진 내에서 실행 가능한 시나리오로 구현하는 것입니다. 이는 단순히 코드를 생성하는 것을 넘어, Unity 의 컴포넌트 모델, 씬 그래프 아키텍처, MonoBehaviour 라이프사이클 등 엔진 고유의 구조적 제약을 준수해야 합니다.
• 가정: 인간이 작성한 디자인 지식 (구조화된 중간 표현, IR) 을 LLM 에 주입하면, LLM 이 엔진 제약 조건 하에서 더 신뢰할 수 있는 실행 가능한 코드를 생성할 수 있을 것이라고 가정했습니다.

2. 방법론 (Methodology)

연구는 26 개의 목표 패턴 (Goal Patterns) 을 기반으로 한 Unity 씬 구현을 대상으로 실험을 수행했습니다.

• 데이터셋: 26 개의 목표 패턴에 대한 참조 구현 (Reference Implementations) 을 사용했습니다. 각 패턴은 텍스트 설명, 그래프 구조 지식, 실행 가능한 Unity 코드로 구성됩니다.
• 모델: 두 개의 오픈소스 코드 특화 LLM 을 사용했습니다.
  • DeepSeek-Coder-V2-Lite-Instruct
  • Qwen2.5-Coder-7B-Instruct
• 파이프라인 비교:
  1. Direct Generation (Baseline): 자연어 (Markdown) → C# 코드 직접 생성.
  2. IR-Conditioned Pipeline: 자연어 → 중간 표현 (IR) JSON 생성 → C# 코드 생성.
     • IR 는 3 가지 조건으로 실험됨: Free(스키마 제약 없음), Min(최소 필드 스키마), Full(완전한 IR v0.2-runtime-evidence 스키마 및 4 가지 하드 제약 조건).
• 평가 지표:
  • M1 (Compile Success): Unity Batch Mode 를 통해 생성된 C# 스크립트가 실제로 컴파일되는지 확인 (Binary metric).
  • 실패 분석: 컴파일 실패 시 발생하는 C# 컴파일러 오류 코드를 분류하여 실패 원인을 분석했습니다.

3. 주요 기여 (Key Contributions)

1. 창의적 실현 (Creative Realization) 의 프레임워크: 실행 가능한 패턴 인스턴스화를 계산적 창의성 문제로 재정의하고, '컴파일 가능성'을 아티팩트 존재의 필수 조건으로 설정했습니다.
2. 실행 기반 평가 파이프라인: HPC 추론부터 Unity 배치 재생 (Batch Replay) 및 메트릭 집계까지의 종단간 (End-to-End) 워크플로우를 구축했습니다.
3. Unity 특화 IR (IR v0.2-runtime-evidence): 프로젝트 수준의 구조적 관례와 목표 패턴의 의미론적 지식을 인코딩하는 중간 표현을 설계하고 검증했습니다.
4. 구조화된 실패 분류 체계 (Failure Taxonomy): 생성 실패를 **Grounding Failure (현실 연결 실패)**와 **Hygiene Failure (형식/구문 실패)**로 분류하고, 각각의 원인과 빈도를 실증적으로 분석했습니다.

4. 실험 결과 (Results)

모든 실험 설정 (모델, 파이프라인, 구성) 에서 생성된 아티팩트의 100% 가 컴파일에 실패했습니다 (Pass@k = 0.0). 그러나 실패의 패턴을 분석한 결과는 중요한 통찰을 제공합니다.

• 실패 유형 분류:

  • Grounding Failure (G-Failure): 모델이 실제 프로젝트에 존재하지 않는 타입, 네임스페이스, 컴포넌트 바인딩 등을 참조하여 발생하는 오류 (예: CS0246 - 타입/네임스페이스 미존재, CS0115 - 오버라이드 불가). 이는 모델이 엔진 구조나 프로젝트 컨텍스트를 이해하지 못했음을 의미합니다.
  • Hygiene Failure (H-Failure): 문법 오류, 중복 선언, 포맷팅 누수 등 모델의 지식 부족과 무관하게 발생하는 형식적 오류 (예: CS1001, CS1029).

• IR 의 영향:

  • Grounding 개선: IR 조건부 생성 (특히 Free 설정) 은 아키텍처 관련 Grounding 오류 (예: CS0115) 를 거의 완전히 제거했습니다. 이는 IR 가 구조적 관례를 성공적으로 전달했음을 의미합니다.
  • 새로운 병목 현상: 하지만 IR 조건부 생성은 **프로젝트 수준의 Grounding 오류 (예: CS0246 - 특정 프로젝트 타입 미존재)**를 완전히 해결하지 못했습니다. 오히려 IR 가 복잡해질수록 (Full 설정) 생성된 코드가 더 복잡해져 컴파일 타임아웃 (Timeout) 이 급증했습니다 (No Schema: ~50% → Full IR: ~99%).
  • Hygiene 변화: IR 조건부 생성 시 중복 선언 오류는 줄어들었지만, IR 마크업이 코드에 유출되는 등의 새로운 형식 오류 (CS1029) 가 주를 이루었습니다.

• 패턴별 편차: 일부 목표 패턴 (예: Ownership) 은 IR 조건부 설정에서도 지속적인 Grounding 실패를 보인 반면, 다른 패턴들은 상대적으로 잘 작동했습니다. 이는 모든 패턴이 동일한 수준의 지식 주입을 필요로 하지 않음을 시사합니다.

5. 의의 및 결론 (Significance & Conclusion)

• Grounding 의 한계: 현재 LLM 기반의 게임 생성은 **프로젝트 수준 (Project-level)**과 엔진 수준 (Engine-level) 의 Grounding에서 심각한 병목 현상을 겪고 있습니다. 단순히 스키마를 제공하는 것만으로는 실제 엔진의 복잡한 컨텍스트를 완전히 이해시키기 어렵습니다.
• 인간 - 기계 협업의 재정의: 완전 자동화보다는 인간이 도메인 지식과 구조적 스키마를 제공하고, 기계가 생성의 폭을 담당하는 협업적 창의성 (Co-creativity) 모델이 필요합니다. 특히 패턴별로 필요한 지식의 깊이가 다르므로, 작업 공간 전체가 아닌 패턴 단위로 인간 - 기계의 경계를 조정해야 합니다.
• 미래 방향:
  • Grounding Failure 해결: 그래프 신경망 (GNN) 임베딩이나 RAG(검색 증강 생성) 를 통해 프로젝트 구조 지식을 더 정밀하게 주입.
  • Hygiene Failure 해결: 제약付き 디코딩 (Constrained Decoding) 이나 규칙 기반 정제를 통해 형식 오류 제거.
  • 생성 전략 변경: 전체 컴파일 문제를 우회하기 위해 씬 레벨의 생성으로 접근하거나, 프리팹 계층을 명시적 구조로 단순화하는 등의 방법 모색.

요약하자면, 이 연구는 LLM 이 게임 디자인 패턴을 실행 가능한 코드로 변환하는 과정에서 "지식 연결 (Grounding)"이 가장 큰 장벽임을 실증적으로 증명했습니다. IR 는 구조적 관례 전달에는 효과적이지만, 프로젝트 특유의 맥락 이해와 컴파일 복잡도 관리 측면에서는 한계가 있으며, 이를 해결하기 위해서는 더 정교한 지식 주입 메커니즘과 인간 - 기계의 역할 분담 전략이 필요함을 시사합니다.