기술 요약: 지식 조건부, 단일 패스 LLM 기반 실행 가능한 Unity 게임 장면 합성

문제 정의

현재 대규모 언어 모델(LLM)이 Unity C# 게임 스크립트를 생성하는 시연은 모델이 컴파일될 때까지 코드를 재생성하는 반복적인 수선 루프(iterative repair loops)에 크게 의존하고 있다. 이러한 워크플로우는 모델의 내재적 파라미터 지식과 수선 루프 또는 인간의 개입을 통한 교정 능력을 혼동한다. 또한, 기존의 평가는 불안정한 장르 레이블이나 자유 형식의 자연어에 의존하며, 이는 누적적인 연구에 필요한 재현성이 부족하다.

본 논문은 다음 질문을 다룬다: 인간의 피드백이나 반복적인 수선이 허용되지 않을 때, 단일 패스 LLM 생성이 보여주는 실행 가능한 게임 아티팩트의 내재적 능력 한계치는 무엇인가? 본 연구는 모델의 저장된 지식을 실무자의 도메인 전문성과 분리하여, 컴파일러를 엄격하고 객적인 관문으로 취급한다. 만약 스크립트가 첫 번째 패스에서 컴파일되지 않는다면, 이는 전적으로 모델의 결함으로 간주된다.

방법론

실험 설계

본 연구는 Björk와 Holopainen이 정의한 26가지 특정 게임플레이 디자인 패턴의 플레이 가능한 대응물인 목표 플레이 가능 개념(Goal Playable Concepts, GPCs) 생성을 평가한다. 이 패턴들은 불안정한 장르 레이블을 대체하여, 이론적으로 근거가 있고 재현 가능한 게임 디자인 어휘 역할을 한다.

• 규모: 10,400건의 생성 기록.
• 모델: 서로 다른 계열의 오픈 웨이트 모델 4종 (7B-Qwen2.5, 16B-DeepSeek, 22B-Codestral, 30B-Qwen3).
• 생성 모드:
  • 에디터 스타일(Editor-style): UnityEditor API를 사용하여 에디트 타임에 장면을 구축하는 스크립트.
  • 런타임 빌더(Runtime-builder): MonoBehaviour를 사용하여 플레이 타임에 프로그래밍 방식으로 장면을 구성하는 스크립트 (30B 모델에서만 테스트됨).
• 조건화 수준(Conditioning Levels): 네 단계의 중간 표현(Intermediate Representation, IR) 조건화:
  • 스키마 없음(No Schema): 패턴 설명으로부터 직접 생성.
  • 스키마 포함(With Schema - Free/Min/Full): JSON IR을 먼저 생성한 후, C# 코드 생성. 스키마의 엄격함은 최상위 필드 이름부터 전체 필드 정의 및 제약 조건까지 다양함.
• 절차: 각 기록은 단일 생성 패스이다. 생성된 C# 스크립트는 사전 구축된 Unity 프로젝트 내에서 컴파일된다. 컴파일 에러는 모델에 다시 피드로 전달되지 않는다.

실패 분류 체계 구축

저자들은 90,673건의 에러 발생 사례에서 관찰된 99개의 고유한 C# 컴파일러 에러 코드를 두 가지 상호 배타적인 클래스로 분류하였다:

1. 그라운딩 에러(Grounding Errors, 18개 코드): Unity 엔진 지식을 통해 해결해야 하는 도메인 특화적 실패. 이는 존재하지 않거나 오용된 Unity 타입, 네임스페이스, API를 포함한다 (예: CS0246: 타입 또는 네임스페이스를 찾을 수 없음; CS1061: 해당 멤버가 없음).
2. 하이진 에러(Hygiene Errors, 81개 코드): Unity 지식 없이도 진단 가능한 도메인 독립적인 구조적 결함. 여기에는 누락된 세미콜론, 일치하지 않는 중괄호, 선언되지 않은 변수와 같은 구문적 오류가 포함된다 (예: CS1003, CS1002).

주요 결과

1. 보편적 컴파일 실패

생성된 C# 스크립트 중 10,400건의 기록 전체에서 실행 가능한 장면으로 컴파일되는 경우가 단 한 건도 없었다. 이러한 균일한 실패는 생존자 편향(survivance bias)을 제거하여, 실패 모드에 대한 철저한 전수 조사를 가능하게 한다.

2. 에러 구성 및 모델 동작

• 그라운딩 vs 하이진 분포: 그라운딩과 하이진 에러의 분리는 목표 패턴과 모델 설정에 따라 크게 달라진다.
  • 높은 그라운딩 패턴: Unity의 인지 및 물리 API와 결합된 개념들(예: Stealth, Rescue, Exploration, Survive)은 주로 그라운딩 에러로 실패한다. 모델은 디자인 의미론을 충족하기 위해 존재하지 않는 엔진 컴포넌트(예: GuardAI, Pathfinding)를 발명한다.
  • 높은 하이진 패턴: 일반적인 상태 조작으로 환원 가능한 개념들(예: Capture, Collection)은 주로 하이진 에러로 실패한다. 생성된 스크립트는 Unity 지식이 테스트되는 층위에 도달하기 전에 구조적(구문적)으로 붕괴된다.
• 모델 규모 및 정체성: 모델 크기를 키우는 것(7B에서 30B로)이 실행 가능한 장면을 만들어내지는 못하지만, 구성을 변화시킨다. 더 큰 모델(30B-Qwen3-Ed 등)은 컴파일러에 더 자주 도달하며 그라운딩 층(API 지식 부족)에서 실패하는 반면, 작은 모델은 종종 포맷 게이트(새니타이저 거부)나 하이진 층(구문 오류)에서 실패한다.
• IR 조건화 효과: 엄격한 스키마 조건화는 실패를 해결하는 것이 아니라 위치를 이동시킨다.
  • 작은 모델(7B, 16B)의 경우, 엄격한 스키마는 새니타이저 거부율을 높여(최대 89%) 코드가 컴파일러에 도달하는 것을 방지한다.
  • 큰 모델(22B, 30B-Ed)의 경우, 엄격한 스키마는 포맷 준수율을 개선하여 더 많은 기록이 컴파일러에 도달하게 한다. 그러나 이는 에러 프로필을 그라운딩 에러 쪽으로 이동시킨다. 즉, 모델이 올바른 엔진 참조가 없는 상태에서도 구문적으로 유효한 코드를 생성하도록 강제되기 때문이다.
• 생성 모드: 에디터 스타일에서 런타임 빌더 모드로 전환하는 것은(30B 테스트) 에러를 재분배하지만 그라운딩 실패를 제거하지는 못한다. 일부 사례(예: Collection)에서는 런타임 모드가 컴파일 성공률을 개선하지 못한 채 심각한 하이진 스파이크를 유발했다.

3. 패턴별 에러 프로필

본 연구는 26가지 목표 패턴을 그들이 요구하는 엔진 지식의 정도에 따라 경험적으로 순위를 매긴다.

• Stealth (일부 구성에서 그라운딩 비중 ~0.98)는 주로 모델이 시각 및 탐지 기능을 위한 존재하지 않는 엔진 특정 타입을 발명하기 때문에 실패한다.
• Capture (일부 구성에서 그라운딩 비중 ~0.0)는 주로 구조적 구문 에러로 인해 실패하며, 이는 해당 로직이 특정 엔진 API 없이도 일반 C#으로 표현될 수 있기 때문이다.

의의 및 주장

본 논문은 개별 컴파일러 에러 단위로 LLM의 엔진 결합 코드 생성 실패 모드를 체계적으로 조사한 첫 번째 연구라고 주장하며, 주요 기여는 다음과 같다:

1. 그라운딩/하이진 분류 체계: 90,673건의 관찰된 컴파일 진단 결과를 바탕으로 도메인 특화적(엔진 지식) 에러와 도메인 독립적(구조적) 에러를 공식적으로 구분하였다.
2. 설계 복잡성에 대한 에러 기반 관점: 게임플레이 개념의 의미론적 복잡성을 그것이 유발하는 에러 유형에 따라 경험적으로 순위화할 수 있음을 입증한다. 특정 엔진 API(인지, 물리)를 요구하는 패턴은 모델의 파라미터 엔진 지식 부족을 드러내는 반면, 일반 로직에 의존하는 패턴은 구조적 생성의 약점을 드러낸다.
3. 단일 패스의 한계치: 7B–30B 오픈 웨이트 계층 내에서 단일 패스 생성의 병목 현상은 모델 규모나 생성 모드, 혹은 구조적 조건화가 아니라 누락된 엔진 특정 지식임을 밝혀냈다.
4. 설계자를 위한 실질적 진단 도구: 에러 프로필은 게임 디자이너와 개발자에게 구체적인 가이드를 제공한다. 이는 어떤 게임플레이 개념(예: Stealth)이 현재 보조 없는 단일 패스 LLM 생성의 범위를 벗어나 외부 엔진 지식 지원(예: RAG 또는 파인튜닝)을 필요로 하는지, 그리고 어떤 개념(예: Capture)이 구문적 후처리나 문법 가이드 디코딩에 적합한지를 나타낸다.

저자들은 반복적인 수선 루프가 실제로는 유용하지만, LLM의 내재적 한계를 은폐한다는 결론을 내린다. 단일 패스 평가는 외부 엔진 지식 주입 없이는 현재의 모델들이 실행 가능한 Unity 장면을 합성할 수 없음을 보여준다.