기술 요약: Mage – LLM 생성 실행 가능 게임 장면의 다축 평가

문제 제기

현재 대규모 언어 모델 (LLM) 코드 생성에 대한 평가 표준은 컴파일 통과율과 단위 테스트 성공 (예: 독립 함수에 대한 pass@k) 에 크게 의존합니다. 저자들은 다중 구성 요소, 도메인 특화 산출물, 특히 Unity 의 실행 가능 게임 장면의 경우 이러한 지표가 적극적으로 오해의 소지가 있다고 주장합니다. 생성된 스크립트가 성공적으로 컴파일되더라도 기능적인 장면을 인스턴스화하지 못하거나, 승리 조건을 트리거하지 않고 가시적인 콘텐츠를 렌더링하거나, 결코 실행되지 않는 로직을 구현할 수 있습니다. 기존 벤치마크는 구문적 정확성 (컴파일) 과 기능적 정확성 (도메인 충실도) 사이의 불일치를 포착하지 못합니다. furthermore, 이전의 의미 수준 중간 표현 (IR) 조건부 시도들은 0% 의 컴파일율을 초래하여 실행 가능 코드 생성에 충분한 구조적 기반의 수준이 무엇인지에 대한 질문을 열어두었습니다.

방법론

본 논문은 4 개의 서로 다른 축을 통해 LLM 생성 Unity 2022 게임 장면을 평가하도록 설계된 벤치마크 및 평가 프로토콜인 Mage를 소개합니다.

1. 벤치마크 구축

• 데이터셋: Goal Playable Concept (GPC) 코퍼스에서 파생된 26 개의 수동 제작 Unity 2D 미니 게임으로, 자원 수집, 은신, 경쟁 플레이 등 다양한 목표 패턴을 포괄합니다.
• Ground Truth: 각 패턴은 손실 없는 JSON 표현을 가진 장면 그래프와 함께 완전한 평탄화된 Unity 장면 (프리팹이 GameObject 로 확장됨) 으로 구현됩니다.
• IR 추출: 자동화된 파이프라인이 두 가지 세분성 수준에서 중간 표현 (IR) 을 추출합니다.
  • 행동 전용: 스크립트 로직, 메서드 본문, 인스펙터 필드 값, 물리 구성, 그리고 승리/패배 조건 체인.
  • 전체 장면: 행동 전용 데이터에 모든 GameObject 의 수동 물리 객체, 카메라 구성, 경계, 그리고 렌더링 구성 요소를 추가한 데이터.
• 모델: 4 개의 오픈 가중치 LLM (7B~30B 활성 파라미터): Qwen3-Coder-30B, Gemma-4-26B, DeepSeek-Coder-V2-Lite, Qwen2.5-Coder-7B.
• 조건: 3 개의 프롬프트 전략이 858 개의 생성 시도 (패턴당 3 개의 시드) 에서 테스트되었습니다.
  1. 스키마 없음 (직접 NL-to-C#): 자연어 패턴 설명만 사용.
  2. 행동 전용 IR: 스크립트 로직을 포함한 Ground Truth 기반 JSON.
  3. 전체 장면 IR: 전체 장면 구조를 포함한 Ground Truth 기반 JSON.
• 통제: IR 조건부 효과를 분리하기 위해 모든 조건은 동일한 API 매핑 규칙과 프롬프트 템플릿을 공유했습니다.

2. 평가 프로토콜 (Mage)

이 프로토콜은 생성 품질을 4 개의 축을 따라 평가합니다.

1. 컴파일 성공: 생성된 C# 파일이 오류 없이 Unity 에 로드되는지 여부 (구식 참조 경고 제외).
2. 런타임 성공: 컴파일된 장면이 GameBuilder.Awake()를 실행하고 충돌 없이 깔끔하게 종료되는지 여부.
3. 구조적 충실도: 생성된 장면의 GameObject, 구성 요소, 스크립트, 태그를 Ground Truth 와 비교하는 다차원 F1 점수.
4. 메커니즘 준수: 집 F1 점수를 통해 승리/패배 경로 (단계, 효과, 조건) 의 정확성을 측정하는 정적 분석 지표.

주요 결과

컴파일 정확도 불일치

이 연구는 컴파일 통과율과 기능적 정확성 사이의 체계적인 역상관 관계를 드러냈습니다.

• 직접 NL-to-C# (스키마 없음): 가장 높은 평균 런타임 통과율 (43%) 을 달성했으며, 가장 강력한 모델 (Qwen3) 은 **80%**에 도달했습니다. 그러나 이러한 장면들은 구조적, 행동적으로 공허했습니다. 메커니즘 준수 F1 점수는 약 0.12(기저 바닥) 로 추락했고, 태그 F1 은 모든 모델에서 0.00이었습니다. 모델들은 파서를 만족시키는 작고 지역적으로 일관된 프로그램을 생성했지만 목표 패턴의 구조는 결여되었습니다.
• IR 조건부: IR(행동 전용 또는 전체 장면) 에 대한 조건부 설정은 런타임 통과율을 크게 감소시켰습니다 (평균: 각각 **14%**와 21%). 하지만 기능적 정확성은 극적으로 향상되었습니다. 가장 강력한 모델들의 메커니즘 준수 F1 은 0.82~1.00으로 상승했고, 구조적 충실도는 모든 차원에서 개선되었습니다.

세분성 포화

IR 조건부 설정 내에서 행동 전용과 전체 장면 세분성 간에 통계적 차이가 없었습니다. McNemar 의 정확한 검정은 4 개 모델 모두에서 p = 1.0을 산출하여, 이 벤치마크의 경우 행동 수준 정보가 입력 수준 조건부 설정을 포화시키기에 충분함을 나타냈습니다. 수동 장면 기하학 (전체 장면) 을 추가하는 것은 기능적 정확성에서 추가적인 이득을 주지 못했습니다.

오류 분석

컴파일 실패는 의미 오류(접근 불가 멤버, 형식 해결, 범위 충돌 등) 가 구문 오류보다 지배적이었습니다.

• 스키마 없음: 오류는 드물었으며, 모델들은 복잡한 구조를 피했습니다.
• IR 조건부: 오류는 IR 로 인해 도입된 특정 의미 실패로 이동했습니다. 예를 들어, CS0246(형식/네임스페이스 찾을 수 없음) 은 IR 조건 하에서만 나타났으며 (469 건 발생), IR 엔티티 이름을 Unity API 로 매핑하는 데 실패했음을 나타냈습니다. CS0122(접근 불가 멤버) 는 IR 에서 노출된 접근 한정자를 모델이 잘못 적용했기 때문에 행동 전용 IR 에서 급증했습니다 (862 건 발생).

기여

1. 평가 방법론: 도메인 특화 코드 생성에서 컴파일율과 기능적 정확성 사이의 체계적 불일치를 드러내는 4 축 프로토콜 (컴파일, 런타임, 구조적 충실도, 메커니즘 준수).
2. 벤치마크 및 데이터셋: 26 개의 Unity 목표 패턴, 두 가지 자동 추출 IR 세분성 수준, 858 개의 생성 출력, 그리고 독립적 검증을 위한 전체 재생 로그의 공개.
3. 실증적 특성화: 다음을 입증한 통제된 연구:
   • 이 도메인에서 컴파일율은 기능적 정확성과 역상관 관계에 있음.
   • 구조적 IR 조건부는 런타임 성공률의 대가로 도메인 충실한 구조를 회복함.
   • 행동 전용과 전체 장면 IR 간에 입력 수준 세분성 포화가 발생함.
4. 3 요인 분해: 구조적 기반이 올바른 코드를 생성하지 못하는 이유를 해석하기 위한 프레임 렌즈 (도메인 완전성, API 매핑 적절성, LLM 실행 충실도). 실패를 구문이 아닌 의미 해결 및 API 번역에 귀인함.

중요성 및 주장

본 논문은 컴파일 통과율이 다중 구성 요소, 도메인 특화 산출물을 평가하는 LLM 에 대해 부적절하고 종종 오해의 소지가 있는 신호라고 주장합니다. 저자들은 컴파일 지표에만 의존할 때 모델이 실제로는 "구조적으로 공허한" 코드를 생성하고 있음에도 모델이 잘 수행하고 있다는 잘못된 결론에 도달하게 된다고 주장합니다.

이 연구의 중요성은 구문적 유효성과 기능적 정확성 사이의 불일치를 감지하기 위해 다축 평가가 필수적임을 확립하는 데 있습니다. 저자들은 게임 엔진과 같은 무거운 도메인 특화 프레임워크가 관련된 작업의 경우, 벤치마크가 적어도 세 가지 축 (파서 수준 통과, 런타임 수준 통과, 도메인 충실도 통과) 을 보고해야 한다고 주장합니다. 이 연구는 구조적 IR 조건부가 기능적 정확성을 향상시키지만, API 매핑 및 형식 해결과 관련된 새로운 실패 모드를 도입한다고 시사하며, IR 과 도메인 API 간의 더 나은 번역 메커니즘의 필요성을 강조합니다.

본 논문은 단일 엔진 범위 (Unity), 인간 플레이 가능성 측정의 부재 (런타임 실행만 검증됨), 그리고 인과적 조사가 필요한 해석적 성격의 3 요인 분해와 같은 한계를 지적하며 겸손하게 결론을 내립니다.