기술 요약: 컷신 에이전트

1. 문제 정의

고품질 비디오 게임 컷신 제작은 감독, 애니메이터, 촬영 감독 등 다학제적 팀의 조율이 필요한 자원 집약적 과정으로, 수 분에 달하는 완성된 콘텐츠를 생성합니다. 최근 생성형 AI(예: 확산 기반 텍스트 - 비디오) 의 발전으로 시각적 영상을 생성할 수는 있지만, 다음과 같은 치명적인 "편집 가능성 격차"에 직면해 있습니다:

• 구조 부재: 출력물이 원시 픽셀 시퀀스나 정적 JSON 에 불과하여, 전문 편집에 필요한 기본 의미 구조(키프레임, 애니메이션 곡선, 타이밍 데이터) 가 결여되어 있습니다.
• 엔진 단절: 생성된 콘텐츠가 게임 엔진 파이프라인 외부에 존재하여, 반복 작업, 정제, 또는 생산 워크플로우에 직접 통합하는 것이 불가능합니다.
• 조정 복잡성: 컷신 생성은 장기 계획, 상호 의존적 도구 호출의 엄격한 순서화(예: 캐릭터 애니메이션 전에 캐릭터 생성), 실시간 상태 인식이 필요하며, 현재 LLM 에이전트는 환각이나 상태 이탈 없이 이를 관리하는 데 어려움을 겪습니다.

2. 방법론: 컷신 에이전트 프레임워크

저자들은 자연어 스크립트에서 직접 네이티브 편집 가능 언리얼 엔진 레벨 시퀀스를 생성하는 LLM 기반 프레임워크인 컷신 에이전트를 제안합니다. 이 시스템은 세 가지 핵심 기둥을 기반으로 구축되었습니다:

A. 컷신 툴킷 (MCP 기반)

이 프레임워크는 LLM 에이전트와 언리얼 엔진 간의 양방향 통신을 확립하기 위해 **모델 컨텍스트 프로토콜 (MCP)**을 기반으로 구축된 컷신 툴킷을 도입합니다.

• 양방향 통합: 에이전트가 명령만 전송하는 전통적인 도구 사용과 달리, 이 툴킷은 에이전트가 레벨 시퀀스의 실시간 상태를 지속적으로 관찰할 수 있게 합니다. 모든 결정 전에 현재 장면 상태(캐릭터 바인딩, 트랙 타이밍, 카메라 컷) 가 JSON 으로 직렬화되어 에이전트의 컨텍스트에 주입됩니다.
• 모듈형 도구 세트: 툴킷은 네 가지 기능 모듈을 MCP 도구로 노출합니다:
  1. 캐릭터 및 트랙 관리: 액터 생성, 애니메이션, 오디오, 표정 바인딩.
  2. 애셋 관리 및 쿼리: 엔진 경로에 대한 환각을 방지하기 위해 엄격한 공개/비공개 데이터 분리를 갖춘 이중 계층 시스템(정적 Excel 기반 + 동적 런타임 가져오기).
  3. 카메라 관리: 의미적 의도를 정밀한 뼈 기반 카메라 포즈로 변환하는 매개변수 템플릿 시스템(예: OTS, POV, 돌리) 으로, 원시 좌표 환각을 방지합니다.
  4. 장면 인식 및 상호작용: 시퀀스 상태 직렬화, 메타데이터 업데이트, 시각적 검증을 위한 스크린샷 캡처를 위한 도구.

B. 멀티 에이전트 시스템

이 시스템은 복잡한 워크플로우를 관리하기 위해 계층적 에이전트 아키텍처를 사용합니다:

• 디렉터 에이전트: 우선순위 기반 프롬프트 관리자와 자동 상태 주입을 통해 컨텍스트 창을 관리하며 생성 과정을 조정합니다.
• 전문 하위 에이전트: 디렉터는 애니메이션, 촬영, 사운드 디자인 등 사전 설정된 하위 에이전트에게 작업을 위임하며, 이들은 격리된 컨텍스트 창과 제한된 도구 화이트리스트를 가집니다. 이는 추론의 교차 오염을 방지하고 장기 의존성을 관리합니다.
• 시각적 추론 피드백 루프: 렌더링된 장면의 스크린샷을 캡처하고 구성(프레임, 가림, 3 분의 1 법칙) 을 분석하여 카메라 또는 캐릭터 위치를 반복적으로 정제하기 위해 수정 도구 호출을 발행하는 지각 - 추론 - 행동 사이클에 진입하는 시각 능력을 갖춘 하위 에이전트(포토그래퍼) 를 포함하는 중요한 혁신입니다.

C. 평가 프레임워크: 컷신벤치

창의적이고 장기적인 도구 조정에 대한 벤치마크 부재를 해결하기 위해 저자들은 세 가지 계층을 가진 계층적 평가 프레임워크인 컷신벤치를 도입합니다:

1. 레이어 1 (도구 사용 정확성): 도구 선택 정확도, 매개변수 유효성, 호출 완전성, 의존성 준수 (DAG 준수) 를 평가합니다.
2. 레이어 2 (구조적 무결성): 트랙 완전성, 카메라 커버리지 (간격 없음), 시간적 일관성(오디오/애니메이션 정렬) 을 위해 최종 레벨 시퀀스를 프로그래밍 방식으로 검증합니다.
3. 레이어 3 (내러티브 및 영화적 품질): LLM-as-Judge(멀티모달) 를 사용하여 0~100 점 척도로 스크립트 충실도, 캐릭터 일관성, 영화적 품질, 시간적 일관성을 점수화합니다.

3. 주요 기여

1. 컷신 툴킷: LLM 과 게임 엔진을 연결하는 포괄적이고 엔진에 구애받지 않는 MCP 인터페이스로, 사전 렌더링된 비디오가 아닌 편집 가능한 네이티브 애셋 생성을 가능하게 합니다.
2. 에이전트 시스템 아키텍처: 자동 상태 주입, 카테고리 인식 히스토리 압축, 그리고 에이전트가 자신의 출력을 "보고" 수정할 수 있게 하는 폐루프 시각적 추론 메커니즘을 특징으로 하는 새로운 멀티 에이전트 시스템.
3. 컷신벤치: 창의적 도메인에서 장기적, 상태 기반, 다단계 도구 조정을 위해 특별히 설계된 새로운 벤치마크로, BFCL 나 SWE-bench 와 같은 기존 벤치마크에서 다루지 않는 복잡성 차원 (10~60 회 도구 호출) 을 포괄합니다.

4. 실험 결과

이 프레임워크는 8 개의 서로 다른 LLM(Claude Opus 4.6, GPT-5.4, Qwen 3.5 Plus 포함) 을 사용하여 5 개의 복잡성 등급에 걸친 65 개의 테스트 시나리오에서 평가되었습니다.

• 성능 계층화:
  • 최상위 등급: Claude Opus 4.6은 모든 계층에서 거의 완벽한 점수를 달성했습니다 (도구 선택 정확도 100%, 호출 완전성 100%, 카메라 커버리지 96.4%, 총 L3 점수 50.2/100).
  • 중간 등급: GPT-5.4 와 Claude Sonnet 4.6 과 같은 모델은 강력한 구조적 무결성을 보였으나 영화적 품질이 약간 낮았습니다 (L3 점수 약 41~42).
  • 하위 등급: 작은 모델들 (예: Qwen 2.5-72B) 은 크게 실패하여 호출 완전성이 약 56% 로 떨어졌고, 렌더링 가능한 시퀀스를 생성하지 못하는 구조적 무결성 실패를 보였습니다.
• 주요 발견:
  • 복잡성 확장: 최상위 등급인 Claude Opus 4.6 을 제외하고 대부분의 모델은 시나리오 복잡도가 증가함에 따라 성능이 단조롭게 저하되었으나, 복잡한 다중 캐릭터 장면에서도 완벽한 점수를 유지했습니다.
  • "중간 크기" 격차: 플래그십 모델과 중간 크기 모델 사이에는 질적인 성능 절벽이 존재하며, 후자는 컷신에 필요한 엄격한 의존성 순서화 및 상태 관리에 어려움을 겪습니다.
  • 영화적 품질: 가장 차별적인 지표는 **카메라 커버리지 (L2)**와 **영화적 품질 (L3)**이었으며, 모델이 스크립트를 따를 수는 있지만 전문급 카메라 작업을 생성하는 것은 여전히 큰 과제임을 강조했습니다.

5. 중요성 및 향후 방향

컷신 에이전트는 "비디오 생성"에서 "생산 애셋 생성"으로 이동함으로써 AI 기반 게임 개발의 패러다임 전환을 의미합니다.

• 편집 가능성 격차 해소: 네이티브 레벨 시퀀스를 출력함으로써 시스템은 전문 파이프라인에 직접 통합되어 인간 아티스트가 처음부터 시작하는 대신 AI 생성 콘텐츠를 정제할 수 있게 합니다.
• 에이전트 AI 를 위한 새로운 벤치마크: 컷신벤치는 장기적, 상태 기반, 창의적 작업에서 LLM 을 평가하기 위한 엄격한 기준을 수립하여, 현재 모델들이 복잡한 도구 생태계를 조정하는 능력에서 극적으로 차이가 있음을 드러냈습니다.
• 향후 작업: 저자들은 프레임워크를 액션 안무, 대규모 군중 장면, 엔진 간 이식성 (예: 유니티, 블렌더) 으로 확장하고, 인간 - 에이전트 협업 워크플로우를 개발할 것을 제안합니다.

요약하자면, 이 연구는 올바른 아키텍처 제약 (MCP, 상태 주입, 시각적 피드백) 과 평가 기준을 통해 LLM 에이전트가 3D 컷신 생성의 복잡하고 다단계인 과정을 효과적으로 자동화하여 구조적으로 건전하고 영화적으로 표현력 있는 애셋을 생성할 수 있음을 보여줍니다.