기술 요약: PRISM - 프로그래밍적 시공간 추론을 위한 벤치마크

1. 문제 제기

최근 대규모 언어 모델 (LLM) 의 발전으로 자동화된 콘텐츠 생성이 비디오 영역까지 확장되었으나, 기존 접근법들은 프로그래밍적 비디오 생성 분야에서 상당한 한계에 직면해 있습니다. 현재 방법론들은 일반적으로 두 가지 경로를 따릅니다:

• 픽셀 단위 생성 (확산 모델): 높은 시각적 충실도를 달성하지만, 명시적인 기하학적 제약의 부재로 인해 공간적 일관성, 정확한 기호 렌더링, 그리고 장기적 논리적 일관성 확보에 어려움을 겪습니다.
• 프로그래밍적 생성: 이 접근법은 객체, 레이아웃, 시간적 역학을 정의하기 위해 스크립트 (예: Manim 사용) 를 실행하여 기하학적 정밀도와 제어 가능성을 제공합니다.

그러나 LLM 이 단순히 실행 가능한 비디오 프로그램을 생성하는 것을 넘어 공간적 및 시간적으로 정확한 프로그램을 합성할 수 있는지 평가하는 데 있어 중요한 격차가 여전히 존재합니다. 기존 벤치마크들은 다음과 같은 이유로 불충분합니다:

1. 일관된 객체 관계를 요구하는 연속적인 시간적 시퀀스 대신 정적 출력 (차트, 웹페이지) 에 초점을 맞춥니다.
2. 규모가 작아 다양한 현실 세계 시나리오를 포괄하지 못합니다.
3. 평가 프로토콜이 거시적인 "VLM-as-judge(심사자)" 평가나 단순 실행 확인에 의존하여, 특정 프레임에서만 나타나는 레이아웃 정렬 오류나 화면 밖으로 나가는 객체와 같은 미세한 렌더링 실패를 놓치고 있습니다.

핵심적인 과제는 **"실행 - 공간 격차 (Execution-Spatial Gap)"**입니다: 즉, 성공적으로 실행되는 코드와 시각적으로 일관되고 공간적으로 정확한 애니메이션을 생성하는 코드 사이의 불일치입니다.

2. 방법론

2.1 PRISM 벤치마크 구축

저자들은 PRISM(Programmatic Reasoning In Spatial Modalities, 공간적 양식에서의 프로그래밍적 추론) 을 소개했습니다. 이는 10,372 개의 인간 보정 명령어 - 코드 쌍을 포함하는 대규모 이중 언어 (영어/중국어) 벤치마크입니다.

• 규모 및 범위: 기존 프로그래밍적 비디오 벤치마크보다 20 배 더 크며, 교육용 애니메이션, 과학적 시연 등 현실 세계 지식 시각화에 기반한 437 개의 주제 카테고리를 포괄합니다.
• 데이터 큐레이션 프레임워크: 30,000 개 이상의 원시 후보를 필터링하기 위해 계층적 인간 개입 파이프라인이 활용되었습니다:
  1. 결정론적 하드 필터링: 자동화된 스크립트가 Manim 렌더링 파이프라인을 구문 분석하여 기하학적 위반 (예: 좌표 임계값) 을 감지하고 레이아웃 결함이 있는 샘플을 제거합니다.
  2. 경계 보정: 3,000 개의 전문가 주석 예제로 구성된 골드 서브셋을 사용하여 면제 규칙과 허용 오차 임계값을 정제하여 오탐지를 최소화했습니다.
  3. 인간 스포트 체크: 최종 의미론적 검토를 통해 애니메이션이 교육 콘텐츠와 일치하고 교육적으로 적절한지 확인합니다.
• 작업 정의: 이 작업은 자연어 명령 (교육 개요) 을 Manim 프로그램 ($C$) 과 렌더링된 비디오 ($V$) 로 매핑하는 제약 조건付き 코드 생성 문제 $f_\theta: I \to O$로 공식화되었습니다.

2.2 평가 프레임워크

PRISM 은 네 가지 상호 보완적인 지표를 가진 깔때기형 (funnel-style) 평가 프레임워크를 제안합니다:

1. 코드 수준 신뢰성: 실행 견고성을 측정합니다. 기본 통과율 (첫 시도 성공), 미세한 오류 분류 (API 환각, 오용, 텍스트 렌더링 오류 등), 그리고 실행 복잡성 (평균 렌더링 시간) 을 포함합니다.
2. 공간적 추론: 전체 애니메이션 시퀀스에 걸친 레이아웃 계획을 평가하는 핵심 종단 간 지표입니다. 세 가지 실패 모드를 감지합니다:
   • 레이아웃 중첩: 시각적 요소의 의도하지 않은 가림.
   • 경계 초과 (OOB): 가시 프레임 밖으로 확장되는 요소.
   • 레이아웃 누출: 지역적 영역을 초과하는 기하학적 확장 (예: 상자 밖으로 튀어나온 텍스트).
   • 메커니즘: 핵심 스냅샷을 캡처하고 객체 점 집합 및 바운딩 범위를 추출하며 결정론적 검사를 적용하는 자동화된 감사 파이프라인을 사용합니다.
3. 프롬프트 인식 동적 시각 복잡도 (PADVC): 입력 관련 동적 풍부함을 정량화합니다. 거의 정적인 출력 (과소 동적) 과 과도한 장식적 움직임 (과다 동적) 을 구분합니다. 프롬프트의 시각적 밀도에 대한 비텍스트 객체의 기하학적 진화 에너지를 기반으로 "중심화"된 점수 ($PADVC_c$) 를 계산합니다.
4. 시간적 밀도 (TD): 프레임 수준의 시각적 변화율 (시간적 활동) 을 측정합니다. PADVC 와 마찬가지로 너무 정적이거나 불필요한 전환으로 고통받는 비디오를 식별하기 위해 중심화된 점수 ($TD_c$) 를 사용합니다.

3. 주요 결과

저자들은 이 벤치마크에서 일곱 개의 주류 LLM(네 개의 폐쇄형: GPT-5.4, Gemini 3.1 Pro, Kimi K2, Claude Sonnet 4.6; 세 개의 오픈 소스: Qwen3.5, GLM-5, DeepSeek-V3.2) 을 평가했습니다.

• 실행 - 공간 격차: 평균적으로 실행 성공률에서 공간 통과율로 약 41% 하락한다는 놀라운 발견이 있었습니다. 예를 들어, GPT-5.4 는 영어에서 94.5% 의 실행률을 보였으나 공간 통과율은 30.8% 에 불과했습니다. 이는 실행 가능한 코드가 공간적 일관성을 보장하지 않음을 확인시켜 줍니다.
• 모델 성능:
  • 폐쇄형 모델은 일반적으로 코드 수준의 신뢰성 (실행 성공) 에서 우위를 보였으나, 제약 조건을 위반하는 "시각적으로 야심 찬" 출력으로 인해 높은 공간적 실패율을 겪는 경우가 많았습니다.
  • Gemini 3.1 Pro Preview는 가장 작은 실행 - 공간 격차 중 하나를 보이며 최고 공간 점수를 달성하여 가장 좋은 정합성을 입증했습니다.
  • 오픈 소스 모델은 다양한 성능을 보였으며, GLM-5 가 가장 균형을 이루는 반면, 다른 모델들은 API 오용 (Qwen3.5) 이나 경계 제어 (DeepSeek-V3.2) 에서 어려움을 겪었습니다.
• 동적 vs 공간적 트레이드오프: 높은 동적 강도 (높은 PADVC 또는 TD) 는 낮은 공간적 품질과 상관관계가 있습니다. 과도한 움직임이나 텍스트 확장을 생성하는 모델들은 종종 레이아웃 위반을 유발했습니다.
• 생각 모드 제거 분석: "생각 (thinking)" 모드를 활성화하는 것이 공간적 조직을 신뢰할 수 있게 개선하지는 못했습니다. 일부 경우 (예: Claude Sonnet 4.6) 생각 모드는 최종 공간 통과율을 개선하지 못한 채 공간적 오류 (중첩/OOB) 를 증가시키는 더 대담한 레이아웃 변경으로 이어졌습니다.

4. 중요성과 주장

본 논문은 PRISM 이 공간적으로 일관된 코드 생성을 발전시키기 위한 원칙적인 벤치마크를 제공하며, 현재 평가 방법의 한계를 넘어선다고 주장합니다.

• 실행 가능성을 넘어: 이 연구는 프로그래밍적 비디오 생성 평가가 단순한 코드 실행을 넘어 엄격한 공간적 및 시간적 추론 지표를 포함해야 함을 확립합니다.
• 병목 현상 식별: 결과는 장기적 공간적 추론이 기본 코드 생성 능력보다 현재 LLM 의 주요 병목 현상임을 강조합니다.
• 자원 제공: 결정론적 평가 프레임워크를 갖춘 대규모 고품질 데이터셋을 공개함으로써, PRISM 은 공간적 기반 프로그래밍적 비디오 생성에 대한 향후 연구를 위한 표준화된 테스트베드를 제공합니다.

저자들은 LLM 이 실행 가능한 코드를 생성할 수는 있지만, 현재로서는 확장된 애니메이션 시퀀스 전반에 걸쳐 기하학적 일관성을 유지할 수 있는 견고함이 부족하며, PRISM 은 이러한 격차를 측정하고 해소하는 데 도움이 되도록 설계되었다고 결론지었습니다.