기술 요약: 디자인 비디오 생성 평가: 구성 충실도 지표

문제 정의

생성형 비디오 모델이 디자인 애니메이션 작업에 점점 더 적용되고 있지만, 이 분야에는 표준화된 평가 프레임워크가 부재합니다. 자연 비디오 생성과 달리 디자인 애니메이션은 엄격하고 구조화된 제약을 부과합니다. 특정 구성 요소는 지정된 운동 유형, 방향, 속도 및 타이밍으로 애니메이션되어야 하며, 비애니메이션 영역은 안정적으로 유지되어야 하고 전체 공간 레이아웃은 보존되어야 합니다. 프레체 비디오 거리 (FVD) 나 소규모 인간 연구와 같은 기존 평가 방법은 이러한 구성 요구 사항을 포착하지 못합니다. 결과적으로 모델은 종종 지시를 올바른 시각적 영역에 연결하지 못하거나, 지배적인 운동을 전역적으로 적용하지 못하거나, 잘못된 요소를 애니메이션화하거나, 프롬프트와 관련 없는 운동을 환각적으로 생성하는 등의 문제를 겪습니다. 본 논문은 주관적인 인간 평가에 의존하지 않고 디자인 비디오 생성의 진전을 벤치마킹하기 위한 완전 자동화된 차원 분해 평가 프레임워크의 필요성에 대응합니다.

방법론

데이터셋 구축

저자들은 LICA(레이어드 이미지 컴포지션 어노테이션) 코퍼스에서 파생된 전용 평가 데이터셋을 구축했습니다. 해당 데이터셋은 다음을 포함합니다:

• 소스: LICA 비디오 하위 카테고리에서 온 66 개의 고유한 템플릿을 아우르는 136 개의 소스 레이아웃.
• Ground Truth: 레이아웃 JSON 메타데이터에서 생성된 결정론적 참조 렌더링 (MP4 및 최종 프레임 PNG). 이 메타데이터에는 구성 요소별 바운딩 박스, 애니메이션 유형 (31 가지 유형 분류 체계 기반), 방향, 지속 시간, 트리거 시간, 그리고 가시 지속 시간이 포함됩니다.
• 두 가지 트랙:
  1. 단일 구성 요소 트랙 (86 개 샘플): 각 레이아웃에서 하나의 애니메이션 요소를 균일한 배경 위에 격리하여 원자적 운동 벤치마크를 제공합니다. 15 가지 운동 동사 하위 집합으로 제한됩니다.
  2. 전체 레이아웃 트랙 (136 개 샘플): 장면당 최대 30 개의 애니메이션 구성 요소를 가진 완전한 다중 구성 요소 컴포지션 (894 개 구성 요소 평가) 을 보존하며, 전체 LICA 운동 어휘를 계승합니다.

평가 프레임워크

본 프레임워크는 디자인 비디오를 네 가지 차원인 레이아웃 충실도, 운동 정확도, 시간적 품질, 콘텐츠 충실도에 걸쳐 평가합니다.

1. 추적:

   • 단일 구성 요소: 균일한 배경에 대한 시간적 차이를 통해 윤곽선 기반 방향성 바운딩 박스 (OBB) 추적기를 사용합니다.
   • 전체 레이아웃: 약 50 만 개의 LICA 레이아웃으로 훈련된 파인튜닝된 YOLOv11-OBB 검출기를 사용합니다. 다중 객체 추적 대신, 교차율 (IoU) 기반의 헝가리 알고리즘을 사용하여 검출된 OBB 를 Ground Truth 레이아웃 폴리곤과 매칭합니다.

2. 운동 정확도:

   • 운동 유형: 31 개의 원시 LICA 운동 동사는 기하학적 궤적 행동에 기반하여 10 개의 관찰 가능한 클래스 (예: 스크랩북, 페이드, 팝, 회전) 로 그룹화됩니다. 규칙 기반 의사결정 트리는 중심점 변위, 스케일 스파이크, 회전 각도, 불투명도 대리 변수와 같은 특징을 사용하여 관찰된 운동을 분류합니다. 의미적으로 관련된 레이블 (예: 팝 대 스크랩북) 에 대해서는 부분 점수가 부여됩니다.
   • 운동 방향: 구성 요소 중심점의 변위를 측정하고 각도를 8 개의 나침반 방향 또는 회전 유형으로 범주화하여 예측합니다. 일시적인 운동은 초기 프레임 변위를 사용하고, 지속된 운동은 순 변위를 사용합니다.
   • 지속 시간:
     • 애니메이션 지속 시간: 중심점, 스케일, 회전, 불투명도 변화를 결합한 운동 에너지 신호를 통해 추정합니다.
     • 구성 요소 가시 지속 시간: 검출기 존재의 가장 긴 연속 실행으로 추정합니다.

3. 콘텐츠 충실도 (텍스트 복원 가능성):

   • 레이아웃에 지정된 문자열이 읽을 수 있는지 평가합니다.
   • 프레임은 초당 2 프레임 (2 fps) 으로 샘플링됩니다. 인식된 텍스트 줄은 문자 오류율 (CER) 기반의 최소 비용 이분 매칭을 사용하여 Ground Truth 문자열과 매칭됩니다.
   • 지표에는 Best AR(시간에 따른 각 구성 요소별 최우수 할당 인식 점수의 평균) 과 Hard AR(최소 하나의 정확한 매칭이 있는 구성 요소의 비율) 이 포함됩니다.

주요 기여

1. 최초의 차원 분해 프레임워크: 운동 유형, 방향, 지속 시간, 텍스트 등 각 축이 레이아웃 사양에 독립적으로 근거하는 완전 자동화된 디자인 애니메이션 평가 시스템.
2. 서브 지표 세트: 운동 정확도 내에서 Ground Truth 신호가 메타데이터에서 자동으로 추출되는 네 가지 서브 지표 (유형, 방향, 애니메이션 지속 시간, 가시 지속 시간) 를 도입합니다.
3. 이중 트랙 벤치마크: 이미지, 텍스트, 그룹 구성 요소를 아우르는 15 가지 애니메이션 유형을 포함하는 86 개의 단일 구성 요소 클립과 136 개의 전체 레이아웃 템플릿 데이터셋.
4. 실증적 검증: 학습된 분류기 없이 투명한 규칙 기반 파이프라인을 사용하여 단일 구성 요소 렌더링에서 Ground Truth 운동 속성을 87.8% 의 정확도로 복원함을 입증합니다.

실험 결과

본 프레임워크는 두 개의 최첨단 모델인 Sora-2와 Veo-3.1에 적용되었습니다.

• 운동 유형:
  • 단일 구성 요소 트랙에서 Sora-2 는 60.2% 의 정확도를 달성했고 Veo-3.1 은 64.9% 를 달성했습니다 (Ground Truth 렌더링의 87.8% 상한선 대비).
  • 전체 레이아웃 트랙 (추적기 신뢰 Subset) 에서 Veo-3.1(65.5%) 이 Sora-2(61.5%) 를 약간 능가했으나, 두 모델 모두 Ground Truth 상한선 (69.0%) 에 미치지 못했습니다.
  • 실패 모드: 주요 오류 원인은 페이드와 팝 운동이 스크랩북 클래스로 붕괴되는 것이었으며, 이는 다중 구성 요소 장면에서 불투명도 변화나 미묘한 스케일 펄스를 감지하지 못하는 YOLO 추적기의 한계로 인해 주로 발생했습니다.
• 운동 방향:
  • 방향 감지는 존재 여부 (Ground Truth 전체 레이아웃 기준 91.3%) 에 대해서는 강력했으나 정확한 나침반 정확도 (Ground Truth 전체 레이아웃 기준 14.4%) 에서는 어려움을 겪었습니다.
  • 회전 방향 (시계 방향/반시계 방향) 은 OBB 축 방향 모호성으로 인해 거의 감지 불가능했습니다 (0% 정확도).
• 지속 시간:
  • 모델들은 애니메이션 지속 시간에서 상당한 편향을 보였습니다. Sora-2 는 운동을 단축하는 경향 (음의 편향) 이 있었으며, Veo-3.1 은 종종 지속 시간을 과대평가하거나 충분히 애니메이션화하지 못해 신호가 에너지 임계값 아래로 떨어지게 했습니다.
• 텍스트 복원 가능성:
  • 참조 렌더링과 생성된 비디오 사이에는 명확한 격차가 존재합니다. 전체 레이아웃 장면에서 최상의 생성 결과 (LLM 평가자를 사용한 Sora-2) 는 Hard AR 0.671 을 달성한 반면, 참조 렌더링은 0.940 을 기록했습니다.
  • Sora-2 는 전체 레이아웃에서 텍스트 보존 측면에서 Veo-3.1 일관적으로 능가했습니다.

중요성 및 주장

본 논문은 특정 실패 모드를 가리는 집계된 지각 점수를 넘어 디자인 애니메이션 분야를 위한 공통적이고 재현 가능한 벤치마크를 확립한다고 주장합니다. 평가를 레이아웃, 운동, 시간, 콘텐츠 차원으로 분해함으로써 프레임워크는 과소 애니메이션, 방향 부정확성, 복잡한 컴포지션에서의 텍스트 열화 등 현재 모델들의 뚜렷한 약점을 드러냅니다.

저자들은 이 작업을 새로운 생성 능력보다는 측정 도구로 위치시킵니다. 그 중요성은 연구자와 디자이너가 특정 구성 실패를 진단할 수 있는 투명한 자동화 파이프라인을 제공한다는 점에 있습니다. 이는 AI 도구가 신뢰할 수 없는 대체제가 아닌 디자이너의 보조 도구로 작용하도록 보장하는 전문 워크플로우 및 접근성 민감 애플리케이션의 책임 있는 배포를 위한 전제 조건으로 제시됩니다. 본 논문은 현재 모델들이 유망함을 보여주지만, 집계된 지표로는 분리할 수 없는 뚜렷하게 다른 실패 모드를 보이며, 이러한 구조화된 평가 접근법이 필요하다고 결론지었습니다.