OmniScript: 장편 영화용 오디오 - 비주얼 스크립트 생성을 위한 기술 요약

1. 문제 정의 (Problem Definition)

기존의 멀티모달 대규모 언어 모델 (MLLM) 은 짧은 영상 클립의 이해 (캡션 생성, 질문 답변 등) 에서는 뛰어난 성능을 보이지만, 장편 영화나 드라마를 전체적으로 분석하여 시간적으로 정밀하게 근거된 (temporally grounded) 상세한 스크립트로 변환하는 작업에는 한계가 있습니다.

• 주요 과제: 장편 영상 (수 분에서 수십 분) 을 장면 (Scene) 과 사건 (Event) 단위로 분해하고, 등장인물의 행동, 대사, 표정, 오디오 단서 (BGM, 효과음) 등을 포함하는 계층적 스크립트를 생성해야 합니다.
• 난제:
  1. 데이터 부족: 장편 영상을 세밀하게 주석 (annotation) 하는 것은 노동 집약적이며, 기존 데이터셋은 장거리 시간적 의존성이나 복잡한 캐릭터 상호작용을 다루지 못함.
  2. 평가의 어려움: 단일 정답이 없는 개방형 생성 작업으로, 시간적 정확성과 의미적 일관성을 동시에 평가하는 표준이 부재함.
  3. 계산 비용: 상세한 설명을 생성할 때 토큰 수가 급증하여 추론 비용과 시간이 과도하게 소요됨.

2. 방법론 (Methodology)

가. 데이터 구축 및 평가 프레임워크 (Benchmark & Evaluation)

• 새로운 벤치마크: 영화와 TV 드라마 (수평형 및 수직형 쇼트 드라마 포함) 를 대상으로 한 인간이 직접 주석한 최초의 대규모 데이터셋을 구축했습니다. (총 19.9 시간, 1,400 개 이상의 장면, 16,800 개 이상의 사건).
• 계층적 평가 프레임워크: 기존 단순 시간적 IoU(Intersection over Union) 의 한계를 극복하기 위해 4 단계 평가 프로세스를 도입했습니다.
  1. 텍스트 기반 이벤트 정렬: 엄격한 시간 중첩 대신 의미적 유사성과 동적 프로그래밍을 활용해 예측과 정답 (Ground Truth) 을 매칭.
  2. 캐릭터 매핑: 오픈 보카불러리 (예: '경찰' vs '존') 를 LLM 을 통해 통일된 의미 공간으로 매핑하여 오류 전파 방지.
  3. 필드 수준 평가: 대본, 행동, 표정, 오디오 등 각 필드의 의미적 정확도 평가.
  4. 시간적 경계 평가: 정렬된 그룹에 대해 시간적 IoU Hit Rate 를 계산하여 시간적 할루시네이션을 패널티 부과.

나. OmniScript 모델 아키텍처

• 기본 구조: Qwen3-VL(8B 파라미터) 을 기반으로 하며, 오디오와 비주얼을 통합한 Omni-modal (오디오 - 비주얼) 언어 모델입니다.
• AV-DeepStack: 오디오 토큰과 비주얼 토큰을 시간적으로 정렬하여 LLM 의 여러 레이어에 주입 (Injection) 하는 방식을 사용합니다. 이를 통해 대화 이해, 오프스크린 내레이션, 배경음악에 따른 감정 해석 등을 강화합니다.
• 추론 유도 구조적 디코딩 (Reasoning-Guided Structured Decoding):
  • 직접적인 필드 생성 대신 Chain-of-Thought (CoT) 방식을 도입합니다.
  • 먼저 줄거리 요약과 캐릭터 관계 추론을 수행한 후, 이를 기반으로 시간적으로 정렬된 구조화된 스크립트 (장소, 환경, 사건, 대사 등) 를 생성합니다.

다. 학습 파이프라인 (Progressive Training Pipeline)

1. 모달리티 정렬 (Modality Alignment): 오디오 프로젝터만 학습하여 비주얼 - 텍스트 기반 모델에 오디오를 통합합니다.
2. 멀티모달 프리트레이닝: 240 만 개의 장편 영상 데이터로 ASR, 요약, 밀집 캡션링, 시간적 근거화 등 다중 태스크 학습을 수행합니다.
3. 지도 미세 조정 (SFT): CoT(줄거리 및 캐릭터 관계 추론) 를 포함한 45,000 개의 정제된 데이터로 구조화된 스크립트 생성을 학습합니다.
4. 강화 학습 (RL): 시간적으로 분할된 보상 (Temporally Segmented Reward) 메커니즘을 도입한 GRPO 기반 학습을 통해 미세한 오류를 패널티 주고 일관성을 높입니다.

라. 장편 영상 처리 전략

• Strategy 1 (OmniScript-LCE): 긴 컨텍스트 윈도우를 직접 확장하여 전역적 맥락을 처리 (단, 매우 긴 영상에서는 성능 저하 발생).
• Strategy 2 (OmniScript-TSG): 2 단계 생성 방식.
  1. 줄거리 분할 모델이 시간대, 줄거리, 캐릭터 관계를 예측.
  2. 각 세그먼트를 OmniScript 에 입력하여 상세 스크립트 생성 후 병합.
  • 이 방식은 장편 영상에서의 성능 저하 (Context Cliff) 를 방지하고 일관성을 유지하는 데 효과적입니다.

3. 주요 기여 (Key Contributions)

1. Video-to-Script (V2S) 작업의 정의: 장편 영상을 계층적이고 시간적으로 정밀한 오디오 - 비주얼 스크립트로 변환하는 새로운 태스크를 제안했습니다.
2. 최초의 벤치마크 및 평가 지표: 인간이 주석한 대규모 데이터셋과 시간적 - 의미적 정확도를 모두 고려한 새로운 평가 프레임워크를 공개했습니다.
3. OmniScript 모델: 8B 파라미터 크기의 효율적인 모델로, 오디오 - 비주얼 통합 학습과 CoT 기반 추론을 통해 장편 영상 이해의 새로운 기준을 제시했습니다.

4. 실험 결과 (Results)

• 성능 비교: 8B 파라미터의 OmniScript 는 235B 파라미터의 오픈소스 모델 (Qwen3VL) 보다 월등히 높은 성능을 보였으며, Gemini 3-Pro와 같은 최신 상용 모델과도 경쟁력 있는 성능을 기록했습니다.
  • 이벤트 레벨: 전체 F1 점수 37.7, 시간적 정확도 (tIoU@0.1) 69.3.
  • 장면 레벨: 전체 F1 점수 52.4, 시간적 정확도 74.6.
• 장편 영상에서의 우위:
  • 기존 모델들은 영상 길이가 30 분을 넘으면 성능이 급격히 떨어지는 (Context Cliff) 현상을 보였습니다.
  • 반면, **OmniScript-TSG(2 단계 전략)**는 40 분 이상의 영상에서도 성능이 거의 감소하지 않는 **길이 불변성 (Length-Invariance)**을 보여주었습니다.
• 오디오의 중요성: 자막을 가린 상태에서 테스트 시, 오디오 입력이 없는 모델의 성능이 급락한 반면, OmniScript 는 오디오 정보를 활용해 대사와 상황 이해에서 뛰어난 강건성을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 장편 영화 및 드라마와 같은 복잡한 내러티브 영상을 이해하고, 이를 인간이 작성한 것과 유사한 수준의 상세한 스크립트로 자동 변환하는 기술적 도약을 이루었습니다.

• 산업적 가치: 자동 로그 생성, 콘텐츠 검색, 창작 보조 등 영화/TV 산업에 직접적인 적용 가능성이 있습니다.
• 연구적 의의: 단순한 영상 캡션링을 넘어, 시간적 정밀도와 의미적 일관성을 동시에 확보하는 오디오 - 비주얼 내러티브 이해의 새로운 패러다임을 제시했습니다. 특히, 효율적인 8B 모델이 거대 모델들을 능가하는 성능을 보여줌으로써, 자원 효율적인 장편 영상 처리 모델의 가능성을 입증했습니다.