OmniScript: Towards Audio-Visual Script Generation for Long-Form Cinematic Video

Resumo Técnico: OmniScript

1. O Problema

Os Modelos de Linguagem Multimodal (MLLMs) atuais demonstraram capacidades notáveis na compreensão de vídeos de curta duração (como legendagem ou resposta a perguntas). No entanto, traduzir vídeos cinematográficos de longa duração (filmes inteiros ou episódios de séries) em roteiros detalhados, estruturados e temporalmente fundamentados permanece um desafio significativo.

As principais dificuldades identificadas são:

• Escassez de Dados: A anotação manual de vídeos longos com granularidade fina (ações, diálogos, expressões, pistas de áudio) é extremamente trabalhosa e dispendiosa.
• Desafios de Avaliação: Métricas tradicionais (como BLEU ou tIoU simples) falham em capturar a coerência narrativa, a hierarquia estrutural e a precisão temporal de scripts abertos e ricos em semântica.
• Custo Computacional: A geração autoregressiva de descrições detalhadas para vídeos longos resulta em um número explosivo de tokens, tornando a inferência ineficiente.
• Falta de Coerência de Longo Prazo: Modelos existentes frequentemente perdem a consistência de personagens e a lógica do enredo ao processar janelas temporais extensas.

2. Metodologia

O trabalho propõe o OmniScript, um modelo de linguagem omni-modal (áudio + visual) de 8 bilhões de parâmetros, projetado especificamente para a tarefa de Video-to-Script (V2S).

A. Definição da Tarefa e Esquema de Saída
O objetivo é transcrever um vídeo não editado em um script hierárquico estruturado em JSON, contendo:

• Nível Meta: Título, duração total, lista de personagens.
• Nível Cena: Local, tipo (interior/exterior), ambiente, hora do dia, humor.
• Nível Evento: Timestamps precisos, identidade do personagem, diálogo, ação, expressão facial e pistas de áudio (efeitos sonoros, BGM).

B. Pipeline de Anotação com Memória (Data Construction)
Para superar a escassez de dados, os autores criaram um pipeline de anotação automatizado assistido por memória:

• Gerenciador de Perfis de Personagem (CPM): Um módulo de memória que armazena informações históricas de personagens (identidade, aparência, relações) através de segmentos de vídeo.
• Raciocínio Baseado em Enredo: Utiliza modelos fortes (ex: Gemini-2.5-Pro) para gerar descrições de enredo e atualizar dinamicamente os perfis dos personagens, garantindo consistência global.
• Geração de Dados CoT: Criação de um dataset estruturado "Vídeo → Pensamento (CoT) → Script", onde o modelo primeiro raciocina sobre o enredo e as relações antes de gerar o script final.

C. Arquitetura do Modelo (OmniScript)

• Base: Construído sobre o Qwen3-VL (8B parâmetros).
• Alinhamento Temporal Áudio-Visual: Utiliza o encoder Whisper para extrair características de áudio, alinhando-as frame a frame com os embeddings visuais.
• AV-DeepStack: Uma estratégia de fusão que injeta tokens de áudio e vídeo em múltiplas camadas do LLM (não apenas na entrada), permitindo interação cruzada profunda durante a inferência semântica.
• Decodificação Guiada por Raciocínio: O modelo gera primeiro um rastro de raciocínio (Chain-of-Thought) sobre o progresso do enredo e relações de personagens, servindo como andaime para a geração estruturada do script.

D. Treinamento Progressivo e Alinhamento
O modelo é treinado em quatro estágios:

1. Alinhamento de Modalidade: Ajuste dos projetores de áudio com o backbone visual/texto (mantendo o LLM congelado).
2. Pré-treinamento Multimodal: Fine-tuning completo em 2,4 milhões de vídeos para entender narrativas longas.
3. Fine-Tuning Supervisionado (SFT): Treinamento com o dataset CoT para gerar scripts estruturados.
4. Aprendizado por Reforço (RL): Uso do algoritmo GRPO com uma função de recompensa segmentada no tempo. Diferente de recompensas globais, esta avalia componentes-chave em todo o timeline, penalizando erros finos de precisão e recall.

E. Estratégias para Vídeos Longos
Para vídeos além de 5 minutos, duas estratégias são propostas:

1. OmniScript-LCE (Long Context Extension): Estende a janela de contexto diretamente, usando composição de vídeos curtos para criar dados sintéticos longos.
2. OmniScript-TSG (Two-Stage Script Generation): Divide o processo em "Planejamento" (um modelo segmenta o vídeo e define o enredo) e "Escrita" (OmniScript gera o script por segmento com base no contexto planejado). Esta abordagem demonstrou maior robustez.

3. Contribuições Principais

1. Primeiro Benchmark V2S: Introdução de um conjunto de dados de referência humano-anotado com 10 obras cinematográficas (19,9 horas), cobrindo gêneros diversos, com anotações densas e hierárquicas (14,1 eventos por minuto).
2. Framework de Avaliação Hierárquica: Um novo sistema de métricas que desacopla a avaliação semântica da localização temporal. Inclui:
   • Alinhamento de eventos baseado em similaridade semântica (não apenas sobreposição temporal).
   • Resolução de identidade de personagens assistida por LLM.
   • Avaliação de campos múltiplos (diálogo, ação, áudio) com métricas de Precisão, Recall e F1.
3. Modelo OmniScript: O primeiro modelo omni-modal (áudio+visual) otimizado especificamente para geração de roteiros cinematográficos, demonstrando eficiência de parâmetros (8B) superior a modelos proprietários muito maiores.

4. Resultados

• Desempenho em Vídeos de 5 Minutos: O OmniScript (8B) superou modelos open-source muito maiores (como Qwen3VL-235B) e foi competitivo com modelos proprietários de ponta (como Gemini 3-Pro).
  • Exemplo: No nível de evento, alcançou um F1 geral de 37.7 e tIoU@0.1 de 69.3, superando o Gemini 3-Pro em compreensão de diálogo e localização temporal.
• Robustez em Vídeos Longos (10-45 min):
  • Modelos baseados em contexto global (incluindo variantes do Gemini e OmniScript-LCE) sofreram um colapso de desempenho ("context cliff") após 30 minutos.
  • A estratégia OmniScript-TSG manteve desempenho estável e invariante ao comprimento, superando todos os concorrentes em vídeos de 30 a 45 minutos, evitando a degradação narrativa e alucinações.
• Importância do Áudio: Experimentos de ablação mostraram que remover o áudio reduz drasticamente a precisão de reconhecimento de diálogo (queda de 68.2% para 52.0%), provando que o modelo não depende apenas de legendas visuais, mas realiza raciocínio áudio-visual genuíno.
• Resiliência a Legendas Ocultas: Ao contrário de modelos que dependem de legendas (que colapsam quando as legendas são mascaradas), o OmniScript manteve robustez significativa, indicando uma compreensão multimodal real.

5. Significado e Impacto

O OmniScript representa um avanço fundamental na análise de mídia computacional.

• Automação da Indústria: Oferece uma ferramenta viável para automação de logs, recuperação de conteúdo e assistência à criatividade na indústria de cinema e TV.
• Novo Paradigma de Avaliação: Estabelece novos padrões para avaliar a compreensão narrativa de longo prazo, indo além da simples descrição de cenas.
• Eficiência: Demonstra que modelos menores (8B), quando bem arquitetados e treinados com dados de alta qualidade e estratégias de RL adequadas, podem superar modelos massivos em tarefas complexas de raciocínio multimodal.
• Futuro da Pesquisa: Abre caminho para a compreensão narrativa profunda, onde a consistência de personagens, o contexto emocional e a sincronia áudio-visual são tratados de forma integrada.

Em suma, o OmniScript não apenas resolve o problema de gerar roteiros a partir de vídeos longos, mas também define um novo marco para a compreensão de narrativas visuais e auditivas complexas.