Resumo Técnico: CineCap

Definição do Problema

A legendagem cinematográfica visa descrever como um vídeo é filmado utilizando conceitos de linguagem cinematográfica profissional, em vez de meramente descrever o que ocorre na cena. Esta tarefa requer a geração de descrições unificadas e de formato aberto cobrindo seis dimensões específicas: movimento de câmera, tamanho do plano, ângulo de filmagem, profundidade de campo, composição e orientação do sujeito.

Os autores identificam três desafios primários neste domínio:

1. Inferência de Grão Fino: Os modelos devem distinguir pistas visuais sutis (ex: diferenciar movimento de câmera de movimento de sujeito, ou close-up de close-up médio) para inferir conceitos profissionais.
2. Composicionalidade Temporal: Padrões cinematográficos são frequentemente dinâmicos e compostos; um único vídeo pode conter múltiplos comportamentos de câmera evoluindo ao longo do tempo, exigindo localização temporal em vez de um único rótulo estático.
3. Abrangência vs. Precisão: Como uma tarefa de legendagem densa, a saída deve ser tanto factualmente correta quanto cobrir todas as dimensões relevantes. As abordagens existentes frequentemente lutam para equilibrar estes fatores, sacrificando frequentemente a cobertura pela precisão ou vice-versa.

Os atuais modelos de linguagem de grande escala multimodais (MLLMs) abordam isto majoritariamente via visual question answering (VQA) ou reconhecimento limitado de movimento de câmera, falhando em produzir descrições unificadas e multidimensionais.

Metodologia: Estrutura CineCap

Os autores propõem o CineCap, uma estrutura de dois estágios projetada para fundamentar a geração de legendas em evidência visual explícita, equilibrando completude descritiva e correção factual.

1. Raciocínio Estruturado Baseado em Âncoras Espaço-Temporais

Para abordar a complexidade de inferir conceitos profissionais, a estrutura introduz Âncoras Espaço-Temporais:

• Âncoras Espaciais: Estas fundamentam conceitos cinematográficos abstratos em evidências visuais observáveis. Por exemplo, o movimento de câmera é inferido a partir do movimento de referências de fundo estáticas, e o tamanho do plano é determinado pela escala do sujeito.
• Âncoras Temporais: Estas vinculam atributos dinâmicos a intervalos de tempo específicos (ex: $[t_s, t_e]$), permitindo que o modelo descreva padrões compostos onde o comportamento da câmera muda durante a duração de um clipe.

2. Estágio 1: Ajuste Fino Supervisionado (SFT) com CoT Atômico

Em vez de um raciocínio de formato longo não restrito, os autores constroem uma supervisão de cadeia de pensamento (CoT) atômica.

• Estrutura Atômica: O raciocínio é organizado em unidades compactas. Para atributos dinâmicos, o formato é [Âncora Temporal] [Âncora Espacial] → Declaração. Para atributos estáticos, utilizam-se declarações diretas.
• Construção de Dados: Partindo de pares vídeo-legenda anotados manualmente, o sistema recupera a evidência visual que sustenta cada descrição para criar um CoT de "evidência-para-resposta". Isto resulta em 80.000 amostras de treinamento.
• Objetivo: Este estágio ensina o modelo a organizar a evidência visual em um raciocínio estruturado e multidimensional sem depender de cadeias de raciocínio desnecessariamente longas.

3. Estágio 2: Aprendizado por Reforço com GRPO

O modelo SFT é adicionalmente otimizado usando Otimização de Política Relativa de Grupo (GRPO) para melhorar o equilíbrio entre abrangência e precisão.

• LLM-como-Juiz: Um LLM avalia as legendas geradas decompondo-as em declarações atômicas através das seis dimensões, comparando-as com a verdade fundamental (ground truth) para calcular:
  • Pontuação de Abrangência ($s_{cmp}$): A proporção de conteúdo da verdade fundamental coberto.
  • Pontuação de Precisão ($s_{acc}$): A correção factual do conteúdo gerado.
• Recompensa de Cobertura com Portão (Gated Coverage Reward): Para evitar que o modelo favoreça legendas curtas e conservadoras (que aumentam a precisão mas prejudicam a cobertura) ou legendas longas e alucinadas, introduz-se uma recompensa de cobertura com portão.
  • Esta recompensa penaliza a discrepância entre o número de declarações atômicas previstas e as declarações da verdade fundamental ($|N_{gt} - N_{pred}|$).
  • Mecanismo de Portão: A recompensa de cobertura só é ativada se a pontuação de precisão exceder um limiar ($\tau$). Isso garante que o modelo priorize a correção factual antes de tentar aumentar a cobertura descritiva.

Principais Contribuições

1. Perspectiva Inovadora: O artigo reformula a compreensão cinematográfica ao fundamentar a geração de legendas em evidência visual espaço-temporal explícita, abordando a interação de atributos cinematográficos e composição temporal.
2. Estrutura CineCap: Um sistema unificado que combina o raciocínio estruturado baseado em âncoras espaço-temporais com um mecanismo de recompensa de cobertura com portão. Isto alcança um equilíbrio entre a abrangência da descrição e a precisão.
3. CineCap Bench: A construção do primeiro benchmark abrangente para legendagem cinematográfica, composto por 472 pares de vídeo-legenda anotados manualmente, cobrindo diversos aspectos cinematográficos.
4. Desempenho de Estado da Arte: Experimentos extensos demonstrando que o CineCap supera tanto os modelos proprietários (ex: Gemini-3.1-Pro) quanto as bases de código aberto (ex: Qwen3-VL, InternVL) em todas as métricas.

Resultados Experimentais

Avaliado no CineCap Bench, o modelo alcança melhorias significativas sobre as bases de comparação fortes:

• Desempenho Geral: O CineCap alcança um F1 score geral de 73,57, superando a base mais forte (Gemini-3.1-Pro) em 32,41% (52,45 vs. 73,57).
• Ganhos por Dimensão:
  • Movimento de Câmera: O F1 melhorou de ~40-52 (bases) para 57,44 (média de Cmp/Acc).
  • Profundidade de Campo: Alcançou 81,29 (média de Cmp/Acc), um salto massivo em relação às bases que orbitavam em torno de 47-48.
  • Ângulo de Câmera: Alcançou 89,20, superando significativamente outros modelos.
• Estudos de Ablação:
  • Substituir o SFT de legenda direta por SFT de CoT Atômico melhorou o F1 em ~1 ponto, confirmando o valor da supervisão estruturada.
  • Adicionar GRPO com o design de recompensa proposto melhorou ainda mais o F1 em ~3,36 pontos.
  • A recompensa de cobertura com portão mostrou-se superior às simples penalidades de comprimento, que tendiam a aumentar a completude à custa da precisão.

Significância e Alegações

O artigo afirma que o CineCap estabelece um novo estado da arte para a legendagem cinematográfica. Sua significância reside em:

• Ir além do VQA: Mudar do reconhecimento restrito para a geração unificada de formato aberto que captura a natureza multidimensional da linguagem cinematográfica.
• Permitir Geração Controlável: Fornecer uma base para a geração de vídeo de qualidade cinematográfica controlável, onde o modelamento preciso dos atributos de câmera é essencial.
• Rigor Metodológico: Demonstrar que combinar o raciocínio espaço-temporal explícito com um mecanismo de recompensa cuidadosamente desenhado (especificamente a recompensa de cobertura com portão) é eficaz para equilibrar os objetivos conflitantes de precisão e abrangência na legendagem densa de vídeo.

Os autores concluem que seu trabalho promove a pesquisa futura na compreensão cinematográfica e apoia tarefas downstream que exigem geração de vídeo cinematográfico controlável.