Prompts to Summaries: Zero-Shot Language-Guided Video Summarization with Large Language and Video Models

O artigo apresenta o "Prompts-to-Summaries", um método zero-shot que utiliza modelos de linguagem e vídeo pré-treinados para gerar resumos de vídeo controláveis por texto sem necessidade de dados de treinamento, superando métodos não supervisionados anteriores e alcançando desempenho competitivo em benchmarks supervisionados.

O essencial

Imagine que você tem uma pilha de vídeos de férias, reuniões de trabalho ou filmes inteiros, e você precisa encontrar apenas os melhores momentos, mas não tem tempo para assistir a tudo. Antigamente, para fazer um "resumo" desses vídeos, os computadores precisavam ser "ensinados" com milhares de exemplos de resumos feitos por humanos. Era como ter um estagiário que só sabia resumir filmes de ação porque foi treinado apenas com filmes de ação; se você pedisse para resumir um documentário sobre culinária, ele ficaria perdido.

Este artigo apresenta uma solução genial chamada "Prompts-to-Summaries" (Do Prompt para o Resumo). É como ter um assistente superinteligente que nunca precisou de treinamento específico para entender o que você quer.

Aqui está como funciona, usando analogias do dia a dia:

1. O Problema: A Montanha de Vídeos

Hoje em dia, produzimos vídeos em quantidade absurda. Os métodos antigos de resumo são como cozinheiros que só sabem fazer um prato específico. Se você pedir um "resumo de vídeo", eles fazem um padrão genérico. Se você pedir "mostre apenas as cenas de perseguição" ou "ignore as partes chatas", eles não entendem, porque foram treinados apenas para seguir regras fixas, não para conversar com você.

2. A Solução: O Duplo de Gênio (VidLM + LLM)

Os autores criaram um sistema que usa dois tipos de "cérebros" de IA que já existem e são muito inteligentes, mas que nunca trabalharam juntos dessa forma para resumir vídeos:

• O "Olho" (VidLM - Modelo de Linguagem de Vídeo): Imagine um fotógrafo muito rápido que consegue olhar para uma cena e descrever em palavras o que está acontecendo. Ele não precisa ser treinado para o seu vídeo específico; ele já sabe o que é um carro, uma festa ou um acidente porque "leu" a internet inteira.
• O "Diretor" (LLM - Grande Modelo de Linguagem): Imagine um diretor de cinema experiente que nunca viu o filme, mas leu as descrições do fotógrafo. É esse diretor quem decide o que é importante.

3. Como o Processo Funciona (Passo a Passo)

Passo 1: Cortar o Vídeo em "Cenas" (Como um Editor de Filme)
O sistema primeiro divide o vídeo longo em cenas menores, como se alguém estivesse cortando uma fita de filme. Eles usam uma técnica inteligente para saber onde uma cena termina e outra começa, evitando cortes estranhos no meio de uma ação.

Passo 2: O Fotógrafo Descreve (Geração de Legendas)
Para cada cena, o "Olho" (VidLM) escreve um pequeno resumo do que acontece ali.

• Exemplo: "Um homem está cozinhando macarrão e depois queima o fogão."

Passo 3: O Diretor Decide (A Mágica do Prompt)
Aqui entra a parte inovadora. Você, o usuário, digita o que quer.

• Seu comando: "Quero um resumo focado apenas nas partes engraçadas onde a comida queima."
• O "Diretor" (LLM) lê a descrição de cada cena e o seu comando. Ele pensa: "Ok, a cena 1 é chata, a cena 2 é engraçada e queima comida. Vou dar nota 10 para a cena 2 e nota 1 para a cena 1."
• O diferencial: O sistema não precisa ser re-treinado. Você só muda o texto do comando (o "prompt") e o diretor muda a decisão. É como pedir para um chef mudar o tempero do prato sem precisar trocar o cozinheiro.

Passo 4: Ajuste Fino (O Ritmo da Música)
Às vezes, uma cena inteira é boa, mas só um segundo específico é o melhor. O sistema olha para os quadros individuais dentro da cena e dá uma pontuação final, garantindo que o resumo flua bem, sem saltos estranhos, como se estivesse ajustando o volume de uma música para não ficar alto demais de repente.

4. Por que isso é revolucionário?

• Zero Treinamento (Zero-Shot): É como ter um assistente que chega no primeiro dia de trabalho e já sabe fazer o serviço perfeitamente, sem precisar de um manual de instruções da sua empresa. Ele funciona em vídeos de esportes, culinária, vigilância ou filmes, sem precisar de dados específicos.
• Entende o que você quer: Se você disser "mostre apenas os momentos de tristeza", ele entende o conceito de "tristeza" e ignora as festas, algo que os sistemas antigos não conseguiam fazer bem.
• Resultados Incríveis: O sistema testado bateu todos os outros métodos que não usavam treinamento (e até alguns que usavam) em bancos de dados famosos.

5. O Novo Desafio: "VidSum-Reason"

Os autores criaram um novo banco de dados chamado VidSum-Reason para testar a inteligência do sistema. Eles fizeram perguntas difíceis, como:

• "Mostre as cenas onde o personagem está mentindo" (requer raciocínio, não apenas ver um rosto).
• "Exclua cenas com violência" (requer entender o conceito de violência).
• "Mostre os carros alemães" (requer conhecimento do mundo real).

O sistema conseguiu responder a essas perguntas complexas muito melhor do que qualquer outro método "sem treinamento" existente.

Resumo Final

Imagine que você tem um bibliotecário superinteligente que nunca viu os livros da sua estante, mas consegue ler o índice de cada um deles em segundos. Se você pedir: "Traga-me apenas os capítulos sobre aventura", ele traz exatamente isso, sem precisar que você ensine a ele o que é "aventura".

Este trabalho mostra que, combinando a capacidade de "ver" e descrever vídeos de uma IA com a capacidade de "raciocinar" e seguir instruções de outra IA, podemos criar resumos de vídeos personalizados, rápidos e inteligentes, sem gastar meses treinando computadores. É o futuro da forma como consumimos vídeos: você pede, a IA entrega.

Resumo técnico

Título: Prompts to Summaries: Sumarização de Vídeo Zero-Shot Guiada por Linguagem com Grandes Modelos de Linguagem e Vídeo

1. O Problema

O crescimento exponencial de dados em vídeo criou uma necessidade urgente de ferramentas de sumarização flexíveis e controláveis pelo usuário. As abordagens existentes enfrentam duas limitações principais:

1. Dependência de Dados de Treinamento: A maioria dos métodos (supervisionados ou não supervisionados) depende de conjuntos de dados específicos para treinamento, o que limita sua generalização para novos domínios ou tipos de vídeo sem retreinamento.
2. Falta de Controle via Linguagem Natural: Os métodos atuais geralmente realizam uma sumarização genérica e não conseguem incorporar intenções do usuário expressas em linguagem natural (ex: "destaque cenas violentas" ou "remova conteúdo inadequado").

O objetivo deste trabalho é desenvolver um sistema de sumarização de vídeo que seja Zero-Shot (não requer dados de treinamento), Guiado por Texto (controlável via prompts) e Universal (funcione em qualquer domínio).

2. Metodologia (Pipeline Proposto)

Os autores propõem o Prompts-to-Summaries, um pipeline que orquestra Modelos de Linguagem-Vídeo (VidLMs) e Grandes Modelos de Linguagem (LLMs) sem nenhum ajuste fino (fine-tuning). O processo ocorre em quatro etapas principais:

• A. Detecção de Cenas (Scene Detection):

  • O vídeo é segmentado em cenas semanticamente coerentes.
  • Utiliza-se uma detecção inicial baseada na diferença de intensidade de pixels (usando PySceneDetect) com um limiar dinâmico otimizado.
  • Um refinamento posterior funde cenas curtas (ruído) com vizinhos similares baseando-se na similaridade de embeddings visuais (usando CLIP ou DINO), garantindo coesão temporal.

• B. Geração de Descrição de Cenas (Scene Description):

  • Um VidLM pré-treinado gera descrições textuais detalhadas para cada cena detectada e para o vídeo completo.
  • Para vídeos longos, utiliza-se um esquema de batching (processamento em lotes) com amostragem de quadros (1 quadro/segundo) e prompts de continuidade ("O vídeo continua...", "A cena termina...") para manter a coerência semântica e gerenciar a memória.

• C. Pontuação de Importância da Cena (Scene Scoring):

  • Um LLM atua como "juiz" para atribuir uma pontuação de importância (0-100) a cada cena.
  • O prompt é cuidadosamente projetado para que o LLM avalie a cena no contexto da narrativa global do vídeo.
  • Guia do Usuário: Se um prompt do usuário for fornecido (ex: "focar em emoções negativas"), o LLM é instruído a ajustar as pontuações com base nessa preferência, permitindo sumarização personalizada.
  • O prompt inclui uma "rubrica" (escala de 1 a 100 com definições claras) para reduzir a variância e garantir que apenas momentos cruciais recebam pontuações altas.

• D. Propagação para Pontuação de Quadros (Frame-Level Scoring):

  • As pontuações das cenas são propagadas para os quadros individuais.
  • Suavização Temporal: Aplica-se uma função de suavização (cosseno) nas fronteiras das cenas para evitar saltos abruptos na importância.
  • Peso de Representatividade: Dentro de cada cena, calcula-se a importância de cada quadro baseada em duas métricas:
    1. Consistência: Coerência interna dos quadros (baseada em clustering K-Means dos embeddings).
    2. Unicidade: Novidade visual (desvio dos quadros em relação à média da cena).
  • A pontuação final de cada quadro é o produto da pontuação suavizada da cena e do peso de representatividade do quadro.

3. Principais Contribuições

1. Novo Framework Zero-Shot: Primeiro sistema de sumarização de vídeo guiado por texto que não requer dados de treinamento, anotações ou fine-tuning.
2. Resultados State-of-the-Art (SOTA):
   • Supera todos os métodos não supervisionados e zero-shot anteriores nos conjuntos de dados padrão SumMe e TVSum.
   • Desempenho competitivo com métodos supervisionados de ponta no benchmark de sumarização focada em consultas (QFVS), apesar de não usar dados de treinamento.
3. Estudo Experimental Abrangente: Análise detalhada de cada componente (codificadores de imagem, estratégias de normalização, sensibilidade de prompts e modelos de LLM).
4. Novo Dataset (VidSum-Reason): Introdução de um novo conjunto de dados público focado em consultas que exigem raciocínio temporal e conhecimento externo (conceitos de cauda longa), servindo como um novo baseline desafiador.

4. Resultados Experimentais

• SumMe e TVSum: O método alcançou pontuações F1 de 56.84% (SumMe) e 62.22% (TVSum), superando métodos não supervisionados anteriores (como SegSum e AC-SUM-GAN) e competindo com métodos supervisionados que exigem anotações densas.
• QFVS (Sumarização Focada em Consulta): No dataset QFVS, o método atingiu um F1 de 53.42% (com normalização combinada), ficando apenas 1 ponto percentual atrás do método supervisionado CLIP-It (que requer anotações frame-a-frame extensivas) e superando quatro baselines supervisionados clássicos.
• VidSum-Reason: O modelo obteve um F1 médio de 43.4% neste novo dataset, superando significativamente uma linha de base aleatória (34.56%), demonstrando capacidade de lidar com consultas complexas e de raciocínio.
• Análise de Ablação:
  • Codificadores: O CLIP superou o DINO na extração de características visuais para sumarização.
  • Contexto: O uso de contexto local (apenas a cena) para geração de descrições foi superior ao uso de contexto global (vídeo inteiro com máscaras).
  • Normalização: A normalização Min-Max funcionou melhor para SumMe, enquanto a exponencial foi superior para TVSum.
  • LLMs: O GPT-4o mostrou-se o mais robusto como juiz de importância, embora o Claude e o Gemini tenham desempenho comparável em alguns casos.

5. Significado e Conclusão

Este trabalho demonstra que modelos multimodais pré-treinados, quando orquestrados com prompting principial e propagação de pontuação, formam uma base poderosa para sumarização universal de vídeo.

• Viabilidade: Prova que é possível criar sumários de vídeo de alta qualidade e controláveis pelo usuário sem gastar recursos computacionais massivos em treinamento ou coleta de dados anotados.
• Flexibilidade: O sistema é "plug-and-play", adaptando-se instantaneamente a novos domínios e intenções de usuários através de prompts de texto.
• Escalabilidade: O pipeline foi testado com sucesso em vídeos de até 5 horas em uma única GPU, utilizando técnicas de batching inteligente.

Em suma, o Prompts-to-Summaries redefine o estado da arte em sumarização não supervisionada, eliminando a barreira da dependência de dados e abrindo caminho para aplicações práticas de sumarização personalizada em larga escala.