Automatic Funny Scene Extraction from Long-form Cinematic Videos

Este artigo apresenta um sistema integrado de ponta a ponta que extrai automaticamente cenas humorísticas de filmes longos, combinando detecção de planos, localização multimodal e rotulagem de humor para gerar conteúdo envolvente e otimizado para plataformas de streaming.

O essencial

Imagine que você tem uma biblioteca gigante de filmes, séries e documentários. Alguns são longos, com histórias complexas que duram duas horas. Agora, imagine que você quer criar um "trailer" engraçado ou um clipe curto para mostrar aos seus amigos, mas não tem tempo de assistir a tudo para encontrar os momentos de comédia.

Antes, alguém teria que sentar e assistir a horas de filme manualmente para achar essas piadas. Isso é cansativo e demorado.

Este artigo da Amazon Prime Video apresenta um robô inteligente que faz esse trabalho sozinho. Vamos explicar como ele funciona usando analogias do dia a dia:

1. O Detetive de Cortes (Detecção de Cenas)

Imagine que um filme é como um livro muito longo. O primeiro passo do robô é transformar esse livro em capítulos.

• O Problema: Filmes mudam de câmera o tempo todo. Às vezes, a câmera corta de um rosto para outro, ou de uma sala para outra. Diferente de um corte brusco (como mudar de cena), às vezes a mudança é sutil.
• A Solução: O robô usa dois sentidos para entender onde uma cena termina e outra começa:
  1. Visão: Ele olha para as imagens (como um fotógrafo que agrupa fotos parecidas).
  2. Leitura: Ele "lê" o que está acontecendo na tela (usando legendas geradas automaticamente).
• A Mágica: Ele usa uma técnica chamada "Triplet Loss" (perda de tripletos). Pense nisso como um jogo de "quem é mais parecido com quem?". Ele pega três fotos: uma foto de um personagem, outra foto do mesmo personagem na mesma cena (amigo) e uma foto de um personagem em uma cena totalmente diferente (inimigo). O robô aprende a manter os "amigos" próximos e os "inimigos" distantes no seu cérebro digital. Isso ajuda a agrupar as cenas corretamente, mesmo sem ouvir o áudio.

2. O Comediante Digital (Detecção de Humor)

Agora que o robô dividiu o filme em cenas, ele precisa descobrir: "Isso é engraçado?".

• O Desafio: O humor é complicado. Às vezes é uma piada falada, às vezes é uma risada no fundo, e às vezes é uma situação absurda.
• O Sistema de Triagem:
  1. Orelha Atenta: O robô escuta o áudio. Se houver risadas (da plateia ou dos atores), ele marca um ponto positivo.
  2. Cérebro Linguista: Ele lê o diálogo. Ele foi treinado para entender a estrutura de uma piada: a "preparação" (setup) e o "final" (punchline). É como se ele soubesse que, se alguém contar uma história e terminar com uma reviravolta inesperada, provavelmente é uma piada.
  3. O Filtro de Segurança (Guardrail): Aqui está algo crucial. Nem tudo que faz as pessoas rirem é bom. Se alguém está sendo humilhado, aterrorizado ou se há bullying, o robô sabe que não é um momento de humor para compartilhar. Ele tem um "filtro de segurança" que corta esses vídeos ruins, garantindo que apenas o humor saudável e divertido chegue ao usuário.

3. O Classificador de Melhores Momentos (Pontuação)

Depois de achar os momentos engraçados, o robô precisa decidir quais são os melhores.

• Ele cria uma nota para cada clipe baseada em:
  • Quantas pessoas riram?
  • Quanto tempo durou a risada?
  • O quanto o texto foi inteligente?
  • O tamanho da cena (cenas muito longas podem ser chatas, então ele prefere algo mais "snackable" - fácil de consumir).
• No final, ele entrega uma lista dos 10 ou 20 momentos mais engraçados do filme, prontos para serem usados em trailers ou para aparecer quando você passa o mouse sobre o título.

Os Resultados: Funciona mesmo?

Os autores testaram esse sistema em filmes reais e trailers.

• Precisão: O robô conseguiu identificar 98% das cenas corretamente (separando-as do resto do filme).
• Qualidade: Quando humanos especialistas revisaram o trabalho, 87% dos clipes escolhidos pelo robô eram, de fato, momentos que deveriam ser engraçados.
• Segurança: O filtro de segurança funcionou perfeitamente, removendo conteúdo inadequado.

Por que isso importa?

Imagine entrar no Netflix ou Prime Video e, ao passar o mouse sobre um filme de comédia, ver um clipe curto e hilário tocando automaticamente. Isso faz você querer assistir ao filme. Ou imagine ter um aplicativo que te dá apenas os "melhores momentos" de uma série para você rir em 5 minutos no ônibus.

Este sistema automatiza a criação desses momentos, economizando tempo da equipe de marketing e garantindo que você, como espectador, encontre conteúdo divertido e relevante rapidamente. É como ter um assistente pessoal que assiste a todos os filmes por você e diz: "Ei, olha essa parte aqui, você vai adorar!".

Resumo técnico

Título: Extração Automática de Cenas Engraçadas a partir de Vídeos Cinematográficos de Longa Duração

1. Problema e Motivação

Com o crescimento das plataformas de streaming (como Netflix e Prime Video), há uma necessidade crítica de criar conteúdo de "snack" (vídeos curtos e envolventes) e prévias personalizadas para aumentar o engajamento do usuário. A extração de cenas humorísticas de filmes e séries completas é atualmente um processo manual, demorado e caro.

Os principais desafios técnicos identificados são:

• Localização de Cenas Complexa: Diferente da detecção de cortes (shots), a segmentação de cenas em vídeos longos exige raciocínio sobre dependências temporais de curto e longo alcance, com escassez de anotações em larga escala.
• Natureza Multimodal do Humor: O humor depende de múltiplos sinais (texto, gestos, prosódia, contexto) e não se limita apenas a risadas ou textos curtos.
• Filtragem de Conteúdo Inadequado: É crucial distinguir entre humor genuíno e situações de bullying, zombaria ou conteúdo ofensivo, garantindo uma experiência segura para o usuário.

2. Metodologia

O sistema proposto é um pipeline end-to-end composto por três blocos principais:

A. Detecção de Cenas (Scene Segmentation)

• Abordagem Multimodal: Combina sinais visuais e textuais para agrupar shots (sequências contínuas de uma câmera) em cenas semanticamente coesas.
• Pré-treinamento Contrastivo (Triplet Loss): Utiliza uma estratégia de triplet mining guiada pelos dados do conjunto MovieNet-SSeg.
  • Ancora (Anchor): Um shot de uma cena.
  • Positivo: Outros shots da mesma cena.
  • Negativo: Shots de cenas vizinhas (janela de ±3 cenas) para aumentar a discriminação.
• Arquitetura do Encoder de Shot:
  • Visual: Usa o X-CLIP (com atenção entre quadros cruzados) acoplado a uma cabeça de projeção DINO (MLP de 3 camadas), gerando vetores de 4096 dimensões.
  • Textual: Gera legendas para cada shot usando o modelo Video-LLaVA e as codifica com BLIP-2, gerando vetores de 768 dimensões.
  • Fusão: Concatenação das features visuais e textuais (4864 dimensões).
• Ajuste Fino Supervisionado: Um cabeçalho MLP (4 camadas) analisa uma janela de shots vizinhos para prever se o shot central é uma fronteira de cena, utilizando cross-entropy.

B. Tagging de Humor (Humor Identification)

• Análise de Áudio: Detecta risadas usando um modelo ResNet18 treinado no conjunto Switchboard.
• Análise de Texto (Diálogo): Utiliza uma arquitetura modificada do ColBERT para entender a relação entre setup (preparação) e punchline (ponto final).
  • Inovação: Adaptação para textos longos (30s–2min) processando 10 frases + o texto completo, preservando o início e o fim para contexto e punchline, com amostragem semi-determinista.
• Filtro de Segurança (Guardrails): Um modelo de tagging de áudio (CNN treinado no AudioSet) filtra cenas com sinais de angústia (choro, gritos) ou zombaria, removendo humor inadequado.

C. Pontuação e Classificação (Scoring)

• Um sistema heurístico combina quatro fatores normalizados para ranquear as cenas:
  1. Pontuação média de risada.
  2. Duração da risada acima de um limiar.
  3. Pontuação softmax do modelo ColBERT.
  4. Duração da cena (cenas mais curtas são preferidas).
• Os pesos são otimizados via grid search.

3. Principais Contribuições

1. Pipeline End-to-End: Primeira solução integrada para extração automática de cenas engraçadas em filmes longos, cobrindo desde a detecção de shots até o ranqueamento final.
2. Segmentação Multimodal Guiada: Introdução de uma estratégia de triplet mining guiada por dados reais (MovieNet-SSeg) e fusão de legendas de shots para melhorar a representação visual, superando métodos puramente visuais.
3. Encoder de Shot Eficiente: Combinação de X-CLIP e DINO que permite aprendizado de representação eficiente com poucos dados de treino (80k triplets em 25 épocas).
4. Modelo de Humor para Texto Longo: Adaptação do ColBERT para lidar com a estrutura narrativa de cenas cinematográficas longas, alcançando alto desempenho apenas com texto.
5. Mecanismo de Segurança: Integração de filtros de áudio para garantir que o humor extraído não seja ofensivo ou bullying.

4. Resultados Experimentais

O sistema foi avaliado em cinco filmes de longa duração e 11 trailers de diversos gêneros.

• Detecção de Cenas:
  • Melhoria de 18.3% no AP (Average Precision) sobre o estado da arte no conjunto de dados OVSD.
  • Desempenho superior no conjunto MovieNet-SSeg, com generalização robusta sem necessidade de fine-tuning adicional em OVSD.
• Detecção de Humor:
  • F1 Score de 0.834 e acurácia de 0.728 na detecção de humor em textos longos (superando modelos fine-tuned e fusão multimodal existentes).
• Avaliação Humana (Curadores Profissionais):
  • 98% de precisão na localização correta das cenas.
  • 87% das cenas extraídas foram confirmadas como "intencionadas para serem engraçadas" (em filmes).
  • 100% de precisão em trailers.
  • Concordância substancial entre curadores (Kappa de Cohen mínimo de 0.75).

5. Significado e Impacto

• Aplicação Prática: O pipeline está sendo implantado na Prime Video para funcionalidades de autoplay (prévias ao passar o mouse) e criação de clipes para redes sociais, visando aumentar o engajamento e a descoberta de conteúdo.
• Eficiência Operacional: Reduz drasticamente o tempo e custo de produção de conteúdo promocional, automatizando tarefas que antes exigiam revisão humana extensiva.
• Escalabilidade: O sistema é modular e adaptável, capaz de generalizar para diferentes formatos (filmes, séries, trailers) e possui potencial para expansão multilíngue e para experiências de "risada rápida" em dispositivos móveis.
• Segurança: A abordagem de filtragem proativa garante que o conteúdo automatizado mantenha padrões de qualidade e segurança para o público global.

Em resumo, o trabalho apresenta uma solução robusta e inovadora que combina visão computacional, processamento de linguagem natural e análise de áudio para resolver o complexo problema de identificar e extrair humor em narrativas cinematográficas longas.