💻 computer science

Dialogue-Aware Video-to-Music Generation Using Public Domain Film Collections

Para abordar os desafios de reprodutibilidade e direitos autorais na geração de vídeo para música, este artigo introduz o conjunto de dados reprodutível Open Screen Soundtrack Library versão 2 (OSSL-v2) de filmes de domínio público e propõe um modelo consciente de diálogo que aprimora a geração de música ao modular a atenção cruzada de vídeo com a fala na tela.

Autores originais: Haven Kim, Zachary Novack, Julian McAuley, Hao-Wen Dong

Publicado 2026-08-13

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Haven Kim, Zachary Novack, Julian McAuley, Hao-Wen Dong

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está assistindo a um filme. Você vê um herói correndo através de uma tempestade e, de repente, um trovão ressoa enquanto uma orquestra dramática cresce. Essa música não é apenas ruído de fundo; é a cola emocional que mantém a cena unida, dizendo a você como se sentir. Por muito tempo, cientistas têm tentado ensinar computadores a serem o "compositor" para vídeos, criando automaticamente música que combine com o clima do que está acontecendo na tela. Esse campo é chamado de geração de vídeo para música. Mas há um grande problema: para ensinar um computador essa habilidade, você precisa de milhares de exemplos de filmes e suas trilhas sonoras perfeitas. A maioria dos pesquisadores tem usado listas de links de vídeos na internet para encontrar esses exemplos. O problema é que links da internet são como castelos de areia; a maré sobe, e os vídeos são deletados ou bloqueados. Isso significa que os "livros didáticos" dos quais os computadores aprendem continuam desaparecendo, tornando impossível verificar se um computador é realmente mais inteligente que outro. Para corrigir isso, precisamos de uma biblioteca de filmes que não possa desaparecer, e de uma maneira de ensinar ao computador não apenas a aparência dos personagens, mas também o que eles estão dizendo.

Entram em cena os pesquisadores da UC San Diego e da Universidade de Michigan, que construíram uma biblioteca nova e inabalável chamada OSSL-v2. Pense nisso como um cinema massivo e autossuficiente que ninguém pode fechar. Em vez de apontar para links na internet que podem apodrecer, eles baixaram 1.886 filmes que pertencem ao domínio público (o que significa que qualquer pessoa pode usá-los) e os cortaram em 34.343 pequenos clipes. Isso soma cerca de 246,4 horas de vídeo e música, todos armazenados com segurança em um só lugar. Por ser auto-hospedada, ela não desaparecerá, e oferece a cada pesquisador um conjunto de dados justo e idêntico para treinar seus modelos de IA.

Mas a equipe não apenas construiu uma biblioteca; eles perceberam que os computadores estavam sentindo falta de uma pista crucial. Em filmes, a música muitas vezes muda no momento em que um personagem começa a falar. Se alguém está gritando, a música pode ficar mais baixa ou parar para permitir que a voz seja ouvida. Os pesquisadores notaram que, em sua nova biblioteca, existe uma conexão leve, mas real, entre o quão alto o diálogo é e o quão alta a música é. Para usar isso, eles inventaram um sistema "consciente do diálogo". Imagine que o computador é um maestro. Antes, o maestro apenas olhava para os rostos e movimentos dos atores para decidir quando acelerar ou desacelerar a orquestra. Agora, o maestro tem um novo par de óculos que o permite ouvir as vozes dos atores em tempo real. O sistema pega o som do diálogo e o usa para guiar suavemente a geração da música quadro a quadro, garantindo que a música respire e faça pausas exatamente quando os personagens o fazem.

Quando testaram essa nova abordagem em sua enorme biblioteca, os resultados foram promissores. Eles compararam seus modelos "conscientes do diálogo" com os melhores sistemas existentes. O novo método não necessariamente fez a música soar "melhor" em um sentido geral (como torná-la mais complexa ou diversa), mas fez com que a música se ajustasse muito mais firmemente ao vídeo. Especificamente, as trilhas sonoras geradas tornaram-se mais fiéis às cenas originais do filme, especialmente quando o computador tinha que lidar com momentos complicados onde o diálogo e a música se sobrepõem. Os pesquisadores descobriram que esse nível de melhoria se manteve mesmo quando testaram os modelos em filmes comerciais que nunca haviam visto antes, sugerindo que ouvir o diálogo ajuda a IA a entender o ritmo de uma cena melhor do que apenas observá-la.

O artigo também descartou cuidadosamente alguns truques potenciais. Eles temiam que talvez o computador estivesse apenas "dependendo" de música residual vazando para a trilha de diálogo (já que a separação de áudio não é perfeita). Para verificar isso, eles rodaram um filtro especial para encontrar clipes onde o diálogo estava quase completamente livre de qualquer ruído musical. Mesmo com esses clipes "limpos", o sistema consciente do diálogo ainda teve um desempenho superior. Isso sugere que a melhoria vem realmente da compreensão da fala, e não de ouvir a música acidentalmente. Embora o sistema ainda não seja um substituto perfeito para compositores humanos, o estudo sugere que adicionar a voz dos personagens é uma maneira poderosa de ajudar os computadores a escreverem música que pareça verdadeiramente conectada à história.

Resumo Técnico: Geração de Vídeo para Música Consciente de Diálogo Utilizando Coleções de Filmes de Domínio Público

Definição do Problema
O campo da geração de vídeo para música carece de um conjunto de dados de treinamento comum e durável que sirva como um benchmark reproduzível. O progresso atual é dificultado por uma "lacuna de reprodutibilidade": a maioria dos modelos é treinada em corpora coletados na web via URLs (ex: YouTube, TikTok). Esses conjuntos de dados sofrem de "apodrecimento de links" (link rot), onde os vídeos são excluídos ou tornados privados ao longo do tempo, e estão sujeitos a limitações de taxa (rate-limiting) que tornam a reaquisição demorada. Além disso, os conjuntos de dados auto-hospedados existentes são frequentemente pequenos demais (ex: ~36 horas) para treinar modelos competitivos. Adicionalmente, as abordagens existentes frequentemente negligenciam o diálogo como um sinal de condicionamento, apesar do estreito acoplamento temporal entre a fala na tela e a música cinematográfica em produções profissionais.

Metodologia
Os autores propõem uma abordagem de duas frentes: a criação de um novo conjunto de dados e uma modificação arquitetônica inovadora para geração consciente de diálogo.

Construção do Conjunto de Dados (OSSL-v2):
Os autores introduzem a Open Screen Soundtrack Library versão 2 (OSSL-v2), um corpus auto-hospedado derivado de 1.886 filmes de domínio público. O conjunto de dados compreende 34.343 clipes de vídeo totalizando 246,4 horas.
- Separação de Fontes: Um modelo de separação de fontes cinematográficas de código aberto é aplicado para extrair faixas musicais do áudio original.
- Detecção de Eventos: Para garantir alta qualidade, um modelo de detecção automática de eventos estima a probabilidade de eventos musicais versus não musicais. Segmentos são selecionados onde a probabilidade musical excede a probabilidade não musical por pelo menos 10 segundos consecutivos, com um filtro adicional para excluir segmentos onde a probabilidade não musical é muito alta (limiar > 0,05).
- Resultado: Um conjunto de dados reproduzível, consciente dos direitos autorais e livre de apodrecimento de links, adequado para treinamento e comparação justa.
Arquitetura de Geração Consciente de Diálogo:
Os autores propõem um módulo de condicionamento por diálogo leve para ser inserido em backbones de vídeo para música de código aberto existentes (especificamente VidMuse, GVMGen e Diff-V2M).
- Processamento de Sinal: A faixa de diálogo é isolada usando separação de fontes e codificada via uma camada convolucional 1-D para produzir representações acústicas por quadro (ex: volume, energia).
- Modulação: Um MLP de duas camadas mapeia essas representações para parâmetros de Modulação Linear por Características (FiLMs) ( $\gamma_i, \beta_i$ ). Esses parâmetros modulam os vetores de condicionamento de vídeo quadro a quadro: $\tilde{v}_i = (1 + \gamma_i) \odot v_i + \beta_i$ .
- Alinhamento Temporal: Para garantir que o modelo respeite o tempo do diálogo em relação aos eventos visuais, os autores modificam os mecanismos de atenção cruzada (cross-attention) nos backbones. Para modelos como o GVMGen, que comprimem quadros em vetores globais, eles restauram um eixo temporal adicionando embeddings posicionais aprendidos por quadro às saídas do Q-Former e habilitando embeddings posicionais senoidais fixos nas chaves (keys) e valores (values) da atenção cruzada. Isso permite que o diálogo module o sinal de condicionamento em uma base quadro a quadro.

Principais Contribuições

Conjunto de Dados OSSL-v2: Um conjunto de dados de vídeo-música de grande escala (246,4 horas), auto-hospedado, originado de filmes de domínio público. Ele aborda os problemas de impermanência e escalabilidade de conjuntos de dados anteriores coletados na web, permitindo pesquisa reproduzível.
Condicionamento por Diálogo: Uma demonstração de que o diálogo serve como um sinal de condicionamento eficaz para a geração de música de filme. O adaptador proposto integra características acústicas de diálogo no caminho de condicionamento de vídeo sem exigir uma reformulação completa do modelo.
Adaptação Arquitetônica: Modificações específicas nos mecanismos de atenção cruzada em modelos autorregressivos e de difusão para preservar a identidade temporal, permitindo a modulação por diálogo alinhada ao quadro.

Resultados Experimentais
Os modelos foram treinados e avaliados no OSSL-v2 (divisão 9:1) e em um conjunto de filmes comerciais fora da distribuição (OES-Com). As métricas de avaliação incluíram fidelidade de distribuição (FAD, Precisão, Recall) e fidelidade pareada (similaridade CLAP, divergência KL).

Desempenho da Linha de Base (Baseline): Entre as linhas de base, o GVMGen alcançou o desempenho geral mais forte no conjunto de teste de domínio público. O Diff-V2M mostrou alta fidelidade pareada em dados fora da distribuição, mas falhou em gerar amostras que conformavam a distribuição real (ground truth) (Precisão = 0,00).
Impacto do Adaptador de Diálogo:
- Fidelidade Pareada: O adaptador de diálogo consistentemente melhorou a fidelidade pareada (fidelidade semântica à realidade), particularmente em termos de redução da divergência KL e aumento da similaridade CLAP.
- Generalização: As melhorias foram frequentemente mais pronunciadas no conjunto fora da distribuição OES-Com do que no conjunto dentro da distribuição OSSL-v2, sugerindo que o sinal de diálogo atua como um regularizador que auxilia a generalização.
- Fidelidade de Distribuição: O adaptador não remodelou sistematicamente a distribuição gerada (FAD e Precisão variaram de forma inconsistente).
- Robustez: Esses ganhos persistiram em subconjuntos de Música de Baixo Resíduo (LRM), onde as faixas de diálogo separadas continham quantidades insignificantes de música vazada. Isso confirma que as melhorias são impulsionadas pelo próprio sinal de diálogo, e não por artefatos de uma separação de fontes imperfeita.

Significância e Alegações
O artigo afirma que o OSSL-v2 reduz a barreira para a pesquisa reproduzível e a comparação justa na geração de vídeo para música, fornecendo um benchmark durável e auto-hospedado. Em relação à metodologia, os autores afirmam modestamente que sua formulação consciente de diálogo melhora as linhas de base de estado da arte, particularmente em fidelidade temporal (similaridade com a realidade) e generalização para filmes comerciais. Eles postulam que a incorporação do diálogo como um sinal de condicionamento alinhado no tempo aborda uma lacuna na geração atual de domínio cinematográfico, onde a informação global de nível de vídeo sozinha é insuficiente para capturar as interações temporais locais entre fala e música. O trabalho não pretende resolver todos os desafios no campo, mas identifica o condicionamento por diálogo como uma direção promissora para o desenvolvimento futuro.

Mais como este