FoleyDirector: Fine-Grained Temporal Steering for Video-to-Audio Generation via Structured Scripts

O artigo apresenta o FoleyDirector, um novo framework que introduz Scripts Temporais Estruturados e síntese de som bi-frame para permitir um controle temporal preciso e de alta fidelidade na geração de áudio a partir de vídeo, superando as limitações atuais em cenários complexos e com eventos múltiplos.

O essencial

Imagine que você está assistindo a um filme mudo. Você vê um carro passando, mas não ouve o motor. Você vê alguém batendo na porta, mas não ouve a batida. Antigamente, para dar som a esses filmes, era necessário um "artista de Foley" (um profissional de som) gastar horas e horas criando esses sons manualmente, tentando sincronizá-los perfeitamente com a imagem.

Hoje, a Inteligência Artificial tenta fazer isso sozinha, mas ela tem um problema: é um pouco "cega" para o tempo e para o que está fora da tela. Se você pedir para ela fazer o som de um carro, ela pode fazer o barulho o tempo todo, ou no momento errado, ou não entender que o carro está fora da tela e o som vem de longe.

É aqui que entra o FoleyDirector. Pense nele como um diretor de cinema para a inteligência artificial.

Aqui está como ele funciona, usando analogias simples:

1. O Problema: A IA que não sabe "quando" tocar

As IAs atuais olham para a imagem e dizem: "Ah, tem um cachorro, vou fazer um latido". Mas se o cachorro está fora da tela (você só ouve o latido), a IA fica confusa. Se você quer que o latido seja apenas entre 2 e 3 segundos, e silêncio depois, a IA atual geralmente falha e faz barulho o tempo todo.

2. A Solução: O Roteiro Estruturado (Structured Temporal Scripts)

O FoleyDirector introduz uma ideia genial: em vez de dar à IA apenas uma descrição geral do filme ("Um homem caminha na floresta"), ele dá um roteiro detalhado, segundo a segundo.

• A Analogia: Imagine que a IA é um músico que toca piano.
  • Antes: Você dizia: "Toca uma música triste". O músico tocava algo triste, mas não sabia quando começar ou parar.
  • Com o FoleyDirector: Você entrega um roteiro que diz: "Segundo 0 a 2: Toca um acorde suave. Segundo 3 a 5: Silêncio total. Segundo 6: Toca um acorde alto e assustador".
  • Isso é o que chamam de Roteiros Temporais Estruturados. É como dar à IA um cronômetro e um manual de instruções exato para cada pedaço de som.

3. O "Fusor Mágico" (Script-Guided Temporal Fusion)

Como a IA junta a imagem do vídeo com esse roteiro de tempo? O papel descreve um módulo chamado SG-TFM.

• A Analogia: Pense em uma orquestra. O vídeo é o maestro, e o roteiro de tempo é o regente que bate a batuta.
  • O SG-TFM é o regente que garante que a orquestra (a IA) olhe para a imagem e para o roteiro de tempo ao mesmo tempo.
  • Ele usa uma técnica especial (chamada "Interleaved RoPE") que é como colocar o roteiro e a música lado a lado na partitura, garantindo que o som bata exatamente no tempo certo da batida do maestro.

4. O Truque do "Dois Quadros" (Bi-Frame Sound Synthesis)

Às vezes, o som é complicado. Imagine um filme onde você vê um cachorro latindo (dentro da tela), mas também ouve uma sirene de polícia passando lá fora (fora da tela). A IA costuma se confundir e misturar tudo.

• A Analogia: O FoleyDirector usa uma técnica chamada Bi-Frame. Imagine que a IA tem dois estúdios de gravação separados funcionando ao mesmo tempo:
  1. Estúdio A (Dentro da Tela): Grava os sons do que você vê (o cachorro latindo). Ele olha para o vídeo.
  2. Estúdio B (Fora da Tela): Grava os sons do que você não vê (a sirene). Ele ignora o vídeo e só olha para o roteiro que você escreveu.
  • No final, ele mistura as duas faixas perfeitamente. Assim, você pode ter um cachorro latindo na tela enquanto uma sirene passa fora dela, e a IA não vai ficar confusa.

5. O Resultado: Você vira o Diretor

O grande diferencial do FoleyDirector é que ele permite que você assuma o controle.

• Você pode dizer: "Quero o som de um carro de 5 a 6 segundos, e silêncio no resto".
• Você pode dizer: "O tigre boceja, mas de repente ele miar como um gato, e as pessoas riem".
• A IA obedece. Ela não tenta adivinhar; ela segue suas instruções de tempo.

Resumo

O FoleyDirector é como dar um relógio de precisão e um roteiro de cinema para uma Inteligência Artificial que cria sons.

• Antes: A IA fazia barulho aleatório ou no momento errado.
• Agora: Com o FoleyDirector, você pode dizer exatamente o que fazer, quando fazer e por quanto tempo, mesmo que o som venha de fora da tela.

Isso transforma a criação de filmes e vídeos, permitindo que qualquer pessoa, sem ser um especialista em som, possa dirigir a trilha sonora de seus vídeos com precisão de relógio.

Resumo técnico

Título: FoleyDirector: Direção Temporal de Alta Precisão para Geração de Vídeo-para-Áudio via Scripts Estruturados

1. Problema e Motivação

As técnicas recentes de Geração de Vídeo-para-Áudio (V2A) alcançaram progressos notáveis na síntese de áudio realista e de alta qualidade. No entanto, elas enfrentam limitações críticas em cenários complexos:

• Controle Temporal Fino: Modelos existentes tratam legendas (captions) como pistas semânticas globais e grosseiras. Eles lutam para controlar quando exatamente um som deve ocorrer em segmentos específicos, especialmente em cenários de múltiplos eventos.
• Pistas Visuais Insuficientes: Modelos baseados puramente em visão falham quando o som provém de regiões pequenas, objetos oclusos, ou sons "fora de quadro" (off-screen), pois não conseguem inferir o timing correto apenas com base no vídeo.
• Falta de Direção Criativa: Usuários não podem atuar como "diretores de Foley", especificando silêncios, durações exatas ou eventos contrafactuais (ex: um tigre miando em vez de rugir) de forma precisa.

2. Metodologia

O FoleyDirector é um framework que estende a capacidade de controle temporal de geradores V2A baseados em DiT (Diffusion Transformer), mantendo a qualidade do modelo base. A arquitetura é construída sobre o gerador pré-treinado MMAudio e introduz três componentes principais:

A. Scripts Temporais Estruturados (STS - Structured Temporal Scripts)

Para fornecer informações temporais ricas além das pistas visuais, o método decompõe a legenda global em múltiplas legendas de curto prazo (aprox. 1 segundo cada).

• Extração: Um pipeline utiliza um Modelo de Linguagem Multimodal (MLLM), especificamente o Qwen-Omni, para analisar o áudio e o vídeo, gerando descrições semânticas, identificando tipos de sons e classificando sua presença em segmentos temporais específicos.
• Formato: Cada segmento possui uma descrição estruturada contendo o evento, volume (loudness) e timbre. Isso atua como um "roteiro" para o modelo.

B. Módulo de Fusão Temporal Guiado por Script (SG-TFM)

Para integrar os STS ao modelo sem reescrevê-lo completamente, os autores propõem um adaptador chamado SG-TFM.

• Atenção de Script Temporal (TSA): Uma camada de atenção adicional que funde as características dos STS com o fluxo de áudio.
• RoPE Intercalado (Interleaved RoPE): Para garantir alinhamento temporal coerente entre os tokens de texto (STS) e os tokens de áudio, o método utiliza um mecanismo de codificação posicional (RoPE) intercalado. Isso permite que o modelo entenda a relação temporal entre os segmentos de áudio e as instruções do script.
• Flexibilidade: O módulo SG-TFM pode ser desativado, permitindo que o modelo volte a operar no modo V2A padrão (apenas vídeo e texto global) ou alternar para o modo controlado por script.

C. Framework de Síntese de Som Bi-Frame (Bi-Frame Sound Synthesis)

Para lidar com cenários complexos onde há sons visíveis (in-frame) e sons fora de quadro ou contrafactuais (out-of-frame) simultaneamente:

• O modelo duplica o latente de áudio em dois fluxos paralelos:
  1. In-Frame: Condicionado ao vídeo, texto e STS.
  2. Out-of-Frame: Condicionado apenas ao texto e STS (usando um embedding visual nulo), permitindo a geração de sons que não têm correspondência visual direta.
• Os dois fluxos são fundidos temporalmente de acordo com os segmentos definidos no script, permitindo controle preciso sobre o que é visível e o que é narrativo.

3. Contribuições Principais

1. FoleyDirector: O primeiro framework a introduzir controle temporal de alta precisão em tarefas V2A baseadas em DiT, permitindo que usuários atuem como diretores de Foley.
2. Scripts Temporais Estruturados (STS): Uma nova forma de representar legendas como uma série de instruções temporais segmentadas, integradas via um módulo de fusão coesa.
3. Novos Conjuntos de Dados e Benchmarks:
   • DirectorSound: Um novo conjunto de dados de treinamento com anotações temporais finas.
   • DirectorBench: Um benchmark focado em avaliar o controle (temporal e contrafactual).
   • VGGSound-Director: Um subset do VGGSound anotado para avaliação de qualidade de áudio gerado sob controle temporal.
4. Arquitetura Híbrida: A capacidade de alternar entre geração V2A tradicional e síntese controlada por script simplesmente desativando o módulo SG-TFM.

4. Resultados Experimentais

Os experimentos demonstram que o FoleyDirector supera os métodos state-of-the-art (como HunyuanVideo-Foley, MMAudio, ThinkSound e Video-Foley):

• Controle (DirectorBench):
  • O método alcançou um aumento significativo no F1-score para controle contrafactual (de 0.2331 para 0.5284) e controle temporal (de 0.2572 para 0.4354).
  • Isso indica uma capacidade muito superior de ativar sons em momentos específicos e silenciar outros, mesmo sem pistas visuais claras.
• Qualidade de Áudio (VGGSound-Director):
  • O método preservou a fidelidade do áudio gerado pelo modelo base.
  • Houve melhoria nas métricas de distribuição (menor FD e KL-divergência) e alinhamento semântico, demonstrando que o controle temporal não degrada a qualidade do som.
• Estudo de Usuário:
  • Usuários avaliaram o FoleyDirector como superior em qualidade, controle e alinhamento temporal em comparação aos baselines.
• Análise de Ablação:
  • A remoção dos STS ou do RoPE intercalado resultou em queda drástica no controle, validando a importância de cada componente.
  • O uso do Bi-Frame melhorou significativamente a performance em cenários de sons fora de quadro.

5. Significado e Impacto

O FoleyDirector representa um avanço crucial na direção criativa de conteúdo gerado por IA. Ao permitir o controle fino de quando e como os sons ocorrem, independentemente das limitações visuais do vídeo, o trabalho:

• Democratiza a criação de efeitos sonoros, reduzindo a necessidade de artistas de Foley humanos para tarefas básicas.
• Permite narrativas mais ricas e complexas, onde sons fora de quadro ou eventos contrafactuais podem ser inseridos intencionalmente.
• Estabelece um novo paradigma para a geração multimodal, onde o controle temporal explícito é tratado como uma condição de primeira classe, não apenas uma consequência da análise visual.

Em suma, o trabalho transforma a geração V2A de uma tarefa de "previsão automática" para uma ferramenta de "direção assistida", oferecendo aos usuários controle criativo sem sacrificar a qualidade de geração.