Step-by-Step Video-to-Audio Synthesis via Negative Audio Guidance

Resumo Técnico: Síntese de Vídeo para Áudio Passo a Passo via Orientação de Áudio Negativo

Definição do Problema
Os modelos atuais de geração de vídeo para áudio (V2A) produzem tipicamente uma única trilha de áudio completa em uma única passagem. Embora esses modelos alcancem alto alinhamento semântico e temporal com os vídeos de entrada, eles carecem de mecanismos para refinamento incremental. Nos fluxos de trabalho tradicionais de Foley, os artistas sobrepõem sons complementares (ex: passos, o roçar de tecidos) para construir uma trilha de áudio composta. Os modelos V2A existentes não conseguem replicar esse processo interativo; se uma trilha gerada omite eventos específicos, toda a trilha deve ser regenerada. Além disso, alcançar a geração passo a passo por meio de aprendizado condicional padrão exigiria conjuntos de dados de vídeo-áudio de múltiplas referências custosos (onde um único vídeo é pareado com várias trilhas de áudio distintas e não sobrepostas), que são difíceis de obter em escala.

Metodologia
Os autores propõem uma estrutura de síntese de Vídeo para Áudio (V2A) Passo a Passo impulsionada por Orientação de Áudio Negativo (NAG - Negative Audio Guidance). Esta abordagem permite a geração iterativa de trilhas de áudio complementares que preenchem eventos sonoros ausentes sem duplicar sons já presentes em trilhas geradas anteriormente.

1. Formulação de Negação de Conceito:
   O desafio central é gerar um áudio alvo $x^{(2)}$ condicionado a um vídeo $V$, um prompt de texto $C_2$ e uma trilha de áudio previamente gerada $x^{(1)}$, de tal forma que $x^{(2)}$ se alinhe com $V$ e $C_2$, mas exclua conceitos presentes em $x^{(1)}$. Os autores formulam isso como um problema de negação de conceito, aproximando a distribuição alvo $p(x^{(2)} | V, C_2, x^{(1)})$ ao tratar $x^{(1)}$ como uma condição negativa ($\neg x^{(1)}$).

2. Derivação de Fluxo Guiado:
   Baseando-se em modelos de correspondência de fluxo (flow-matching) e orientação livre de classificador (classifier-free guidance), os autores derivam uma nova formulação de orientação. Eles decompõem a distribuição de probabilidade alvo para incluir um termo que repele a geração do áudio condicionante $x^{(1)}$. O fluxo guiado resultante $\tilde{u}_{\theta, \psi}(x_t)$ consiste em:

• Um termo de fluxo incondicional.
• Um termo de orientação padrão que fortalece a fidelidade ao vídeo $V$ e ao texto $C_2$.
• Um termo de Orientação de Áudio Negativo (NAG): $\beta (u_\theta(x_t, t, V, C_2) - u_{\theta, \psi}(x_t, t, V, \emptyset, x^{(1)}))$. Este termo empurra a trajetória de amostragem para longe do conteúdo acústico de $x^{(1)}$.

3. Estratégia de Treinamento (Sem Dados Especializados):
   Para evitar a necessidade de conjuntos de dados de múltiplas referências, os autores treinam o ramo condicionado ao áudio (parametrizado por $\psi$) usando segmentos de áudio não sobrepostos do mesmo vídeo.

• Arquitetura: Eles utilizam uma arquitetura do tipo ControlNet adaptada para o MMAudio (um modelo V2A de correspondência de fluxo pré-treinado). A condicionação de áudio é injetada via blocos transformer unimodais que extraem características do áudio de referência $x^{(1)}$ e as adicionam ao ramo principal.
• Construção de Dados: A partir de um conjunto de dados de referência única padrão (ex: VGGSound), eles amostram dois segmentos de 4 segundos não sobrepostos: um como alvo ($x_{tgt}$) e outro como condição ($x_{cond}$). Isso força o modelo a aprender o contexto acústico compartilhado (ambiente, timbre, condições de gravação) em vez de copiar a forma de onda, permitindo que ele atue como um "prior repulsivo" durante a inferência.

4. Processo de Inferência:
   A geração procede iterativamente. Para o $k$-ésimo passo, o áudio composto de todas as trilhas geradas anteriormente ($\sum_{l=1}^{k-1} x^{(l)}$) é usado como o sinal de condicionação negativa $x^{(1)}$ para gerar a próxima trilha complementar $x^{(k)}$.

Principais Contribuições

• Formulação de Síntese Passo a Passo: O artigo formula a geração V2A como um processo iterativo de criação de múltiplas trilhas complementares para um único vídeo, permitindo a autoria interativa estilo Foley.
• Orientação de Áudio Negativo (NAG): Um novo mecanismo de orientação que utiliza um ramo condicionado ao áudio negativamente durante a amostragem para evitar a duplicação de sons entre trilhas sequenciais. Crucialmente, isso é treinável usando conjuntos de dados audiovisual de referência única padrão via amostragem de segmentos não sobrepostos.
• Melhoria na Separabilidade e Qualidade: O método demonstra que é possível gerar trilhas de áudio distintas e de alta qualidade que não se sobrepõem em conteúdo, superando baselines que dependem de geração independente ou prompting de texto negativo.

Resultados
Os autores avaliaram seu método em um conjunto de dados recém-construído, Multi-Caps VGGSound, que contém vídeos pareados com múltiplas legendas distintas descrevendo diferentes eventos sonoros.

• Métricas Objetivas:
  • Áudio Composto: O método proposto alcançou as melhores pontuações em Distância de Fréchet (FD), divergência KL e alinhamento temporal (DeSync) em comparação com baselines como Seeing-and-Hearing, FoleyCrafter e o MMAudio padrão. Superou a "Geração Independente" (gerar trilhas sem contexto) e o "Passo a Passo com Prompting Negativo" (usar texto para excluir sons anteriores).
  • Trilhas Individuais: O método melhorou significativamente a separabilidade de áudio (medida pela similaridade áudio-áudio CLAP) em comparação com o vanilla MMAudio. Embora o prompting negativo tenha melhorado a separabilidade, ele degradou a qualidade do áudio e o alinhamento com o texto. O NAG manteve alta qualidade de áudio e alinhamento vídeo-texto enquanto alcançou separabilidade superior.
• Avaliação Subjetiva:
  • Estudos de usuário mostraram que o método proposto foi preferido para qualidade de áudio, alinhamento semântico e alinhamento temporal no áudio composto final.
  • Para trilhas individuais, o método recebeu classificações significativamente mais altas para separabilidade e classificações marginalmente mais altas para qualidade de áudio e fidelidade de texto.
• Escalabilidade: A análise variando o número de passos de geração (2 a 5 legendas) mostrou que os benefícios do NAG (especificamente na separabilidade) tornam-se mais pronunciados à medida que o número de eventos de áudio necessários aumenta, sem degradar a fidelidade geral.

Significância e Alegações
O artigo afirma que este trabalho resolve um gargalo crítico no Foley automatizado: a incapacidade de refinar trilhas de áudio de forma interativa sem regenerar toda a sequência. Ao introduzir o NAG, os autores permitem um fluxo de trabalho onde usuários podem criar múltiplos eventos sonoros passo a passo, de forma semelhante aos artistas de Foley tradicionais, mas sem a exigência trabalhosa de dados de treinamento de múltiplas referências. O método preenche a lacuna entre modelos generativos de alta qualidade e o design de som prático e controlável, garantindo que os sons gerados não sejam apenas semanticamente alinhados com o vídeo, mas também distintos entre si em uma mixagem composta. Os autores enfatizam que sua abordagem é prática porque aproveita modelos pré-treinados existentes e conjuntos de dados padrão, evitando a necessidade de dados de áudio-vídeo de múltiplas trilhas especializados e difíceis de obter.