A Production-Oriented Framework for Evaluation of SFX Generation

Resumo Técnico: Um Framework Orientado à Produção para Avaliação de Geração de SFX

Problema
O design de som industrial exige sistemas de geração de áudio que vão além da produção de áudio plausível e incondicional. Fluxos de trabalho práticos demandam sistemas que preservem a identidade perceptual de um clipe de referência, suportem variações controláveis e permaneçam eficientes. Embora avanços recentes em difusão, flow-matching e pipelines multimodais tenham possibilitado transferência de estilo, condicionamento temporal e edição direcionada, os protocolos de avaliação atuais são fragmentados. Os métodos existentes são tipicamente avaliados dentro de seus contextos de tarefa originais (ex: texto-para-áudio, vídeo-para-áudio ou alinhamento de foley), tornando difícil a comparação direta entre métodos. Além disso, os benchmarks padrão frequentemente falham em abordar as restrições específicas da variação de efeitos sonoros (SFX) guiada por referência, como a preservação da identidade do evento e a sincronização temporal, que são críticas para a produção, mas distintas da geração de áudio genérica.

Metodologia
Os autores propõem um framework de avaliação orientado à produção, projetado para comparar métodos heterogêneos de geração e edição de áudio sob um objetivo de produção compartilhado. O framework é estruturado em torno de nove requisitos de produção (ex: fidelidade, preservação de identidade, diversidade, alinhamento temporal, controle de energia e eficiência) e emprega um protocolo de avaliação em duas etapas:

1. Tarefa de Variação de Áudio-para-Áudio (ATA) Guiada por Referência Compartilhada:

   • Dataset: O estudo utiliza o dataset ESC-50 (2.000 gravações de cinco segundos em 50 classes) com uma configuração de few-shot (ajuste fino leve nas dobras 1–3, validação na dobra 4, teste na dobra 5) para simular cenários de adaptação prática.
   • Protocolo: Para cada uma das 400 referências de teste, os modelos geram $N=10$ variantes condicionadas à forma de onda de referência e ao rótulo da classe.
   • Baselines: Cinco modelos representativos são avaliados: AudioLDM (variação de amostra total/transferência de estilo), T-Foley (controle de evento temporal), ThinkSound (edição multimodal direcionada), AudioX (fusão multimodal) e A2SB (inpainting localizado).
   • Métricas:
     • Objetivas: Distância de Áudio de Fréchet (FAD) para realismo; embeddings de áudio ImageBind para alinhamento de referência (identidade) e diversidade; diagnósticos de transientes (razão FWHM, $\Delta$ pré-onset, erro de onset) para comportamento temporal.
     • Perceptuais: Similarity Mean Opinion Score (S-MOS) avaliado por 15 participantes em uma escala de 1 a 5 para fidelidade de identidade.

2. Análises de Capacidade Específica:

   • Reconhecendo que os baselines possuem diferentes capacidades nativas, o framework inclui análises diagnósticas para operações específicas: morphing de SFX (AudioLDM, AudioX), controle temporal/energia (T-Foley), edição centrada em objetos (ThinkSound) e inpainting (A2SB). Estas análises destinam-se a caracterizar pontos fortes, em vez de fornecer rankings diretos entre métodos.

Principais Contribuições

1. Definição de Framework: Introdução de um framework de avaliação estruturado fundamentado em nove requisitos práticos de produção, abordando explicitamente a lacuna entre os benchmarks de geração de áudio genéricos e as necessidades de variação de SFX orientadas à produção.
2. Protocolo de Duas Etapas: Um novo protocolo que combina uma tarefa de variação ATA compartilhada e justa (usando ESC-50) com análises diagnósticas de capacidade específica. Isso permite a comparação de métodos heterogêneos enquanto respeita seus escopos nativos de condicionamento e edição.
3. Avaliação Abrangente: Um estudo comparativo de métodos de estado da arte recentes usando uma combinação de métricas objetivas (FAD, alinhamento/diversidade ImageBind, diagnósticos de transientes), estudos perceptuais humanos (S-MOS) e análise espectro-temporal qualitativa.

Resultados Experimentais

• Baselines de Geração Total: Sob a configuração ATA compartilhada, o AudioX demonstrou o melhor equilíbrio geral, alcançando o melhor compromisso entre alinhamento de referência (0.59), identidade perceptual (S-MOS 3.37) e qualidade de áudio (FAD 9.34). Ele favoreceu a consistência da referência sobre a variação extrema.
• Diversidade vs. Identidade: O AudioLDM alcançou a maior diversidade (0.43), mas sofreu com um alinhamento de identidade mais fraco (0.39) e pontuações perceptuais menores, indicando uma tendência ao semantic drift. O ThinkSound apresentou um perfil intermediário.
• Controle Temporal: O T-Foley, apesar do condicionamento temporal explícito, teve um desempenho ruim na configuração ATA compartilhada em relação à preservação de identidade (S-MOS 1.89) e alinhamento (0.22), sugerindo que o condicionamento de evento temporal sozinho é insuficiente para preservar a identidade perceptual mais ampla.
• Capacidades Especializadas: O A2SB destacou-se em inpainting localizado (S-MOS 4.81 nas regiões de inpaint), mas não é comparável aos métodos de geração total. AudioX e AudioLDM mostraram comportamentos distintos no morphing de SFX: o AudioX proporcionou transformações mais suaves e de preservação de identidade, enquanto o AudioLDM ofereceu estilização mais forte à custa da identidade. O ThinkSound teve bom desempenho em edição centrada em objetos, mas produziu mudanças relativamente sutis nos cenários testados.
• Diagnósticos de Transientes: O AudioX obteve o menor erro de onset (43.52 ms) entre os métodos de geração total, enquanto o T-Foley exibiu o maior (63.53 ms), indicando que o acompanhamento do envelope não garante um alinhamento temporal preciso.

Significância e Alegações
O artigo afirma que seu framework estabelece um protocolo de decisão estruturado para a variação de SFX guiada por referência, indo além de pontuações agregadas únicas para revelar forças complementares e trade-offs entre diferentes métodos. Os autores afirmam que nenhum baseline domina todas as necessidades de produção; em vez disso, a escolha ideal depende de prioridades específicas do fluxo de trabalho (ex: AudioX para equilíbrio entre identidade/fidelidade, AudioLDom para alta diversidade/estilização, A2SB para reparo). O trabalho destaca que a variação de SFX pronta para produção não pode ser avaliada apenas através de benchmarks de qualidade de áudio genéricos e fornece uma base prática para o design de futuros pipelines industriais unificados de geração de áudio. O estudo enfatiza a necessidade de modelos que equilibrem conjuntamente realismo, preservação de identidade, controlabilidade e eficiência.