Quality-Diversity Search in Sound Generation: Investigating Innovation Engines for Audio Exploration

Resumo Técnico: Busca de Qualidade-Diversidade na Geração de Som

Definição do Problema
Compositores e designers de som frequentemente enfrentam barreiras técnicas ao tentar criar e refinar ferramentas para alcançar objetivos musicais específicos. Embora a síntese digital permita, teoricamente, a criação de qualquer som, a vastidão do domínio sonoro torna a exploração manual difícil. Além disso, o "Paradoxo de Meno" sugere que descobrir sons verdadeiramente novos é um desafio se não se sabe o que procurar; no entanto, a descoberta fortuita é possível se os novos sons forem imediatamente reconhecíveis ao serem ouvidos. Os métodos existentes dependem frequentemente de loops de feedback humano, que são limitados pela fadiga humana ao avaliar longas séries de sons e pela dificuldade de fornecer pressão de seleção suficiente para processos evolutivos. O artigo aborda a necessidade de automatizar a navegação através de territórios sonoros inexplorados para gerar objetos sonoros diversos, de alta qualidade e inovadores, sem exigir pré-treinamento em conjuntos de dados específicos ou orientação humana explícita durante o loop evolutivo.

Metodologia
O estudo emprega uma arquitetura de Motor de Inovação, combinando um algoritmo de Qualidade-Diversidade (QD) que promove a diversidade com um modelo discriminativo supervisionado.

• Algoritmo de Busca: O sistema utiliza MAP-Elites (Arquivo Multidimensional de Elites Fenotípicas). Para incentivar a exploração, o algoritmo é enviesado para longe de nichos que produzem menos inovações usando um "escore de curiosidade" (um contador decrescente para cada nicho).
• Genoma de Síntese de Som: O genoma evolutivo consiste em dois componentes que coevoluem:
  1. Redes Produtoras de Padrões Composicionais (CPPNs): Estas redes geram padrões ao longo do tempo. Neste estudo, elas são restritas a compor funções periódicas (seno, quadrada, triângulo, dente de serra) para servirem como osciladores.
  2. Grafos de Processamento Digital de Sinais (DSP): Estes grafos processam os sinais das CPPNs. Eles incluem nós padrão (filtros, delays, ganho) e nós customizados (wavetable, síntese aditiva especializada) para expandir o repertório sonoro.
  • O genoma evolui do zero (inicialização aleatória) usando o algoritmo NEAT (NeuroEvolution of Augmenting Topologies), adicionando nós e conexões ao longo do tempo.
• Modelo Discriminativo (Sinal de Recompensa): Uma Rede Neural Profunda (DNN) YAMNet pré-treinada, treinada no conjunto de dados AudioSet, serve como o classificador. Ela produz 521 escores de confiança correspondentes a classes de eventos de áudio. Esses escores definem as células do espaço de comportamento para o MAP-Elites e fornecem a pressão de seleção.
• Configurações Experimentais:
  • Baseline: Coevolução de CPPNs e grafos de DSP.
  • Variantes: Apenas CPPN (sem grafo de DSP), vitória de célula única (restringindo candidatos a vencer apenas uma célula) e CPPNs especializadas (múltiplas CPPNs instanciadas para faixas de frequência específicas).
  • Expansão Temporal: O espaço de comportamento foi expandido para incluir durações de som (0,5s, 1s, 2s, 5s, 10s) como dimensões ortogonais às classes de classificação.
  • Controle de Objetivo Único: Foram realizadas execuções onde o algoritmo otimizava para uma única classe para comparar com a abordagem QD multiobjetivo.

Principais Contribuições

1. Arquitetura de Síntese Inovadora: O artigo introduz um sistema que combina CPPNs e grafos de DSP onde as CPPNs atuam como fontes de sinal especializadas para diferentes faixas de frequência. Uma descoberta fundamental é que o uso de múltiplas CPPNs especializadas (uma por faixa de frequência) resulta em redes significativamente mais simples (aproximadamente 1/3 do número de nós e metade da contagem de conexões de uma única CPPN de propósito geral) enquanto mantém ou melhora ligeiramente os escores de QD.
2. Degraus Evolutivos: O estudo analisa a "troca de objetivo" (onde o campeão de uma classe é o descendente de um campeão de outra). Os resultados mostram que as linhagens frequentemente atravessam caminhos improváveis, com 20% das trocas de objetivo ocorrendo entre contextos "Musicais" e "Não musicais" amplos, demonstrando a capacidade do sistema de navegar por paisagens evolutivas complexas.
3. Especialização Temporal: Ao expandir o espaço de comportamento para incluir a duração, o estudo revela que objetos sonoros frequentemente se especializam em nichos temporais. Genomas que são elites em uma duração (ex: 0,5s) raramente permanecem elites em outras durações (ex: 10s), indicando que a dimensão temporal cria pressões evolutivas distintas.
4. Diversidade vs. Objetivo Único: O estudo demonstra que, embora execuções de objetivo único possam alcançar escores de confiança médios mais altos para classes específicas, elas resultam em uma complexidade de genoma significativamente maior e menor diversidade. A abordagem QD mantém um equilíbrio entre desempenho e simplicidade estrutural.

Resultos

• Desempenho: A coevolução de CPPNs e grafos de DSP alcançou os maiores escores de QD gerais e apelo estético subjetivo em comparação com as configurações apenas de CPPN. O sistema gerou com sucesso sons que receberam altos escores de confiança em a maioria das 521 classes do AudioSet, embora tenha tido dificuldades com classificações de gêneros musicais específicos (ex: "Pop music"), provavelmente porque o sistema gera materiais sonoros em vez de composições completas.
• Complexidade: Execuções de objetivo único levaram a uma complexidade de genoma muito maior (mais nós de CPPN e DSP) em comparação com as execuções QD. A abordagem de múltiplas CPPNs especializadas reduziu a complexidade sem sacrificar o desempenho.
• Efeitos da Duração: Contrariando a hipótese de que durações mais longas (10s) permitiriam que o classificador detectasse melhor os padrões, durações de 0,5s renderam escores de QD mais altos nas execuções apenas de CPPN. No entanto, quando os grafos de DSP evoluíram junto com as CPPNs, a duração teve pouco efeito no desempenho.
• Análise de Linhagem: O rastreamento filogenético revelou que os elites frequentemente descendem de pais em classes diferentes, confirmando a existência de degraus evolutivos que conectam categorias sonoras díspares.

Significância e Alegações
O artigo afirma que o sistema proposto é uma abordagem viável para automatizar a descoberta de novos sons. Argumenta que algoritmos que promovem a diversidade podem preencher a lacuna entre a realização teórica de sons e sua acessibilidade prática. A significância do trabalho reside em:

• Exploração Bottom-Up: Diferente das abordagens top-down onde os objetivos são predefinidos, este método incentiva um processo bottom-up onde a "ferramenta escreve o fabricante da ferramenta", permitindo a descoberta de objetos sonoros interessantes que podem guiar jornadas criativas.
• Escalabilidade: A arquitetura de CPPN especializada escala de forma mais graciosa, permitendo que novas faixas de frequência ou tarefas sejam adicionadas sem complicar excessivamente uma única rede.
• Potencial Criativo: Os objetos sonoros gerados são apresentados não como peças finalizadas autônomas, mas como materiais para empreendimentos criativos posteriores. Os autores fornecem um explorador online e aplicações experimentais (usando o sampler AudioStellar) para mostrar como essas descobertas diversas e automatizadas podem inspirar compositores e designers de som humanos.
• Modéstia: Os autores reconhecem que os sons de alto escore nem sempre são representações realistas de suas classes (atribuído às limitações da DNN) e que o sistema visa facilitar ou inspirar a criação, não substituir a intuição humana. Eles sugerem que trabalhos futuros poderiam envolver a expansão do espaço de comportamento além das classes predefinidas usando redução de dimensionalidade e descoberta não supervisionada.