Quality-Diversity Search in Sound Generation: Investigating Innovation Engines for Audio Exploration

Resumen Técnico: Búsqueda de Calidad-Diversidad en la Generación de Sonido

Planteamiento del Problema
Los compositores y diseñadores de sonido a menudo enfrentan barreras técnicas al intentar crear y refinar herramientas para alcanzar objetivos musicales específicos. Si bien la síntesis digital permite teóricamente la creación de cualquier sonido, la vastedad del dominio sónico dificulta la exploración manual. Además, la "Paradoja de Menón" sugiere que descubrir sonidos verdaderamente novedosos es un desafío si uno no sabe ya qué buscar; sin embargo, el descubrimiento fortuito es posible si los nuevos sonidos son inmediatamente reconocibles al escucharlos. Los métodos existentes suelen depender de bucles de retroalimentación humana, los cuales están limitados por la fatiga humana al evaluar largas series de sonidos y la dificultad de proporcionar una presión de selección suficiente para los procesos evolutivos. El artículo aborda la necesidad de automatizar la navegación a través de territorios sónicos inexplorados para generar objetos sonoros diversos, de alta calidad e innovadores sin requerir el preentrenamiento en conjuntos de datos específicos o una guía humana explícita durante el bucle evolutivo.

Metodología
El estudio emplea una arquitectura de Motor de Innovación, que combina un algoritmo de Calidad-Diversidad (QD) promotor de la diversidad con un modelo discriminativo supervisado.

• Algoritmo de Búsqueda: El sistema utiliza MAP-Elites (Archivo Multidimensional de Élites Fenotípicas). Para fomentar la exploración, el algoritmo se aleja de los nichos que producen menos innovaciones mediante un "puntaje de curiosidad" (un contador decreciente para cada nicho).
• Genoma de Síntesis de Sonido: El genoma evolutivo consiste en dos componentes co-evolutivos:
  1. Redes Productoras de Patrones Compositivos (CPPNs): Estas redes generan patrones a lo largo del tiempo. En este estudio, están restringidas a componer funciones periódicas (seno, cuadrado, triángulo, diente de sierra) para servir como osciladores.
  2. Grafos de Procesamiento Digital de Señales (DSP): Estos grafos procesan las señales de las CPPNs. Incluyen nodos estándar (filtros, retardos, ganancia) y nodos personalizados (tabla de ondas, síntesis aditiva especializada) para expandir el repertorio sónico.
  • El genoma evoluciona desde cero (inicialización aleatoria) utilizando el algoritmo NEAT (Neuroevolución de Topologías Aumentadas), añadiendo nodos y conexiones con el tiempo.
• Modelo Discriminativo (Señal de Recompensa): Una Red Neuronal Profunda (DNN) YAMNet preentrenada, entrenada con el conjunto de datos AudioSet, actúa como el clasificador. Esta emite 521 puntajes de confianza correspondientes a clases de eventos de audio. Estos puntajes definen las celdas del espacio de comportamiento para MAP-Elites y proporcionan la presión de selección.
• Configuraciones Experimentales:
  • Línea Base: Co-evolución de CPPNs y grafos DSP.
  • Variantes: Solo CPPN (sin grafo DSP), victoria de celda única (restringiendo a los candidatos para ganar solo una celda) y CPPNs especializadas (múltiples CPPNs instanciadas para rangos de frecuencia específicos).
  • Expansión Temporal: El espacio de comportamiento se expandió para incluir duraciones de sonido (0.5s, 1s, 2s, 5s, 10s) como dimensiones ortogonales a las clases de clasificación.
  • Control de Objetivo Único: Se realizaron ejecuciones donde el algoritmo optimizaba para una sola clase para comparar contra el enfoque de QD multiobjetivo.

Contribuciones Clave

1. Arquitectura de Síntesis Novedosa: El artículo introduce un sistema que combina CPPNs y grafos DSP donde las CPPNs actúan como fuentes de señal especializadas para diferentes rangos de frecuencia. Un hallazgo clave es que el uso de múltiples CPPNs especializadas (una por rango de frecuencia) resulta en redes significativamente más simples (aproximadamente 1/3 del recuento de nodos y la mitad del recuento de conexiones de una sola CPPN multipropósito) manteniendo o mejorando ligeramente los puntajes de QD.
2. Peldaños Evolutivos: El estudio analiza el "cambio de objetivo" (donde un campeón de una clase es el descendiente de un campeón de otra). Los resultados muestran que los linajes frecuentemente atraviesan caminos improbables, con un 20% de los cambios de objetivo ocurriendo entre contextos "Musicales" y "No musicales" amplios, demostando la capacidad del sistema para navegar paisajes evolutivos complejos.
3. Especialización Temporal: Al expandir el espacio de comportamiento para incluir la duración, el estudio revela que los objetos sonoros a menudo se especializan dentro de nichos temporales. Los genomas que son élites en una duración (por ejemplo, 0.5s) rara vez siguen siendo élites en otras duraciones (por ejemplo, 10s), lo que indica que la dimensión temporal crea presiones evolutivas distintas.
4. Diversidad vs. Objetivo Único: El estudio demuestra que, si bien las ejecuciones de un solo objetivo pueden lograr puntajes de confianza promedio más altos para clases específicas, resultan en una complejidad genómica significativamente mayor y una menor diversidad. El enfoque de QD mantiene un equilibrio entre el rendimiento y la simplicidad estructural.

Resultados

• Rendimiento: La co-evolución de CPPNs y grafos DSP logró los puntajes de QD generales más altos y un atractivo estético subjetivo superior en comparación con las configuraciones de solo CPPN. El sistema generó con éxito sonidos que recibieron altos puntajes de confianza en la mayoría de las 521 clases de AudioSet, aunque tuvo dificultades con ciertas clasificaciones de géneros musicales (por ejemplo, "Pop music"), probablemente porque el sistema genera materiales sonoros en lugar de composiciones completas.
• Complejidad: Las ejecuciones de objetivo único condujeron a una complejidad genómica mucho mayor (más nodos de CPPN y DSP) en comparación con las ejecuciones de QD. El enfoque de CPPN especializada redujo la complejidad sin sacrificar el rendimiento.
• Efectos de la Duración: Contrario a la hipótesis de que las duraciones más largas (10s) permitirían al clasificador detectar mejor los patrones, las duraciones de 0.5s arrojaron puntajes de QD más altos en las ejecuciones de solo CPPN. Sin embargo, cuando los grafos DSP evolucionaron junto con las CPPNs, la duración tuvo poco efecto en el rendimiento.
• Análisis de Linaje: El rastreo filogenético reveló que los élites a menudo descienden de padres en diferentes clases, confirmando la existencia de peldaños evolutivos que conectan categorías sónicas dispares.

Significancia y Reivindicaciones
El artículo afirma que el sistema propuesto es un enfoque viable para automatizar el descubrimiento de sonidos novedosos. Argumenta que los algoritmos que promueven la diversidad pueden cerrar la brecha entre la realización teórica de los sonidos y su accesibilidad práctica. La significancia del trabajo radica en:

• Exploración Bottom-Up: A diferencia de los enfoques top-down donde los objetivos están predefinidos, este método fomenta un proceso bottom-up donde "la herramienta escribe al fabricante de la herramienta", permitiendo el descubrimiento de objetos sonoros interesantes que pueden dirigir viajes creativos.
• Escalabilidad: La arquitectura de CPPN especializada escala de manera más fluida, permitiendo añadir nuevos rangos de frecuencia o tareas sin complicar excesivamente una sola red.
• Potencial Creativo: Los objetos sonoros generados se presentan no como piezas terminadas independientes, sino como materiales para futuros esfuerzos creativos. Los autores proporcionan un explorador en línea y aplicaciones experimentales (usando el sampler AudioStellar) para mostrar cómo estos descubrimientos diversos y automatizados pueden inspirar a compositores y diseñadores de sonido humanos.
• Modestia: Los autores reconocen que los sonidos de alto puntaje no siempre son las representaciones más realistas de sus clases (atribuido a las limitaciones de las DNN) y que el sistema está destinado a facilitar o inspirar la creación en lugar de reemplazar la intuición humana. Sugieren que el trabajo futuro podría implicar la expansión del espacio de comportamiento más allá de las clases predefinidas mediante la reducción de dimensionalidad y el descubrimiento no supervisado.