Quality-Diversity Search in Sound Generation: Investigating Innovation Engines for Audio Exploration

기술 요약: 사운드 생성에서의 품질-다양성 탐색 (Quality-Diversity Search in Sound Generation)

문제 정의
작곡가와 사운드 디자이너들은 특정 음악적 목표를 달ato하기 위한 도구를 제작하고 정교화하는 과정에서 기술적 장벽에 직면하곤 한다. 디지털 합성 기술은 이론적으로 모든 소리를 생성할 수 있게 해주지만, 음향 영역의 방대함으로 인해 수동적인 탐색은 매우 어렵다. 더욱이, "메노의 역설(Meno's Paradox)"은 무엇을 찾아야 할지 이미 알고 있지 않다면 진정으로 새로운 소리를 발견하는 것이 어렵다는 점을 시사한다. 그러나 새로운 소리가 들리는 즉시 식별 가능하다면 우연한 발견(serendipitous discovery)은 가능하다. 기존 방식은 인간의 피드백 루프에 의존하는 경우가 많은데, 이는 긴 일련의 소리를 평가할 때 발생하는 인간의 피로도와 진화 프로세스에 충분한 선택 압력을 제공하기 어렵다는 한계가 있다. 본 논문은 명시적인 인간의 가이드나 특정 데이터셋에 대한 사전 학습 없이도, 미개척 음향 영역을 탐색하여 다양하고 고품질이며 혁신적인 사운드 오브젝트를 생성하기 위한 자동화된 탐색의 필요성을 다룬다.

방법론
본 연구는 다양성을 증진하는 품질-다양성(Quality-Diversity, QD) 알고리즘과 지도 학습 기반의 판별 모델을 결합한 이노베이션 엔진(Innovation Engine) 아키텍처를 채택한다.

• 탐색 알고리즘: 시스템은 MAP-Elites(Multi-dimensional Archive of Phenotypic Elites)를 활용한다. 탐색을 촉진하기 위해, 알고리즘은 혁신이 적게 발생하는 니치(niche)로부터 멀어지도록 "호기심 점수(curiosity score, 각 니치에 대한 감소하는 카운터)"를 사용하여 편향을 유도한다.
• 사운드 합성 게놈(Genome): 진화하는 게놈은 두 가지 공진화하는 구성 요소로 이루어진다:
  1. CPPN(Compositional Pattern Producing Networks): 이 네트워크는 시간에 따른 패턴을 생성한다. 본 연구에서는 이들을 오실레이터 역할을 수행하도록 주기 함수(사인, 스퀘어, 트라이앵글, 톱니파)를 구성하도록 제한하였다.
  2. DSP(Digital Signal Processing) 그래프: 이 그래프는 CPPN으로부터 오는 신호를 처리한다. 여기에는 표준 노드(필터, 딜레이, 게인)와 사운드 레퍼토리를 확장하기 위한 커스텀 노드(웨이브테이블, 특화된 가산 합성)가 포함된다.
  • 게놈은 NEAT(NeuroEvolution of Augmenting Topologies) 알고리즘을 사용하여 무(random initialization)에서부터 시작하여 시간이 지남에 따라 노드와 연결을 추가하며 진화한다.
• 판별 모델 (보상 신호): AudioSet 데이터셋으로 학습된 사전 학습된 YAMNet 딥 뉴럴 네트워크(DNN)가 분류기로 사용된다. 이 모델은 521개의 오디오 이벤트 클래스에 해당하는 신뢰도 점수를 출력한다. 이 점수들은 MAP-Elites의 행동 공간 셀(behavior space cells)을 정의하며 선택 압력을 제공한다.
• 실험 구성:
  • 베이스라인(Baseline): CPPN과 DSP 그래프의 공진화.
  • 변형 모델(Variants): CPPN 전용(DSP 그래프 없음), 단일 셀 승리(single-cell-win, 후보를 단 하나의 셀에서만 승리하도록 제한), 그리고 특화된 CPPN(특정 주파수 범위에 대해 여러 개의 CPPN을 인스턴스화).
  • 시간적 확장(Temporal Expansion): 행동 공간을 분류 클래스에 직교하는 차원으로서 사운드 지속 시간(0.5s, 1s, 2s, 5s, 10s)을 포함하도록 확장하였다.
  • 단일 목적 제어(Single-Objective Control): QD 방식의 다목적 접근법과 비교하기 위해, 알고리즘이 단일 클래스를 최적화하도록 하는 실험을 수행하였다.

주요 기여

1. 새로운 합성 아키텍처: 본 논문은 CPPNs가 서로 다른 주파수 범위를 위한 특화된 신호 소스로 작용하는 CPPN과 DSP 그래프를 결합한 시스템을 소개한다. 핵심적인 발견은 여러 개의 특화된 CPPN(하나당 하나의 주파수 범위)을 사용하는 것이 QD 점수를 유지하거나 약간 향상시키면서도, 단일 다목적 CPPN에 비해 훨씬 단순한 네트워크(노드 수는 약 1/3, 연결 수는 절반 수준)를 생성한다는 것이다.
2. 진화적 디딤돌(Evolutionary Stepping Stones): 본 연구는 "목표 전환(goal switching, 한 클래스의 챔피언이 다른 클래스의 챔피언의 자손이 되는 경우)"을 분석한다. 결과에 따르면 계보가 예상치 못한 경로를 자주 가로지르며, 20%의 목표 전환이 광범위한 "음악적(Musical)" 맥락과 "비음악적(Non-musical)" 맥락 사이에서 발생함을 보여주었다. 이는 복잡한 진화적 지형을 탐색하는 시스템의 능력을 입증한다.
3. 시간적 전문화(Temporal Specialization): 행동 공간을 지속 시간까지 확장함으로써, 사운드 오브젝트가 시간적 니치 내에서 전문화된다는 것을 밝혀냈다. 특정 지속 시간(예: 0.5s)에서 엘리트인 게놈이 다른 지속 시간(예: 10s)에서도 엘리트로 남는 경우는 드물며, 이는 시간적 차원이 뚜렷한 진화적 압력을 생성함을 나타낸다.
4. 다양성 대 단일 목적: 단일 목적 실행은 특정 클래스에 대해 더 높은 평균 신뢰도를 달려낼 수 있지만, 훨씬 더 높은 게놈 복잡도와 낮은 다양성을 초래한다는 것을 입증하였다. QD 접근 방식은 성능과 구조적 단순성 사이의 균형을 유지한다.

결과

• 성능: CPPN과 DSP 그래프의 공진화는 CPPN 전용 구성과 비교했을 때 가장 높은 전체 QD 점수와 주관적 미적 매력을 달성했다. 시스템은 대부분의 521개 AudioSet 클래스에 대해 높은 신뢰도 점수를 받는 소리를 성공적으로 생성했으나, 특정 음악 장르(예: "Pop music") 분류에는 어려움을 겪었는데, 이는 시스템이 완전한 곡이 아닌 사운드 재료를 생성하기 때문으로 보인다.
• 복잡도: 단일 목적 실행은 QD 실행에 비해 훨씬 높은 게놈 복잡도(더 많은 CPPN 및 DSP 노드)를 보였다. 특화된 다중 CPPN 접근 방식은 성능을 희생하지 않으면서 복잡도를 줄였다.
• 지속 시간 효과: 긴 지속 시간(10s)이 분류기가 패턴을 더 잘 감지하게 할 것이라는 가설과 달리, CPPN 전용 실행에서는 0.5s 지속 시간이 더 높은 QD 점수를 기록했다. 그러나 DSP 그래프가 CPPN과 함께 진화할 때는 지속 시간이 성능에 큰 영향을 미치지 않았다.
• 계보 분석: 계통 추적 결과, 엘리트들은 종종 서로 다른 클래스의 부모로부터 유래되었으며, 이는 서로 다른 소리 범주를 연결하는 진화적 디딤돌의 존재를 확인시켜 준다.

의의 및 주장
본 논문은 제안된 시스템이 새로운 소리의 발견을 자동화하는 실행 가능한 접근법이라고 주장한다. 저자들은 다양성을 증진하는 알고리즘이 소리의 이론적 실현과 실제적 접근성 사이의 간극을 메울 수 있다고 주장한다. 본 연구의 의의는 다음과 같다:

• 상향식 탐색(Bottom-Up Exploration): 목표가 미리 정의되는 하향식 접근 방식과 달리, 이 방법은 "도구가 도구 제작자를 쓰는(the tool writes the toolmaker)" 상향식 과정을 장려하여, 창의적 여정을 이끌 수 있는 흥미로운 사운드 오브젝트의 발견을 가능하게 한다.
• 확장성: 특화된 CPPN 아키텍처는 더 우아하게 확장되며, 단일 네트워크를 지나치게 복잡하게 만들지 않고도 새로운 주파수 범위나 과업을 추가할 수 있게 한다.
• 창의적 잠재력: 생성된 사운드 오브젝트는 독립적인 완성된 작품이 아니라 추가적인 창의적 활동을 위한 재료로서 제시된다. 저자들은 이러한 다양한 자동 발견이 인간 작곡가와 사운드 디자이너에게 어떻게 영감을 줄 수 있는지 보여주기 위해 온라인 익스플로러와 실험적 응용 사례(AudioStellar 사용)를 제공한다.
• 겸허함: 저자들은 높은 점수를 받은 소리가 항상 해당 클래스의 가장 현실적인 표현은 아니라는 점(DNN의 한계로 인한 것)을 인정하며, 시스템의 목적은 인간의 직관을 대체하는 것이 아니라 촉진하고 영감을 주는 데 있음을 밝힌다. 또한 차원 축소 및 비지도 학습 기반의 발견을 통해 행동 공간을 사전 정의된 클래스 너머로 확장하는 후속 연구를 제안한다.