Assessing AI-generated music detection in real-world broadcast monitoring

기술 요약: 실제 방송 모니터링 환경에서의 AI 생성 음악 탐지 평가

문제 정의
AI 생성 음악의 급격한 확산은 방송 산업 내 투명성, 저작권, 그리고 공정한 보상과 관련하여 시급한 과제를 야기하고 있다. 기존의 AI 생성 음악 탐지기들은 고충실도(high-fidelity)의 고립된 트랙에 대해서는 완벽에 가까운 정확도를 달행하지만, 실제 방송 환경에 적용될 경우 성능이 크게 저하되는 문제를 겪는다. 현재의 평가는 주로 합성 데이터나 통제된 실험실 환경에 국한되어 있어, 텔레비전 방송의 음향적 복잡성을 반영하지 못한다. 이러한 복잡성에는 짧은 음악 구간, 음악을 가리는 지배적인 음성 또는 효과음, 가변적인 음량 수준, 그리고 저비트레이트 전송 제약(예: 8 kHz 샘플링, 40 kbps AAC-LC 인코딩) 등이 포함된다. 결과적으로, 실제 방송 모니터링에서 현재의 탐지 방법들의 신뢰성 문제는 해결되지 않은 상태로 남아 있다.

방법론
합성 벤치마크와 실제 환경 사이의 간극을 메우기 위해, 저자들은 **BAMM (Broadcast AI-Music Monitoring)**이라는 새로운 데이터셋 및 평가 프레임워크를 도입한다.

• 데이터셋 구축 (BAMM): BAMM은 약 20시간의 AI 생성 음악과 20시간의 인간 제작 음악으로 균형을 맞춘 40시간 분량의 실제 텔레비전 녹화물로 구성된다. 데이터셋은 다음과 같은 과정을 통해 큐레이션되었다:

  1. 참조 데이터 선택: 깨끗한 참조 트랙 코퍼스를 생성한다. 인간 제작 트랙은 고급 생성 모델(Suno v3.5 등)이 등장하기 전인 2020~2022년 사이에 발표된 곡으로 제한하였다. AI 생성 트랙은 다섯 가지 다양한 탐지기 앙상블로부터 만장일치의 긍정적 분류를 받은 경우에만 선택되었다.
  2. 핑거프린팅: 오디오 핑거프린팅을 사용하여 글로벌 방송 아카이브(4,200개 이상의 채널 모니터링) 내에서 해당 참조 트랙들이 2025년 1월부터 2026년 3월 사이에 송출된 위치를 찾아낸다.
  3. 필터링: 딥 뮤직 디텍터(DMD)를 적용하여 음악이 포함된 클립(전경 또는 배경 음악)을 분리하고, 효과음이나 잘못된 매칭을 제거한다.
  4. 특성: 클립 길이는 5초에서 60초 사이이다. 오디오는 모노포닉이며, 8 kHz로 샘플링되고 40 kbps로 인코딩되어, 산업용 모니터링에 사용되는 저품질 프록시 스트림을 나타낸다.

• 실험 설정: 본 연구는 Afchar 등[6]의 CNN 아키데이션을 기반으로 세 가지 단계적으로 까다로워지는 시나리오에 대해 두 가지 변형 모델을 평가한다:

  1. Clean Foreground Music (CFM): 고품질의 고립된 트랙 (대조군 베이스라인).
  2. Synthetic TV Broadcast (STB): 방송 조건을 시뮬레이션하기 위해 음악과 음성을 혼합한 제어된 혼합물 (AI-OpenBMAT 데이터셋 사용).
  3. Real TV Broadcast (RTB): 실제 방송 녹음물을 포함하는 전체 BAMM 데이터셋.

  비교되는 두 모델은 다음과 같다:

  • CNN Clean: 깨끗한 전경 음악으로만 학습됨.
  • CNN Broadcast: 깨끗한 음악과 합성된 방송 조건(다양한 신호 대 잡음비(SNR)로 혼합된 음악 및 음성)이 섞인 데이터로 학습됨.

주요 기여

1. BAMM 데이터셋: 주요 기여는 AI 생성 음악 탐지를 위해 특별히 큐레이션된 4-시간 분량의 실제 방송 데이터셋을 공개하는 것이다. 이전의 벤치마크와 달리, 이는 배경 음악, 효과음, 저비트레이트 인코딩을 포함한 실제 방송 환경의 모든 가변성을 포착한다.
2. 경험적 평가: "깨끗한 데이터로 학습된" 모델과 "방송 데이터로 학습된" 모델을 합성 및 실제 방송 시나리오 전반에 걸쳐 비교하는 엄격한 벤치마크를 제공한다.
3. 도메인 간극 식별: 깨끗한 오디오에서 합성 혼합물로, 그리고 최종적으로 실제 방송 콘텐츠로 이동할 때 발생하는 성능 저하를 체계적으로 정량화하여, 현재의 학습 방식이 불충분함을 입증한다.

결과
평가 결과, 시나리오가 더 현실적으로 변함에 따라 결정적인 도메인 간극과 상당한 성능 저하가 나타났다:

• Clean Foreground Music (CF명): 두 모델 모두 거의 완벽한 성능(F1 > 0.99)을 달성하였으며, 이는 저품질 학습 데이터로부터 학습된 아티팩트가 고품질 오디오에서도 탐지 가능함을 확인시켜 준다.
• Synthetic TV Broadcast (STB): 성능이 크게 저하된다. CNN Clean 모델은 F1 점수가 0.342로 떨어지는 반면, CNN Broadcast 모델은 0.661로 개선된다. 이는 혼합 데이터로 학습하는 것이 도움이 되기는 하지만, 방송 조건의 마스킹 효과를 완전히 해결하지는 못함을 시사한다.
• Real TV Broadcast (RTB): BAMM 데이터셋에서 성능이 더욱 악화된다.
  • CNN Clean: F1 점수가 0.186으로 하락한다.
  • CNN Broadcast: F1 점수가 0.472로 하락한다.
  • 점수 중첩: 특히 배경 음악의 경우, AI 생성 음악과 인간 제작 음악 사이의 확률 점수 중첩이 상당하다. 모델들은 AI 콘텐츠를 식별하는 것보다 인간의 콘텐츠를 거부하는 데 더 큰 어려움을 겪는다.
  • 전경 vs 배경: 두 모델 모두 배경 음악보다 전경 음악에서 더 나은 성능을 보이는데, 이는 마스킹이 성능 저하의 주요 원인임을 확인시켜 준다. 그러나 저하된 오디오 품질과 기타 방송음으로 인해 전경 음악 탐지조차 신뢰하기 어려운 상태이다.

의의 및 주장
본 논문은 CNN 기반 탐지기를 위한 현재의 학습 방식이 방송 모니터링에서의 신뢰할 수 있는 AI 생성 음악 탐지에 불충분하다고 주장한다. 결과는 깨끗한 음악 데이터셋이 포착하지 못하는 실패 모드를 노출함으로써, 모델이 깨끗한 오디오나 합성된 혼합 데이터에서 실제 방송의 복잡한 저품질 현실로 넘어갈 때 발생하는 심각한 도메인 간극을 드러낸다.

저자들은 BAMM을 탐지 문제에 대한 해결책이 아니라, 필수적인 참조 평가 환경으로 규정한다. BAMM은 깨끗한 음악 데이터셋이 포착하지 못하는 실패 양상을 노출함으로써, 실제 방송 미디어의 음향적 및 맥락적 복잡성을 모델링할 수 있는 더 강력한 탐지 방법의 필요성을 강조한다. 이 연구는 음악 신호가 덜 두드러지거나 복잡한 오디오 혼합물 내에 포함될 때 AI 생성 음악을 탐지하는 작업이 훨씬 더 어려워진다는 점을 분명히 하며, 현재의 최첨단 아키텍처가 아직 극복하지 못한 과제임을 보여준다.