How Much AI Is in This Track? Quantifying the Proportion of AI-Generated Stems in Hybrid Music Mixtures

기술 요약: 하이브리드 음악 믹스 내 AI 생성 스템(Stem)의 비율 정량화

문제 정의
현재의 AI 음악 탐지 시스템은 트랙을 완전히 인간이 제작했거나 완전히 AI가 생성한 것으로 분류하는 이진 패러다임(binary paradigm) 하에서 작동한다. 이러한 시스템은 신경 오디오 코덱 디코더의 전치 컨볼루션 레이어(transposed convolution layers)에 의해 도입되는 특정 스펙트럼 아티팩트(특히 "페이크프린트(fakeprints)" 또는 주기적 피크)를 활용하여 순수 트랙에 대해 높은 정확도(>99%)를 달로하지만, 현대 음악 제작의 현실을 반영하지 못한다. 프로듀서들은 AI가 생성한 스템(예: 합성 드럼이나 베이스라인)을 인간이 연주한 악기와 함께 통합하는 하이브리드 믹스를 점점 더 많이 제작하고 있다. 이러한 시나리오에서 이진 탐지기는 AI 콘텐츠의 비율을 정량화하는 데 적합하지 않으며, 혼합된 신호에 대한 그들의 동작 특성 또한 규명되지 않은 상태이다. 본 논문은 EU AI 법안과 같은 투명성 의무에 부합하도록, 트랙 내 AI 생성 에너지의 연속적인 비율을 추정할 수 있는 탐지 프레임워크의 필요성을 다룬다.

방법론
저자들은 알려진 "AI 에너지 비율"($\alpha \in [0, 1]$)을 가진 제어된 하이브리드 믹스를 구축하기 위한 방법론을 제안한다. 여기서 $\alpha$는 전체 음향 에너지 중 AI가 생성한 스템이 기여하는 분율로 정의된다. 이 접근 방식은 세 가지 핵심 구성 요소에 의존한다:

1. 신경 코덱을 통한 AI 재구성: 생성 모델을 직접 사용하는 대신, 본 연구에서는 EnCodec 신경 오디오 코덱을 사용하여 인간이 연주한 스템을 3 kbps로 재구성한다. 이 인코딩-디코딩 과정은 원래의 음악적 콘텐츠를 보존하면서도, 이진 탐지기가 인식하도록 훈련된 특정 구조적 아티팩트(스펙트럼 피크)를 각인시킨다. 이를 통해 탐지 문제를 음악적 스타일이나 콘텐츠의 차이와 관련된 혼란 변수로부터 분리하여, 코덱 아티팩트에 집중된 탐지 문제로 고립시킨다.
2. 조합적 스템 교체: MoisesDB 멀티트랙 데이터셋(240개의 전문 제작 트랙, 트랙당 2~10개의 스템 포함)을 사용하여, 각 트랙에 대해 실제 스템과 AI 재구성 스템의 가능한 모든 $2^n$가지 구성을 생성한다. 이는 $\alpha$ 값을 $[0, 1]$ 전체 범위에서 조밀하게 샘플링할 수 있도록 보장한다.
3. 회귀 공식화: 탐지 과업을 이진 분류에서 회귀(regression)로 재구성한다. 목표는 혼합된 오디오 신호 $x_{mix}$가 주어졌을 때 연속적인 값 $\alpha$를 예측하는 것이다.

주요 기여

• 탐지의 재정의: 본 논문은 탐지 목적을 이진 분류($y \in \{0, 1\}$)에서 회귀($\hat{\alpha} \in [0, 1]$)로 전환하여, 하이브리드 워크플로우에 더 유익한 지표를 제공한다.
• 제어된 데이터셋 생성: 어떤 멀티트랙 데이터셋으로부터도, 그리고 어떤 신경 코덱으로부터도 하이브리드 믹스를 생성할 수 있는 재현 가능한 Python 라이브러리(ARIA)를 공개하여, 혼합 콘텐츠 탐지에 대한 체계적인 연구를 가능하게 한다.
• 이진 탐지기의 특성 분석: Afchar 등의 연구를 기반으로 한 최첨단 이진 탐지기의 동작을 하이브리드 믹스에 적용하여 분석한다.
• 회귀 베이스라인: $\alpha$를 직접 추정하도록 훈련된 CNN 기반 회귀 모델을 구축하여, 비율 탐지를 위한 성능 베이스라인을 설정한다.

실험 결과
본 연구는 동일한 CNN 백본을 사용하는 재현된 이진 탐지기와 회귀 모델을 별도의 테스트 믹스에 대해 평가한다:

• 이진 탐지기 동작: 혼합된 콘텐츠에 적용되었을 때, 이진 탐지기의 출력 점수는 $\alpha$에 따라 증가하지만 노이즈가 많고 보정되지 않은(miscalibrated) 추정치로 작다. 이 모델은 $\alpha < 0.5$일 때는 0 근처에 머물다가, $\alpha > 0.9$가 될 때만 $\sim0.97$로 급격히 상승하여 중간 범위에서의 AI 콘텐츠를 크게 과소평가한다.
• 악기별 민감도: 탐지 민감도는 악기 유형 및 그 주파수 콘텐츠에 따라 크게 달라진다. 고주파 영역에서 강력한 코덱 아티팩트 시그니처를 운반하는 드럼과 기타는 안정적으로 탐지된다. 반면, 보컬과 베이스는 탐지하기가 더 어려운데, 이는 이들의 스펙트럼 에너지가 아티팩트와 덜 뚜렷하게 구분되어 이진 분류 시 실제 조건과 AI 조건 사이의 분포 중첩이 크게 발생하기 때문이다. 그러나 회귀 모델은 이진 탐지기가 실패하는 이러한 약한 신호들로부터도 비례 정보를 추출할 수 있다.
• 회귀 성능: $\alpha$에 대해 직접 훈련된 회귀 모델은 홀드아웃 테스트 믹스(5초 윈도우 사용 시)에서 MAE 0.076 및 $R^2$ 0.85를 달성했다. 이에 비해, 이진 탐지기의 원시 확률을 암묵적인 $\alpha$ 추정치로 사용하는 경우 MAE는 0.289, $R^2$는 음수 값을 기록하였는데, 이는 평균을 예측하는 것보다 성능이 떨어진다는 것을 의미한다.
• 윈도우 길이: 회귀 모델은 더 긴 분석 윈도우(1초 대비 5초)에서 이득을 얻어 더 안정적인 추정치를 달성하는 반면, 이진 탐지기의 부수적인 $\alpha$ 상관관계는 윈도우가 길어질수록 저하된다.

의의 및 주장
본 논문은 회귀 공식화가 현실적인 제작 워크플로우 내의 AI 음악 탐지를 향한 "초기 단계의 유망한 진전"이라고 주장한다. 저자들은 자신들의 결과가 직접적인 생성기 출력이 아닌 코덱 재구성에 기반하고 있음을 강조하며, 이는 통제된 조건 하에서 코덱 생성 에너지의 비율을 구체적으로 측정함을 의미한다.

연구의 결론은 다음과 같다:

1. 하이브리드 믹스는 AI 콘텐츠에 대한 비례 정보를 포함하고 있으며, 이진 분류기는 이를 부수적으로 포착하지만 효과적으로 활용하지는 못한다.
2. 전용 회귀 접근 방식은 재사용된 이진 탐지기보다 AI 에너지 비율을 정량화하는 데 있어 성능이 월등히 높다.
3. 탐지 민감도는 악기에 따라 균일하지 않으며, 이는 코덱 아티팩트의 주파수 분포와 악기의 스펙트럼 콘텐츠 간의 관계에 뿌리를 두고 있다.

저자들은 본 연구를 배포 가능한 도구가 아닌 방법론적 토대로 위치시킨다. 향히 연구에서는 실제 상용 생성기(예: Suno, Udio)의 출력과 인간의 스템을 쌍으로 맞추는 데이터셋이 필요하며, 아티팩트 시그니처를 변화시킬 수 있는 전문적인 후처리(EQ, 컴프레션)를 고려해야 한다고 언급한다. 제안된 방법론과 라이브库는 코덱 및 코퍼스에 구애받지 않도록 설계되어, 관련 데이터가 확보됨에 따라 향후 연구를 용이하게 한다.