기술 요약: 블랙박스 멤버십 추론을 통한 생성형 음악 모델의 학습 데이터 감사

문제 제기

최근 텍스트-음악 생성 (예: MusicGen, Stable Audio, Suno) 의 발전은 구조화된 오디오의 고충실도 합성을 가능하게 했습니다. 그러나 이러한 모델들은 일반적으로 온라인 소스에서 집계된 방대하고 불투명한 말뭉치로 훈련되며, 데이터 출처나 동의에 대한 투명한 문서화가 이루어지지 않습니다. 이러한 투명성 부재는 중요한 책임 공백을 초래합니다: 현재 배포된 생성형 모델의 학습 세트에 특정 오디오 샘플이 포함되었는지 아티스트, 저작권 보유자 또는 규제 기관이 검증할 수 있는 실용적인 메커니즘이 없습니다.

이미지 및 텍스트 도메인에서 멤버십 추론 공격 (MIA) 은 잘 연구되었으나, 생성형 음악에 대한 적용은 아직 초기 단계입니다. 기존 접근법은 다음과 같은 중대한 한계를 겪고 있습니다:

• 화이트박스 의존성: 일부 방법은 내부 모델 상태, 확률 점수, 또는 확산 상태를 접근해야 하는데, 이는 실제 세계의 블랙박스 배포 환경에서는 사용할 수 없습니다.
• 약한 블랙박스 지표: 현재 블랙박스 접근법은 종종 스칼라 통계 (예: 판별기 점수, 재구성 오차) 나 고정된 데이터셋 분할에 의존하며, 원본 오디오와 생성된 출력 간의 의미론적 정렬을 명시적으로 모델링하지 못합니다.
• 신뢰성 부족: 이러한 방법들은 현실적인 설정에서 신뢰할 수 있는 샘플 단위 감사를 제공하기 어려워, 대규모 모델에서는 종종 우연 수준에 가까운 성능을 보입니다.

방법론

저자들은 훈련 멤버십이 해당 샘플의 캡션에 조건부로 모델이 생성할 때, 후보 오디오 샘플과 모델 생성물 사이에 체계적으로 더 강력한 의미론적 및 구조적 정렬을 유도한다는 가설을 활용하는 블랙박스 멤버십 추론 프레임워크를 제안합니다.

시스템 개요

이 프레임워크는 그림자 모델 (shadow models) 에 대한 훈련 과정과 타겟 모델에 대한 감사 과정의 두 단계로 운영됩니다.

1. 그림자 모델 훈련 (데이터 구성):

   • 감사자는 알려진 훈련 하위 집합 ($D_{in}$) 을 가진 여러 접근 가능한 텍스트 - 음악 "그림자 모델"($M_{si}$) 을 활용합니다.
   • 멤버 쌍: 트랙 $x \in D_{in}$에 대해 캡션 $C_{in}$을 추출합니다. 그림자 모델은 $G_{in} = M_{si}(C_{in})$을 생성합니다. 쌍 $(x, G_{in})$은 "멤버" 예시를 나타냅니다.
   • 논멤버 쌍: 의미론적 비교 가능성을 보장하기 위해, 동일한 캡션 $C_{in}$을 타겟 및 그림자 모델과 구별되는 보조 모델 ($M_{aux}$) 에 조건부로 사용하여 논멤버 트랙 $x'$을 생성합니다. $x'$에서 캡션 $C_{out}$을 추출하고, 그림자 모델은 $G_{out} = M_{si}(C_{out})$을 생성합니다. 쌍 $(x', G_{out})$은 "논멤버" 예시를 나타냅니다.
   • 이 구성은 의미론적 변이를 통제하면서 훈련 노출을 주요 구분 요인으로 격리하기 위해 정렬된 네 가지 그룹 ($D_{in}, D_{out}, G_{in}, G_{out}$) 을 생성합니다.

2. 특징 추출:

   • 오디오 샘플은 다섯 가지 다양한 오디오 인코더를 사용하여 임베딩됩니다: MERT(음악 의미론), Music2Vec(구조/조성), DAC(음향 아티팩트), Fx-Encoder++(프로덕션 효과), CLAP(오디오 - 텍스트 의미론).
   • 인코더는 1 차원 글로벌 임베딩 또는 2 차원 임베딩 맵 (레이어/시간 축 보존) 을 출력합니다.

3. 음악 감사자 훈련:

   • 경량 분류기 ("음악 감사자") 가 임베딩 공간에서의 정렬을 기반으로 멤버 쌍과 논멤버 쌍을 구분하도록 훈련됩니다.
   • 아키텍처:
     • 1 차원 임베딩의 경우: 세 개의 은닉층 (256, 128, 64 유닛) 을 가진 다층 퍼셉트론 (MLP) 이 연결된 쌍 $[f(x) \parallel f(x')]$을 처리합니다.
     • 2 차원 임베딩의 경우: 세 개의 합성곱 계층을 가진 합성곱 신경망 (CNN) 이 쌓인 쌍을 처리합니다.
   • 감사자는 타겟 모델의 매개변수나 훈련 데이터에 접근하지 않고도 훈련 멤버십의 특징적인 정렬 패턴을 학습합니다.

4. 감사 과정:

   • 후보 트랙 $x$와 블랙박스 타겟 모델 $M_t$가 주어지면, 감사자는 캡션 $C_x$를 추출하고 $M_t$를 쿼리하여 $x' = M_t(C_x)$를 얻은 후 임베딩을 계산하고, 쌍을 훈련된 감사자에 입력합니다.
   • 높은 멤버십 점수는 $x$와 $x'$ 간의 정렬이 그림자 모델 멤버들로부터 학습된 패턴과 유사함을 나타내며, 이는 $x$가 훈련 세트에 포함되었음을 시사합니다.

주요 기여

• 새로운 블랙박스 프레임워크: 이 논문은 내부 모델 접근, 확률 점수, 또는 화이트박스 상태가 필요하지 않은 생성형 음악을 위한 최초의 실용적인 블랙박스 감사 프레임워크를 소개합니다.
• 의미론적 정렬 가설: 훈련 멤버십이 소스 트랙과 캡션 조건부 생성물 사이에서 측정 가능한 의미론적 및 구조적 일관성을 유도한다는 것을 입증하며, 이는 임베딩 공간에서 포착할 수 있는 신호입니다.
• 그림자 모델 전략: 저자들은 보조 생성을 사용하여 의미론적으로 일치하는 논멤버 쌍을 구성하는 견고한 방법을 제안하며, 정렬의 차이가 의미론적 변이가 아닌 훈련 노출로 인한 것임을 보장합니다.
• 인코더 분석: 이 연구는 다섯 가지 다른 오디오 인코더를 체계적으로 평가하여 음악의 멤버십 추론에 가장 차별적인 특징 공간이 무엇인지 식별합니다.

실험 결과

이 프레임워크는 AudioLDM2, Stable Audio Open, Mustango라는 세 가지 최첨단 텍스트 - 음악 시스템에 대해 한 생성기를 제외하고 평가하는 (leave-one-generator-out) 프로토콜을 사용하여 평가되었습니다.

• 성능: DAC 인코더를 사용한 Stable Audio Open 에서 이 방법은 98.6% 의 정확도를 달성하며, 거짓 양성률 (FPR) 은 1.9%, 거짓 음성률 (FNR) 은 **1.0%**입니다.
• 인코더 효과성:
  • DAC(음향 아티팩트) 가 가장 효과적이고 안정적인 인코더로 나타났으며, 모든 타겟에서 평균 정확도 97.7% 를 달성했습니다.
  • CLAP과 MERT도 잘 수행되었습니다 (평균 정확도 >91%).
  • Music2Vec은 약한 성능 (평균 정확도 78.3%) 과 높은 거짓 양성률을 보였습니다.
  • **Fx-Encoder++**는 특히 AudioLDM2 에서 불안정성을 나타냈습니다.
• 전이성: 감사자는 AudioLDM2 와 Stable Audio Open 사이에서 특히 강력한 생성기 간 전이성을 보여주었습니다. 그러나 Mustango(10 초 짧은 클립 생성) 로의 전이는 짧은 세그먼트와 장형 오디오 (150 초) 간의 분포 차이로 인해 성능 격차가 나타났습니다.
• 샘플 효율성: 이 시스템은 매우 높은 샘플 효율성을 가집니다. 특정 구성 (예: AudioLDM2 를 홀드아웃) 에서 100 개의 훈련 쌍만으로도 정확도가 98% 를 초과했으며, 1,000 개의 쌍으로 정점에 도달했습니다.

중요성과 주장

이 논문은 현실적인 블랙박스 배포 시나리오에서 신뢰할 수 있는 학습 데이터 감사가 가능함을 주장합니다. 쿼리 접근과 의미론적 정렬 분석을 통해서만 멤버십 신호를 추출할 수 있음을 입증함으로써, 이 연구는 다음과 같은 실용적인 도구를 제공합니다:

• 책임성: 아티스트와 저작권 보유자를 위한 데이터 출처 검증 가능.
• 동의 검증: 규제 기관과 플랫폼이 비동의 데이터로 훈련된 모델을 평가하는 데 도움.
• 투명성: 독점적 접근 없이 "블랙박스" AI 시스템을 감사할 수 있는 메커니즘 제공.

저자들은 현재 평가가 부분적으로 정보화된 그림자 모델 (실제 캡션과 메타데이터가 사용 가능) 에 의존하며, 논멤버 구성은 실용적인 근사치임을 인정하는 겸손한 입장을 유지합니다. 그들은 향후 연구가 데이터셋 이질성을 해결하고, 고정된 보조 파이프라인에 대한 의존도를 줄이며, 보다 광범위한 배포를 위한 원칙적인 통계적 보장을 갖춘 감사 절차를 개발해야 한다고 지적합니다.