Token-Based Audio Inpainting via Discrete Diffusion

1. 문제 정의 (Problem)

**오디오 인페인팅 (Audio Inpainting)**은 손상되거나 누락된 오디오 신호의 구간을 복원하는 작업입니다.

• 기존 방법의 한계:
  • 전통적 방법 (자기회귀, 희소 표현 등): 짧은 구간 (<100ms) 에서는 효과적이지만, 장기 의존성 (long-range dependencies) 이나 의미론적 일관성 (semantic coherence) 을 유지하기 어렵습니다.
  • 연속 도메인 딥러닝/확산 모델 (Diffusion Models): 파형 (Waveform) 또는 스펙트로그램 (Spectrogram/CQT) 기반의 확산 모델은 긴 구간 (예: 300ms 이상) 의 결손을 복원할 때 성능이 저하됩니다. 이는 고해상도 파형의 장기 구조를 포착하기 어렵거나, 위상 재구성 과정에서 일관성이 깨지기 때문입니다.
• 핵심 과제: 긴 결손 구간에서도 자연스럽고 의미론적으로 일관된 오디오를 생성하면서도, 미세한 시간적 디테일을 보존하는 방법론의 부재.

2. 제안 방법론 (Methodology)

저자들은 **이산 확산 (Discrete Diffusion)**을 오디오 인페인팅에 적용한 **AIDD (Audio Inpainting via Discrete Diffusion)**를 제안합니다.

A. 핵심 아키텍처

1. 토큰화 (Tokenization):
   • 고해상도 원본 오디오를 WavTokenizer를 사용하여 컴팩트한 이산 토큰 (discrete tokens) 시퀀스로 변환합니다.
   • 이를 통해 오디오 인페인팅을 '연속 신호 복원'이 아닌 '이산 시퀀스 완성 (sequence completion)' 문제로 재정의합니다.
2. 확산 모델 (Diffusion Model):
   • Diffusion Transformer (DiT) 아키텍처를 사용하여 토큰 공간에서 확산 과정을 수행합니다.
   • 순방향 과정 (Forward Process): 토큰을 점진적으로 마스킹 (MASK) 하여 노이즈가 있는 상태로 만듭니다.
   • 역방향 과정 (Reverse Process): 학습된 모델이 마스킹된 토큰을 문맥 (context) 을 기반으로 예측하여 복원합니다.

B. 주요 기술적 기여 (Key Innovations)

1. 스팬 기반 마스킹 (Span-based Masking):
   • 기존 이산 확산 모델이 개별 토큰을 무작위로 마스킹하는 것과 달리, **연속된 토큰 구간 (contiguous spans)**을 마스킹하는 전략을 도입했습니다.
   • 이는 실제 오디오에서 발생하는 긴 결손 구간을 더 효과적으로 시뮬레이션하고, 미세한 국부적 손상부터 광범위한 의미론적 교란까지 점진적으로 학습하게 합니다.
2. 미분 기반 정규화 손실 (Derivative-based Regularization Loss):
   • 확산 모델의 기본 목적함수 (DWDSE) 는 토큰 전이 비율을 학습하지만, 인접 토큰 간의 시간적 일관성을 명시적으로 제약하지는 않습니다.
   • 이를 보완하기 위해 **예측된 토큰 임베딩의 1 차 및 2 차 미분 (차분)**을 계산하여, 예측된 토큰 시퀀스가 자연스러운 오디오의 매끄러운 궤적을 따르도록 정규화 항을 추가했습니다. 이는 복원된 오디오의 불규칙한 진동을 줄이고 자연스러움을 향상시킵니다.

3. 주요 기여 (Contributions)

1. 최초의 이산 확산 기반 오디오 인페인팅: 사전 학습된 오디오 토크나이저 (WavTokenizer) 를 활용한 이산 토큰 공간에서의 확산 모델을 오디오 인페인팅에 처음 적용했습니다.
2. 새로운 학습 프레임워크: 구조화된 스펀 마스킹과 매끄러운 시간적 동역학을 강제하는 미분 기반 손실 함수를 결합한 통합 학습 방식을 제시했습니다.
3. 성능 및 효율성: 긴 결손 구간 (최대 750ms) 에서 기존 최첨단 방법들보다 우수한 성능을 달성하면서도, 모델 크기와 학습 시간을 크게 절감했습니다.

4. 실험 결과 (Results)

데이터셋: MusicNet (클래식), MAESTRO (피아노)
비교 대상: LPC, A-SPAIN-L, CQT-Diff+, GACELA, bin2bin 등

• 객관적 지표 (Objective Metrics):
  • MusicNet (150ms~300ms 결손): AIDD 는 CQT-Diff+ 를 포함한 모든 베이스라인을 능가했습니다. 특히 300ms 구간에서 FAD(Fréchet Audio Distance) 가 약 25% 감소하여 더 높은 지각적 일관성을 보였습니다.
  • MAESTRO (375ms~750ms 결손): 750ms 와 같은 긴 결손 구간에서도 ODG(Perceptual Quality) 점수가 가장 높게 나타났습니다.
• 주관적 평가 (Subjective Evaluation):
  • 청취 테스트 (MOS) 에서 AIDD 는 GACELA 및 CQT-Diff+ 보다 높은 점수를 기록하여 인간이 인지했을 때 더 자연스럽다고 평가받았습니다.
• 효율성:
  • CQT-Diff+ 대비 모델 크기가 약 절반 (90M vs 242M 파라미터) 이며, 학습 시간은 1/4 수준으로 단축되었습니다. 추론 시간 또한 가장 빠릅니다.

5. 의의 및 결론 (Significance)

• 패러다임 전환: 오디오 생성 및 복원 분야에서 연속 도메인 (파형/스펙트로그램) 에서 이산 토큰 도메인으로의 전환을 통해, 긴 결손 구간 복원 문제를 해결할 수 있음을 입증했습니다.
• 장기 의존성 해결: 토큰 기반 확산 모델은 고수준의 의미론적 구조를 포착하는 데 유리하여, 기존 방법들이 실패했던 긴 결손 구간에서도 일관된 음악적 맥락을 유지하며 복원합니다.
• 일반화 가능성: 제안된 학습 전략 (스팬 마스킹, 미분 정규화) 은 오디오뿐만 아니라 다른 토큰 기반 생성 모델 (예: 언어 모델) 로도 확장 가능한 새로운 방향성을 제시합니다.

요약하자면, 이 논문은 이산 확산 모델을 활용하여 오디오의 긴 결손 구간을 의미론적으로 일관성 있게 복원하는 새로운 표준을 제시하며, 기존 연속 확산 모델의 한계를 극복하고 효율성을 동시에 달성했습니다.