DiffAU: Diffusion-Based Ambisonics Upscaling

1. Planteamiento del Problema

El audio espacial es fundamental para experiencias inmersivas en VR/AR, cine y teleconferencia. Los formatos Ambisonics son populares por su flexibilidad, pero presentan una dicotomía:

• Ambisonics de Primer Orden (FOA): Utiliza 4 canales, es eficiente en hardware y almacenamiento, pero tiene una resolución espacial limitada, lo que reduce el realismo y la precisión en la localización de fuentes sonoras.
• Ambisonics de Alto Orden (HOA): Ofrece una gran detalle espacial, pero requiere grandes y costosas matrices de micrófonos para su captura, limitando su accesibilidad.

El problema central es el Escalado de Ambisonics (AU): la tarea de reconstruir señales de alto orden (HOA) a partir de señales de bajo orden (FOA). Matemáticamente, esto es un problema inverso subdeterminado, ya que se intenta recuperar más canales de los disponibles. Los métodos existentes tienen limitaciones:

• Enfoques basados en modelos (ej. Compresión Sensitiva - CS): Asumen que el campo sonoro es disperso (pocas fuentes). Funcionan bien en condiciones ideales (campo libre), pero fallan en entornos reales donde esta suposición no se cumple.
• Enfoques basados en datos (Redes Neuronales): Métodos anteriores (como redes convolucionales o arquitecturas tipo Conv-TasNet) han mostrado mejoras, pero a menudo carecen de expresividad teórica o dejan brechas perceptibles respecto al HOA ideal en pruebas de escucha.

2. Metodología: DiffAU

Los autores proponen DiffAU, un marco de trabajo en cascada que utiliza Modelos de Difusión para abordar el escalado de Ambisonics como una tarea de generación estructurada.

• Enfoque Generativo: En lugar de asumir dispersión o usar transformaciones deterministas simples, DiffAU aprende la distribución de probabilidad de las señales HOA condicionada a las señales FOA ($p(a_{N'} | a_N)$). Esto permite resolver la naturaleza subdeterminada del problema de manera probabilística y físicamente plausible.
• Arquitectura en Cascada: El sistema no intenta ir directamente de FOA (1er orden) a HOA (3er orden) en un solo paso. Utiliza dos bloques de difusión en cascada:
  1. Escala de 1er orden a 2do orden.
  2. Escala de 2do orden a 3er orden.
     Esto permite una mayor modularidad, interpretabilidad y entrenamiento por etapas.
• Formulación Matemática:
  • Se basa en Ecuaciones Diferenciales Estocásticas (SDE) del tipo Variance Exploding (VE).
  • Se formula como un muestreo condicional donde la señal FOA actúa como observación ($y$) y la señal HOA es la variable latente ($x$).
  • Se utiliza un modelo de puntuación (score model) basado en la arquitectura NSCN++ (Noise-Conditioned Score-Matching Network) para predecir el gradiente de la distribución de probabilidad y guiar el proceso de denoising.
• Representación de Datos:
  • Las señales se procesan en el dominio de la frecuencia mediante STFT (Transformada de Fourier de Tiempo Corto).
  • Se aplica una transformación no lineal de amplitud $H(x) = |x|^\alpha e^{i \arg(x)}$ para normalizar las entradas y asegurar escalas consistentes para la red neuronal.
  • Las partes real e imaginaria se concatenan para formar entradas reales para la DNN.
• Entrenamiento: Los modelos de puntuación se entrenan independientemente mediante Score Matching (emparejamiento de puntuación) con ruido gaussiano, minimizando el riesgo empírico entre la señal original y la señal ruidosa.

3. Contribuciones Clave

1. Primera aplicación de modelos de difusión al escalado de Ambisonics: Introduce un enfoque generativo novedoso que supera las limitaciones de los métodos basados en suposiciones de dispersión.
2. Marco en Cascada Modular: Propone una arquitectura que escala orden por orden, facilitando la extensión a rangos de escalado arbitrarios y mejorando la estabilidad del entrenamiento.
3. Adaptación Específica para Audio Espacial: Diseña representaciones de señal y transformaciones (STFT + transformación de amplitud) específicas para la codificación Ambisonics, algo que los métodos de super-resolución de imágenes no pueden transferir directamente.
4. Resolución Probabilística: Proporciona un mecanismo para generar soluciones físicamente plausibles en un problema subdeterminado sin depender de priores explícitos sobre la dispersión de fuentes.

4. Resultados

Los autores evaluaron DiffAU mediante estudios numéricos y una prueba de escucha formal.

• Condiciones Experimentales:
  • Entorno: Campo libre (anechoico).
  • Datos: Corpus WSJ0 con 1 a 4 hablantes simultáneos.
  • Métrica Objetiva: STFT-SDR (Relación Señal-Distorsión en el dominio tiempo-frecuencia).
• Rendimiento Objetivo:
  • DiffAU superó consistentemente a los métodos baselines: PWD-CS (basado en compresión sensitiva) y Conv-TasNet (red neuronal determinista).
  • En la prueba con 1 hablante, DiffAU alcanzó 29.5 dB de STFT-SDR, frente a 23.1 dB de Conv-TasNet y 12.9 dB de PWD-CS.
  • El rendimiento se mantuvo superior incluso con múltiples hablantes (4 hablantes), donde DiffAU obtuvo 19.6 dB frente a 8.5 dB del mejor baseline.
• Prueba de Escucha (MUSHRA):
  • Se realizó una prueba doble ciego con 8 participantes comparando: Referencia (HOA real), FOA (ancla), DiffAU (3er orden generado) y HOA real (3er orden).
  • Resultados: DiffAU obtuvo una puntuación media de 79.0, estadísticamente indistinguible del HOA real (78.4) y muy superior al FOA (21.8).
  • Esto indica que el método no introduce artefactos audibles perceptibles y recupera la calidad espacial casi idéntica a la señal original de alto orden.

5. Significado e Impacto

El trabajo de DiffAU representa un avance significativo en el procesamiento de audio espacial:

• Calidad vs. Costo: Permite obtener una experiencia de audio de alta fidelidad (HOA) utilizando hardware de captura económico (FOA), democratizando el audio espacial de alta calidad.
• Superioridad sobre Métodos Clásicos: Demuestra que los modelos generativos modernos pueden superar a los métodos físicos tradicionales y a las redes neuronales deterministas en tareas de reconstrucción de campos sonoros, especialmente en escenarios complejos con múltiples fuentes.
• Futuro: Aunque el estudio se centró en condiciones de campo libre, la arquitectura probabilística sugiere un alto potencial para extenderse a entornos ruidosos y reverberantes, lo cual es crucial para aplicaciones del mundo real.

En resumen, DiffAU establece un nuevo estado del arte en el escalado de Ambisonics, utilizando la potencia de los modelos de difusión para generar campos sonoros tridimensionales realistas a partir de grabaciones de baja resolución.