Probing Low-Level Acoustic Attribute Encoding in CLAP Audio Embeddings

Resumen Técnico: Sondeo del Codificado de Atributos Acústicos de Bajo Nivel en los Embeddings de Audio de CLAP

Planteamiento del Problema
Los modelos fundacionales de audio, particularmente CLAP (Preentrenamiento de Lenguaje y Audio Contrastivo), se utilizan ampliamente como extractores de características de propósito general para tareas que van desde la recuperación hasta la generación condicional. Sin embargo, la estructura interna de sus representaciones aprendidas sigue siendo insuficientemente comprendida. Mientras que el trabajo previo de interpretabilidad se ha centrado en atributos semánticos de alto nivel (por ejemplo, emoción, identidad del hablante) o en la alineación de conceptos cualitativos, existe una falta de análisis cuantitativo sistemático sobre cómo se codifican los descriptores acústicos físicos de bajo nivel. Específicamente, no está claro si atributos como el tiempo de reverberación, la sonoridad (loudness) y el contenido espectral están representados explícitamente en el espacio de embeddings, y si, de ser así, son recuperables mediante mapeos lineales o no lineales.

Metodología
Los autores emplean un marco de sondeo para evaluar la codificación de tres dimensiones perceptuales fundamentales dentro del espacio de embeddings de CLAP:

1. Tiempo de Reverberación (RT60): Una medida de la decaída acústica de una sala.
2. Sonoridad (LUFS): Sonoridad integrada según los estándares ITU-R BS.1770.
3. Contenido Espectral: Medido mediante el Centroide Espectral (SC) y su transformación logarítmica, el Tono Relativo (RP).

El estudio utiliza el codificador de audio LAION-CLAP (congelado) para generar embeddings de 512 dimensiones a partir de cinco conjuntos de datos distintos que abarcan ruido blanco, habla, notas monofónicas y mezclas musicales complejas (NSynth, VCTK-Corpus, MusDB18HQ, SonicMaster). Para aislar los atributos acústicos, los autores aplican aumentos de datos dirigidos (por ejemplo, respuestas al impulso de salas sintéticas para RT60, normalización de sonoridad para LUFS, y desplazamiento de tono o filtrado de paso de banda para SC) para generar etiquetas de verdad de campo (ground-truth).

Se entrenan tres arquitecturas de sondeo de complejidad creciente para predecir estos atributos escalares a partir de los embeddings congelados:

• Sondeo Lineal: Un único mapa afín para probar la decodificabilidad lineal.
• Sondeo MLP: Una red superficial de dos capas para capturar relaciones no lineales.
• Sondeo de Kernel: Regresión de Kernel Ridge con un kernel RBF para servir como un límite superior flexible y no paramétrico para el rendimiento no lineal.

La evaluación se basa en el Error Absoluto Medio (MAE), el Coeficiente de Determinación ($R^2$) y la Correlación de Pearson ($r$). El estudio analiza además la consistencia geométrica de los ejes de características aprendidos a través de los conjuntos de datos y generaliza los hallazgos a otros ocho modelos fundacionales de audio (incluyendo MS-CLAP, MERT, Wav2Vec2, WavLM, Whisper y VGGish).

Resultos Clave

• Recuperabilidad Universal: Todos los atributos investigados son recuperables de manera fiable a partir de los embeddings de CLAP utilizando sondos no lineales en todos los conjuntos de datos.
• Dos Regímenes de Codificación:
  • Régimen Lineal: El RT60, el LUFS y el RP están aproximadamente codificados de forma lineal. Los sondos lineales logran un rendimiento sólido ($R^2 \geq 0.67$ para RT60, $\geq 0.76$ para LUFS y $\geq 0.73$ para RP en la mayoría de los conjuntos de datos).
  • Régimen No Lineal: El Centroide Espectral (SC) requiere sondos no lineales. Los sondos lineales funcionan al nivel o por debajo del azar en la mayoría de los conjuntos de datos ($R^2 \leq 0.43$, a menudo negativos), mientras que los sondos MLP y de Kernel logran una alta precisión ($R^2 \geq 0.84$).
• Consistencia Geométrica:
  • Los ejes de características para RT60 y LUFS son geométricamente consistentes a través de los conjuntos de datos, lo que sugiere una dirección común e invariante al dominio en el espacio de embeddings.
  • El eje de RP es altamente dependiente del dominio, con ejes que son casi ortogonales entre diferentes dominios de audio (por ejemplo, habla frente a música), a pesar de ser linealmente recuperables dentro de cada dominio.
• Generalización: La codificación lineal de RT60 y RP se generaliza a ocho modelos fundacionales de audio adicionales. La codificación de LUFS varía según la arquitectura; los modelos invariantes de amplitud (Wav2Vec2, WavLM-Large, MERT) descartan la sonoridad por completo por construcción. El SC permanece codificado de forma no lineal en la mayoría de los modelos, con la excepción de los checkpoints de MS-CLAP, que muestran una recuperación lineal parcial.
• Consistencia Cross-Modal: Una demostración cualitativa muestra que los embeddings de texto de los descriptores acústicos (por ejemplo, "seco", "reverberación larga") se alinean geométricamente con la dirección de la característica RT60 identificada por el sondeo de audio, confirmando la consistencia cross-modal para este atributo.

Significancia y Reivindicaciones
El artículo afirma proporcionar la primera evidencia cuantitativa sistemática de que los atributos acústicos de bajo nivel están codificados explícitamente en los embeddings de CLAP. La contribución principal es la identificación de distintos regímenes de codificación: mientras que algunos descriptores físicos (RT60, LUFS) se mapean a direcciones lineales y geométricamente consistentes en el espacio de embeddings, otros (SC) residen en variedades curvas que requieren una decodificación no lineal.

Los autores sugieren que estos hallazgos tienen implicaciones prácticas para los profesionales del audio, permitiendo potencialmente el uso de un único modelo fundacional congelado para la estimación simultánea de la reverberación, la sonoridad y el contenido espectral. La consistencia geométrica de los ejes de RT60 y LUFS insinúa su utilidad para flujos de trabajo como el análisis automático de mezclas y el control de efectos dirigido por texto. Sin embargo, los autores mantienen la modestia, señalando que la validación de estas aplicaciones específicas sigue siendo un trabajo futuro. También reconocen limitaciones, incluyendo el enfoque exclusivo en los embeddings de la última capa, el uso de una geometría de "caja de zapatos" simplificada para el aumento de RT60, y la incapacidad de garantizar material de origen completamente seco en los conjuntos de datos de mezclas musicales.