Resumen Técnico: Un Marco de Jerarquía Consciente de Múltiples Ramas para la Clasificación de Audio Heterogéneo

1. Definición del Problema

Este trabajo aborda la Tarea 1 del Desafío DCASE 2026, que se centra en la detección y clasificación de grabaciones de audio heterogéneas de acuerdo con la Taxonomía de Sonido Amplio (BST, por sus siglas en inglés). El desafío consiste en reconocer eventos sonoros y escenas acústicas a partir de grabaciones del mundo real caracterizadas por contenidos diversos, condiciones de grabación y calidad de metadatos variadas.

La tarea de clasificación está estructurada jerárquicamente:

• Nivel superior: 5 clases amplias.
• Segundo nivel: 23 categorías específicas agrupadas bajo las clases de nivel superior.

La métrica de evaluación principal es la F1 jerárquica (Hier. F1). Por consiguiente, un sistema exitoso no solo debe predecir con precisión la clase específica del segundo nivel, sino también mantener la consistencia con la categoría correspondiente del nivel superior.

2. Metodología

El sistema propuesto se basa en las representaciones de audio-texto de CLAP (Preentrenamiento Contrastivo de Lenguaje y Audio), mejorándolas mediante tres estrategias principales: expansión del conjunto de datos, modelado acústico de múltiples ramas y refinamiento de la predicción consciente de la jerarquía.

2.1. Expansión del Conjunto de Datos: BSD-Grand

Para mejorar la diversidad de los datos y mitigar el ruido en las etiquetas, los autores construyeron un conjunto de entrenamiento expandido llamado BSD-Grand. Este conjunto de datos combina los datos oficiales de entrenamiento de BSD10k-v1.2 con un subconjunto filtrado de BSD35k.

• Estrategia de Filtrado: El subconjunto de BSD35k se sometió a una limpieza de metadatos consciente de las categorías (eliminando plantillas específicas de los cargadores y descripciones ruidosas), un filtrado mediante modelo docente utilizando modelos de BSD10k-v1.2 y restricciones a nivel de cargador (limitando las muestras por cargador a 200) para reducir el sesgo.
• Resultado: El manifiesto de entrenamiento final de BSD-Grand contiene 20,529 muestras (10,956 de BSD10k-v1.2 y 9,573 de BSD35k).

2.2. Marco Acústico de Múltiples Ramas

La arquitectura extiende el modelo CLAP estándar mediante la introducción de ramas acústicas específicas de características para complementar la información semántica de alto nivel capturada por CLAP.

• Ramas Acústicas: Tres ramas distintas procesan diferentes características acústicas, cada una codificando la entrada en una incrustación (embedding) compacta que se fusiona con las incuncaciones de audio de CLAP mediante un módulo de fusión residual con compuerta (gated residual fusion module):
  • Rama log-Mel: Utiliza un codificador de Convolución Dinámica de Frecuencia Multi-Dilatada (MDFD) con agrupación por atención (attention pooling).
  • Rama MFCC: Utiliza una Red Neuronal de Retraso Temporal (TDNN) residual con agrupación media-máxima (mean-max pooling).
  • Rama log-STFT: Utiliza un Transformer de 6 capas con agrupación temporal.
• Adaptación de Texto: Se aplica un Adaptador de Compuerta de Autopista (Highway Gate Adapter) específicamente a la rama log-STFT. Este genera una representación residual específica de la tarea ($\Delta t$) a partir de la incrustación de texto de CLAP, controlada por una compuerta de autopista aprendible para refinar adaptativamente la representación de texto preservando la semántica preentrenada.

2.3. Cabezales de Predicción Conscientes de la Jerarquía

Para explotar la relación jerárquica entre las 5 clases de nivel superior y las 23 categorías de segundo nivel, el sistema investiga tres variantes de cabezales de clasificación:

1. Cabezal Plano (Flat Head): Proyecta las representaciones fusionadas directamente a 23 clases, ignorando la taxonomía de nivel superior.
2. Cabezal de Clasificador Global (GC) Head: Un enfoque de aprendizaje multitarea que genera predicciones tanto para las categorías de nivel superior como para las de segundo nivel simultáneamente, optimizado mediante una suma ponderada de pérdidas de entropía cruzada.
3. Cabezal de Clasificador Local por Nivel (LCL) Head: Entrena clasificadores separados para cada nivel, pero emplea un mecanismo de corrección descendente durante la inferencia (por ejemplo, multiplicación de probabilidades) para forzar la consistencia jerárquica y evitar que los errores del nivel superior se propaguen a los niveles inferiores.

2.4. Post-procesamiento Basado en KNN y Destilación

El sistema emplea una estrategia de K-Vecinos Más Cercanos (KNN) para refinar las predicciones:

• Post-procesamiento: Se construye un banco de incrustaciones de entrenamiento utilizando representaciones de características concatenadas del modelo log-STFT entrenado y las incrustaciones originales de CLAP. Para las muestras de evaluación, la predicción final es una combinación ponderada de la salida del modelo y un prior de vecinos derivado de los $k$-vecinos más cercanos en el banco.
• Destilación de Conocimiento: El prior de vecinos basado en KNN también se utiliza como supervisión suave durante el entrenamiento. Un modelo estudiante es optimizado utilizando tanto las etiquetas de verdad fundamental (ground-truth) como la distribución de objetivos basada en KNN generada por un modelo docente.

3. Resultados Experimentales

Los experimentos se realizaron utilizando validación cruzada de 5 pliegues (5-fold cross-validation) en el conjunto de datos BSD10k-v1.2.

3.1. Análisis de Componentes

• Impacto del Conjunto de Datos: Pasar del baseline (BSD10k-v1.2) a BSD-Grand mejoró la F1 jerárquica del 78.45% al 79.64%.
• Ramas de Características: Entre las ramas acústicas, la rama log-STFT produjo el rendimiento de modelo único más fuerte (80.54% de F1 jerárquica), superando a log-Mel (79.95%) y MFCC (80.13%).
• Cabezales de Predicción: El cabezal Plano (Flat) logró el mayor rendimiento entre las variantes de cabezal único (80.57%), seguido de LCL (80.20%) y GC (80.01%).
• Post-procesamiento: La aplicación del post-procesamiento basado en KNN al modelo log-STFT aumentó aún más el rendimiento al 80.84% de F1 jerárquica.

3.2. Rendimiento de los Sistemas Enviados

Los autores enviaron cuatro sistemas, cuyos mejores resultados se resumen a continuación:

1. Sistema 1 (Modelo Único): Arquitectura log-STFT con post-procesamiento KNN. Logró un 80.84% de F1 jerárquica.
2. Sistema 3 (Ensemble, 5-fold CV): Un ensamble de modelos KD-log-STFT, log-Mel, Flat y LCL entrenados con validación cruzada de 5 pliegues. Este sistema logró el mejor rendimiento general de 81.25% de F.1 jerárquica.
3. Sistema 4 (Ensemble Extendido): Un ensamble extendido que incorpora cabezales MFCC y GC. Logró un 81.18% de F1 jerárquica.

Todos los sistemas enviados superaron significativamente el baseline de 78.45%.

4. Significado y Reivindicaciones

El artículo afirma que el marco propuesto demuestra mejoras consistentes sobre el baseline basado en CLAP a través de:

1. Expansión del Conjunto de Datos: La construcción de BSD-Grand reduce eficazmente el ruido de las etiquetas y el sesgo de los cargadores, aumentando al mismo tiempo la diversidad de los datos.
2. Diversificación de Características: La integración de ramas acústicas específicas de características (particularmente log-STFT) complementa la riqueza semántica de CLAP, abordando las limitaciones de depender únicamente del alineamiento audio-texto.
3. Consistencia Jerárquica: El uso de cabezales conscientes de la jerarquía (específicamente LCL con corrección descendente) y el refinamiento basado en KNN asegura que las predicciones respeten la estructura de la taxonomía BST.
4. Sinergia de Ensamble: Los mejores resultados se obtienen combinando modelos con características acústicas y estrategias de clasificación complementarias, lo que destaca los beneficios del aprendizaje de ensamble para la clasificación de audio heterogéneo.

Los autores concluyen que su mejor sistema de ensamble (Sistema 3) alcanza una F1 jerárquica de 81.25%, validando la efectividad del modelado acústico de múltiples ramas y el refinamiento consciente de la jerarquía para el desafío de la Tarea 1 de DCASE 2026.