Sintesi Tecnica: Un Framework Multi-Branch Consapevole della Gerarchia per la Classificazione di Audio Eterogenei

1. Definizione del Problema

Questo lavoro affronta il Task 1 della Sfida DCASE 2026, che si concentra sul rilevamento e la classificazione di registrazioni audio eterogenee secondo la Broad Sound Taxonomy (BST). La sfida consiste nel riconoscere eventi sonori e scene acustiche da registrazioni reali caratterizzate da contenuti, condizioni di registrazione e qualità dei metadati diversificati.

Il compito di classificazione è strutturato gerarchicamente:

• Livello superiore: 5 classi ampie.
• Secondo livello: 23 categorie specifiche raggruppate sotto le classi di livello superiore.

La metrica di valutazione principale è l'F1 score gerarchico (Hier. F1). Di conseguenza, un sistema efficace deve non solo prevedere accuratamente la classe specifica del secondo livello, ma anche mantenere la coerenza con la corrispondente categoria di livello superiore.

2. Metodologia

Il sistema proposto si basa sulle rappresentazioni audio-testuali di CLAP (Contrastive Language-Audio Pretraining), migliorandole attraverso tre strategie fondamentali: espansione del dataset, modellazione acustica multi-branch e raffinamento della predizione consapevole della gerarchia.

2.1. Espansione del Dataset: BSD-Grand

Per migliorare la diversità dei dati e mitigare il rumore delle etichette, gli autori hanno costruito un set di addestramento espanso denominato BSD-Grand. Questo dataset combina i dati di addestramento ufficiali BSD10k-v1.2 con un subset filtrato di BSD35k.

• Strategia di Filtraggio: Il subset di BSD35k è stato sottoposto a una pulizia dei metadati consapevole delle categorie (rimozione di template specifici degli uploader e descrizioni rumorose), filtraggio tramite modello-insegnante utilizzando i modelli BSD10k-v.1.2 e vincoli a livello di uploader (limite di 200 campioni per uploader) per ridurre il bias.
• Risultato: Il manifest finale di addestramento di BSD-Grand contiene 20.529 campioni (10.956 da BSD10k-v1.2 e 9.573 da BSD35k).

2.2. Framework Acustico Multi-Branch

L'architettura estende il modello CLAP standard introducendo branch acustici specifici per le feature, per integrare l'informazione semantica di alto livello catturata da CLAP.

• Branch Acustici: Tre branch distinti elaborano diverse feature acustiche, ciascuno codificando l'input in un embedding compatto fuso con gli embedding audio di CLAP tramite un modulo di fusione residua a porta (gated residual fusion):
  • Branch log-Mel: Utilizza un encoder Multi-Dilated Frequency Dynamic Convolution (MDFD) con attention pooling.
  • Branch MFCC: Utilizza una rete TDNN (Time Delay Neural Network) residua con mean-max pooling.
  • Branch log-STFT: Utilizza un Transformer a 6 strati con temporal pooling.
• Adattamento del Testo: Un Highway Gate Adapter è applicato specificamente al branch log-STFT. Esso genera una rappresentazione residua specifica per il task ($\Delta t$) dal text embedding di CLAP, controllata da un highway gate apprendibile per raffinare adattivamente la rappresentazione testuale preservando la semantica pre-addestrata.

2.3. Teste di Predizione Consapevoli della Gerarchia

Per sfruttare la relazione gerarchica tra le 5 classi di livello superiore e le 23 classi di secondo livello, il sistema investiga tre varianti di teste di classificazione:

1. Flat Head: Proietta le rappresentazioni fuse direttamente su 23 classi, ignorando la tassonomia di livello superiore.
2. Global Classifier (GC) Head: Un approccio di multi-task learning che produce predizioni sia per le categorie di livello superiore che per quelle di secondo livello simultaneamente, ottimizzato tramite una somma pesata di perdite di cross-entropy.
3. Local Classifier per Livello (LCL) Head: Addestra classificatori separati per ogni livello, ma impiega un meccanismo di correzione top-down durante l'inferenza (ad esempio, moltiplicazione di probabilità) per imporre la coerenza gerarchica e prevenire la propagazione degli errori del livello superiore ai livelli inferiori.

2.4. Post-Processing Basato su KNN e Distillazione

Il sistema utilizza una strategia K-Nearest Neighbors (KNN) per raffinare le predizioni:

• Post-Processing: Viene costruito un banco di embedding di addestramento utilizzando le rappresentazioni delle feature concatenate del modello log-STFT addestrato e degli originali embedding CLAP. Per i campioni di valutazione, la predizione finale è una combinazione pesata dell'output del modello e di un prior del vicino derivato dai $k$-vicini più prossimi nel banco.
• Distillazione della Conoscenza: Il prior del vicino basato su KNN è utilizzato anche come supervisione "soft" durante l'addestramento. Uno studente modello è ottimizzato utilizzando sia le etichette ground-truth che la distribuzione target basata su KNN generata da un modello insegnante.

3. Risultati Sperimentali

Gli esperimenti sono stati condotti utilizzando una validazione incrociata a 5 fold sul dataset BSD10k-v1.2.

3.1. Analisi dei Componenti

• Impatto del Dataset: Passare dal baseline (BSD10k-v1.2) a BSD-Grand ha migliorato l'Hier. F1 dal 78,45% al 79,64%.
• Branch delle Feature: Tra i branch acustici, il branch log-STFT ha prodotto la performance del singolo modello più forte (80,54% di Hier. F1), superando log-Mel (79,95%) e MFCC (80,13%).
• Teste di Predizione: La testa Flat ha ottenuto la performance più alta tra le varianti a singola testa (80,57%), seguita da LCL (80,20%) e GC (80,01%).
• Post-Processing: L'applicazione del post-processing basato su KNN al modello log-STFT ha ulteriormente aumentato la performance al 80,84% di Hier. F1.

3.2. Performance dei Sistemi Inviati

Gli autori hanno inviato quattro sistemi, con i migliori risultati riassunti di seguito:

1. Sistema 1 (Singolo Modello): Architettura log-STFT con post-processing KNN. Ha raggiunto l'80,84% di Hier. F1.
2. Sistema 3 (Ensemble, 5-fold CV): Un ensemble di modelli KD-log-STFT, log-Mel, Flat e LCL addestrati con validazione incrociata a 5 fold. Questo sistema ha raggiunto la migliore performance complessiva dell'81,25% di Hier. F1.
3. Sistema 4 (Ensemble Esteso): Un ensemble esteso che incorpora teste MFCC e GC. Ha raggiunto l'81,18% di Hier. F1.

Tutti i sistemi inviati hanno superato significativamente il baseline del 78,45%.

4. Significato e Rivendicazioni

Il paper sostiene che il framework proposto dimostra miglioramenti costanti rispetto al baseline basato su CLAP attraverso:

1. Espansione del Dataset: La costruzione di BSD-Grand riduce efficacemente il rumore delle etichette e il bias degli uploader aumentando al contempo la diversità dei dati.
2. Diversificazione delle Feature: L'integrazione di branch acustici specifici per le feature (particolarmente log-STFT) integra la ricchezza semantica di CLAP, affrontando i limiti del semplice affidamento sull'allineamento testo-audio.
3. Coerenza Gerarchica: L'uso di teste consapevoli della gerarchia (specificamente LCL con correzione top-down) e il raffinamento basato su KNN garantiscono che le predizioni rispettino la struttura della tassonomia BST.
4. Sinergia dell'Ensemble: I migliori risultati si ottengono combinando modelli con feature acustiche e strategie di classificazione complementari, evidenziando i benefici dell'apprendimento ensemble per la classificazione di audio eterogenei.

Gli autori concludono che il loro miglior sistema ensemble (Sistema 3) raggiunge un Hier. F1 dell'81,25%, validando l'efficacia della modellazione acustica multi-branch e del raffinamento consapevole della gerarchia per la sfida DCASE 2026 Task 1.