Lung-SRAD: Spectral-Aware Regularized Audio DASS with Dual-Axis Patch-Mix Contrastive Learning for Respiratory Sound Classification

Sintesi Tecnica: Lung-SRAD

Problematica
La Classificazione dei Suoni Respiratori (RSC) è fondamentale per la diagnosi di condizioni come polmonite, BPCO e asma, in cui i suoni anormali, quali crepitii e fischi, si manifestano come strutture spettro-temporali localizzate e a breve durata. Sebbene i recenti metodi ad alte prestazioni per la RSC si affidino ad architetture basate su Transformer come l'Audio Spectrogram Transformer (AST), gli autori identificano due limitazioni primarie:

1. Bias Spettrale: L'analisi teorica suggerisce che l'auto-attenzione basata su softmax nei Transformer si comporta come un filtro passa-basso nel dominio delle caratteristiche. Ciò sopprime progressivamente le variazioni spaziali ad alta frequenza tra i token, riducendo potenzialmente la sensibilità alle variazioni spaziali rapide e localizzate caratteristiche degli eventi respiratori anormali.
2. Complessità Computazionale: La complessità temporale e di memoria quadratica dell'auto-attenzione rende i Transformer computazionalmente costosi per sequenze audio lunghe.

Metodologia: Lung-SRAD
Il documento propone Lung-SRAD (Spectral-Aware Regularized Audio DASS), un framework basato sui Modelli di Spazio di Stato (SSM) per affrontare queste limitazioni. La metodologia si compone di tre componenti principali:

1. Backbone SSM (DASS):
   Gli autori utilizzano il modello Distilled Audio State Space (DASS), inizializzato con pesi distillati da un ensemble di teacher Transformer (AST e HTS-AT) su AudioSet. A differenza dei Transformer, DASS impiega un'architettura gerarchica con Scansione 2D Selettiva dello Spazio di Stato (SS2D). Ciò consente al modello di aggregare le caratteristiche dall'intera mappa tempo-frequenza tramite pooling spaziale anziché fare affidamento su un singolo token CLS, mantenendo una complessità lineare pur preservando rappresentazioni distribuite.

2. Regolarizzazione a Livello Spettrale Consapevole (Spectral-Aware Layer Regularization):
   Attraverso un'analisi delle curve di risposta spettrale, gli autori hanno osservato che, sebbene DASS preservi meglio le componenti di frequenza spaziale medio-alte rispetto ad AST, determinati strati intermedi (specificamente nello Stadio 2) esibiscono risposte ad alta frequenza eccessive che possono portare all'overfitting su pattern locali fini. Per mitigare questo fenomeno, applicano una convoluzione Gaussiana selettiva a questi strati. Questa regolarizzazione attenua i picchi spettrali dominanti preservando la struttura armonica complessiva, con l'obiettivo di migliorare la specificità senza sacrificare la sensibilità.

3. Apprendimento Contrastivo Dual-Axis Patch-Mix:
   Il tipico apprendimento contrastivo Patch-Mix, progettato per AST, tratta i patch dello spettrogramma come un insieme non ordinato. Tuttavia, gli SSM come VMamba elaborano gli input come griglie 2D strutturate con transizioni di stato direzionali. Un approccio di patch-mixing ingenuo interrompe queste evoluzioni di stato sequenziali. Per allinearsi all'architettura SSM, gli autori propongono il Dual-Axis Patch-Mix:

• Temporal Patch-Mix: Sostituisce segmenti temporali consecutivi preservando la continuità dello stato in frequenza.
• Frequency Patch-Mix: Sostituisce bande di frequenza consecutive preservando la continuità temporale.
• Strategia di Gradiente Asimmetrica: Il modello utilizza un'operazione di stop-gradient sui campioni miscelati per incoraggiare l'invarianza a queste perturbazioni allineate agli assi, senza far collassare la dinamica strutturata dello spazio di stato del backbone.

Contributi Chiave

• Prima Applicazione di DASS per la RSC: Il documento presenta il primo uso di un Modello di Spazio di Stato distillato per la classificazione dei suoni respiratori, ottenendo un punteggio baseline del 61,06% sul dataset ICBHI tramite semplice fine-tuning.
• Analisi Spettrale e Regolarizzazione: Gli autori forniscono un'analisi empirica delle rappresentazioni intermedie in SSM rispetto ai Transformer, dimostrando la superiore capacità di DASS di preservare le componenti di frequenza spaziale medio-alte. Introducono una strategia di regolarizzazione Gaussiana mirata per bilanciare queste risposte ad alta frequenza.
• Apprendimento Contrastivo Allineato all'Architettura: Propongono una strategia di apprendimento contrastivo Dual-Axis Patch-Mix specificamente adattata alle proprietà di scansione multidirezionale degli SSM, evitando la disruzione strutturale causata dalle tecniche standard di patch-mixing.

Risultati Sperimentali
Gli esperimenti sono stati condotti sul benchmark ICBHI utilizzando la divisione ufficiale del 60% per l'addestramento e del 40% per il test (indipendente dal paziente).

• Valutazione a 4 Classi: Il modello finale Lung-SRAD ha raggiunto un punteggio ICBHI del 64,48%, superando il baseline AST (62,37% con Patch-Mix CL) di circa 2,1 punti percentuali e il baseline di semplice fine-tuning di AST di 5 punti percentuali. Questo miglioramento è stato guidato da un aumento significativo della Specificità (Sp) dal 74,68% al 79,53%, mantenendo una Sensibilità (Se) comparabile.
• Valutazione a 2 Classi: In un contesto di classificazione binaria (Normale vs. Anormale), il modello ha ottenuto un punteggio del 72,57%, superando il precedente stato dell'arte riportato nel documento (72,08%).
• Studi di Ablazione: I risultati hanno confermato che la regolarizzazione consapevole dello spettro ha migliorato la specificità e che la strategia Dual-Axis Patch-Mix ha fornito una regolarizzazione superiore rispetto al mixing a singolo asse o al mixing in stile AST.

Significatività e Rivendicazioni
Il documento afferma che Lung-SRAD dimostra la fattibilità dei Modelli di Spazio di Stato come alternativa efficiente ed efficace ai Transformer per la RSC. Sfruttando la capacità intrinseca degli SSM di preservare i pattern spettro-temporali localizzati e introducendo una regolarizzazione e un apprendimento contrastivo specifici per l'architettura, il metodo raggiunge un equilibrio favorevole tra sensibilità e specificità. Gli autori sottolineano che il loro approccio affronta i limiti spettrali specifici dei modelli basati su attenzione nel contesto della rilevazione di eventi respiratori sparsi e anormali, offrendo un percorso computazionalmente efficiente per l'analisi dell'audio clinico.