Lung-SRAD: Spectral-Aware Regularized Audio DASS with Dual-Axis Patch-Mix Contrastive Learning for Respiratory Sound Classification

Technische Samenvatting: Lung-SRAD

Probleemstelling
Classificatie van ademhalingsgeluiden (Respiratory Sound Classification, RSC) is cruciaal voor de diagnose van aandoeningen zoals pneumonie, COPD en astma, waarbij abnormale geluiden zoals kreten (crackles) en piepen (wheezes) zich manifesteren als kortstondige, gelokaliseerde spectro-temporele structuren. Hoewel recente hoogpresterende RSC-methoden vertrouwen op Transformer-gebaseerde architecturen zoals de Audio Spectrogram Transformer (AST), identificeren de auteurs twee primaire beperkingen:

1. Spectrale Bias: Theoretische analyse suggereert dat softmax-gebaseerde zelf-attentie in Transformers fungeert als een laagdoorlaatfilter in het feature-domein. Dit onderdrukt progressief hoogfrequente inter-token variaties, wat potentieel de gevoeligheid vermindert voor de gelokaliseerde, snelle ruimtelijke variaties die kenmerkend zijn voor abnormale ademhalingsgebeurtenissen.
2. Computationele Complexiteit: De kwadratische tijd- en geheugencomplexiteit van zelf-attentie maakt Transformers computationeel duur voor lange audiofragmenten.

Methodologie: Lung-SRAD
Het paper stelt Lung-SRAD (Spectral-Aware Regularized Audio DASS) voor, een framework gebouwd op State Space Models (SSM's) om deze beperkingen aan te pakken. De methodologie bestaat uit drie kerncomponenten:

1. SSM Backbone (DASS):
   De auteurs maken gebruik van het Distilled Audio State Space model (DASS), geïnitialiseerd met gewichten die gedestilleerd zijn van een ensemble van Transformer-teachers (AST en HTS-AT) op de AudioSet. In tegenstelling tot Transformers gebruikt DASS een hiërarchische architectuur met 2D Selective State Space Scanning (SS2D). Dit stelt het model in staat om features te aggregeren uit de volledige tijd-frequentiekaart via ruimtelijke pooling in plaats van te vertrouwen op een enkele CLS-token, waardoor de lineaire complexiteit behouden blijft terwijl gedistribueerde representaties worden gewaarborgd.

2. Spectral-Aware Layer Regularization:
   Door middel van een analyse van spectrale responscurves observeerden de auteurs dat hoewel DASS mid- tot hoogfrequente ruimtelijke componenten beter behoudt dan AST, bepaalde tussenliggende lagen (specifiek in Stage 2) excessieve hoogfrequente responsen vertonen die kunnen leiden tot overfitting op fijnmazige lokale patronen. Om dit te mitigeren, passen zij selectief Gaussische convolutie toe op deze lagen. Deze regularisatie dempt dominante spectrale pieken terwijl de algemene harmonische structuur behouden blijft, met als doel de specificiteit te verbeteren zonder de sensitiviteit op te offeren.

3. Dual-Axis Patch-Mix Contrastive Learning:
   Standaard Patch-Mix contrastief leren, ontworpen voor AST, behandelt spectrogram-patches als een ongeordende verzameling. Echter, SSM's zoals VMamba verwerken inputs als gestructureerde 2D-roosters met directionele state-transities. Naïve patch-mixing verstoort deze sequentiële state-evoluties. Om aan te sluiten bij de SSM-architectuur, stellen de auteurs Dual-Axis Patch-Mix voor:

   • Temporal Patch-Mix: Vervangt opeenvolgende temporele segmenten terwijl de frequentie-gewijze state-continuïteit behouden blijft.
   • Frequency Patch-Mix: Vervangt opeenvolgende frequentiebanden terwijl de temporele continuïteit behouden blijft.
   • Asymmetrische Gradiënt Strategie: Het model gebruikt een stop-gradient operatie op de gemixte samples om invariantie te stimuleren tegen deze as-gealigneerde perturbaties zonder de gestructureerde state-space dynamiek van de backbone te laten instorten.

Belangrijkste Bijdragen

• Eerste toepassing van DASS voor RSC: Het paper presenteert het eerste gebruik van een gedestilleerd State Space Model voor de classificatie van ademhalingsgeluiden, waarbij een baseline score van 61,06% op de ICBHI-dataset wordt behaald via eenvoudige fine-tuning.
• Spectrale Analyse en Regularisatie: De auteurs bieden een empirische analyse van tussenliggende representaties in SSM's versus Transformers, waarbij aangetoont wordt dat DASS superieur is in het behoud van mid- tot hoogfrequente ruimtelijke componenten. Zij introduceren een gerichte Gaussische regularisatiestrategie om deze hoogfrequente responsen te balanceren.
• Architectuur-gealigneerd Contrastief Leren: Zij stellen een Dual-Axis Patch-Mix supervised contrastief leerstrategie voor die specifelijk is afgestemd op de meerzijdige scan-eigenschappen van SSM's, waardoor de structurele verstoring door standaard patch-mixing technieken wordt vermeden.

Experimentele Resultaten
Experimenten werden uitgevoerd op de ICBHI-benchmark met de officiële 60% training en 40% test split (patiënt-onafhankelijk).

• 4-Class Evaluatie: Het uiteindelijke Lung-SRAD model behaalde een ICBHI Score van 64,48%, waarmee het de AST baseline (62,37% met Patch-Mix CL) met ongeveer 2,1 procentpunt overtreft en de standaard AST fine-tuning baseline met 5 procentpunt. Deze verbetering werd gedreven door een significante toename in Specificiteit (Sp) van 74,68% naar 79,53%, terwijl een vergelijkbare Sensitiviteit (Se) werd behouden.
• 2-Class Evaluatie: In een binaire classificatiesetting (Normaal vs. Abnormaal) behaalde het model een score van 72,57%, waarmee het de eerder gerapporteerde state-of-the-art in het paper (72,08%) overtrof.
• Ablatie Studies: De resultaten bevestigden dat spectrale-bewuste regularisatie de specificiteit verbeterde, en dat de Dual-Axis Patch-Mix strategie superieure regularisatie bood vergeleken met single-axis mixing of AST-stijl mixing.

Significantie en Claims
Het paper claimt dat Lung-SRAD aantoont dat State Space Models een efficiënt en effectief alternatief zijn voor Transformers voor RSC. Door gebruik te maken van het inherente vermogen van SSM's om gelokaliseerde spectro-temporele patronen te behouden en door architectuur-specifieke regularisatie en contrastief leren te introduceren, bereikt de methode een gunstige balans tussen sensitiviteit en specificiteit. De auteurs benadrukken dat hun aanpak de specifieke spectrale beperkingen van attention-gebaseerde modellen aanpakt in de context van het detecteren van ijle, abnormale ademhalingsgebeurtenissen, en daarmee een computationeel efficiënt pad biedt voor klinische audio-analyse.