Quality Adaptive Angular Margin Learning for Respiratory Sound Classification

Technische Samenvatting: Quality Adaptive Angular Margin Learning voor Respiratoire Geluidclassificatie

Probleemstelling
Respiratoire geluidclassificatie (Respiratory Sound Classification, RSC) staat voor twee primaire uitdagingen die de generalisatie van modellen naar klinische data in de echte wereld belemmeren:

1. Variabele Opnamekwaliteit: Publieke datasets zoals ICBHI bevatten opnames met variërende audiokwaliteit. Opnames van lage kwaliteit introduceren vaak ruis die pathologieën nabootst, wat leidt ertoe dat modellen spuriose correlaties leren in plaats van werkelijke ziektekundige kenmerken.
2. Ernstige Klassenkloof en Fijnmazige Overlapping: RSC-datasets lijden aan een significante onbalans tussen normale en abnormale klassen. Bovendien komen abnormale categorieën (bijv. crackles en wheezes) vaak simultaan voor, wat fijnmazige classificatieproblemen creëert waarbij de akoestische grenzen subtiel en overlappend zijn.

Bestaande methoden, inclusocief data-augmentatie en metadata-integratie, hebben er moeite mee gehad om deze problemen volledig te mitigeren, wat resulteert in modellen die geen robuuste beslissingsgrenzen bezitten en slecht presteren op out-of-distribution (OOD) data.

Methodologie: QLung
De auteurs stellen QLung voor, een framework ontworpen om intra-klasse compactheid en inter-klasse scheidbaarheid af te dwingen via een Quality-Adaptive Angular Margin Learning schema. De methodologie bestaat uit vier kerncomponenten:

1. Angular Classifier (Angulaire Classificator):
   Om te waarborgen dat beslissingsgrenzen puur rusten op angulaire gelijkenis in plaats van feature-magnitude (die sterk wordt beïnvloed door de luidheid en kwaliteit van de opname), maakt het framework gebruik van een angulaire classificator. Deze module normaliseert zowel de feature-vectoren als de klasse-gewicht-vectoren naar de eenheids-hypersfeer. Beslissingen worden genomen op basis van de cosinus-gelijkenis tussen de genormaliseerde feature en het klasse-gewicht, geschaald door een vaste logit-schaal ($s_a$).

2. Audio Quality Margin ($m_q$):
   Het framework introduceert een no-reference Audio Quality Score (AQS) afgeleid van spectrale entropie en root-mean-square (RMS) energie.

   • Hoge entropie duidt op signalen die op ruis lijken; lage RMS duidt op zwakke opnames.
   • De AQS wordt berekend als een geclippte lineaire combinatie van genormaliseerde entropie en RMS.
   • Deze score wordt gebruikt om de angulaire marge dynamisch te schalen: inputs van hoge kwaliteit ontvangen grotere marges om sterke scheiding te stimuleren, terwijl inputs van lage kwaliteit kleinere marges ontvangen om overfitting op ruis te voorkomen.

3. Log-Scaled Class Imbalance Margin ($m_c$):
   Om de ernstige klassenonbalans aan te pakken zonder trainingsinstabiliteit te veroorzaken (wat kan gebeuren bij standaard inverse-frequentie schaling), stellen de auteurs een log-geschaalde marge voor.

   • De marge wordt gedefinieerd als de logaritme van de inverse klassenfrequentie.
   • Deze logaritmische mapping zorgt voor een vloeiende margegroei, waarbij de minderheidsklassen worden benadrukt zonder de meerderheidsklassen excessief te straffen, waardoor de trade-off tussen head- en tail-klassen wordt gestabiliseerd.

4. Dual Factor Angular Margin (DFAM) en Unified Loss:
   De uiteindelijke marge ($m_d$) is een gewogen gemiddelde van de kwaliteit-marge en de onbalans-marge ($m_d = \gamma m_q + (1-\gamma)m_c$).

   • Deze samengestelde marge wordt toegepast als een additieve straf op de doel-hoek in de softmax loss functie.
   • De totale trainingsdoelstelling combineert de standaard Cross-Entropy (CE) loss met de DFAM-regularisatieterm, gewogen door een hyperparameter $\lambda$.

Belangrijkste Bijdragen

• Eerste Toepassing van Angulaire Marges op RSC: Het artikel claimt de eerste te zijn die angulaire marge-gebaseerde frameworks toepast op respiratoire geluidclassificatie, specifiek gericht op de dubbele problemen van overlappende akoestische gebeurtenissen en klassenonbalans.
• Unified Dual-Factor Formulering: De introductie van een marge die adaptief schaalt op basis van zowel opnamekwaliteit (via AQS) als klassenfrequentie (via log-schaling).
• Angular Classifier Ontwerp: De implementatie van een classificator die beslissingen beperkt tot de eenheids-hypersfeer, waardoor marge-straffen consistent worden toegepast ongeacht de signaalamplitude.
• Prestatieverbeteringen: Het framework bereikt state-of-the-art resultaten op standaard benchmarks zonder te vertrouwen op complexe data-augmentatie strategieën zoals Patch-Mix of extra LoRA training.

Experimentele Resultaten
De auteurs hebben QLung geëvalueerd op de ICBHI 2017 dataset (in-distribution) en de SPRSound dataset (out-of-distribution).

• In-Distribution (ICBHI):
  • Toepassing van QLung op een AST backbone verbeterde de officiële Score (arithmetisch gemiddelde van Specificiteit en Sensitiviteit) van 59,55% (baseline AST fine-tuning) naar 62,01%, een absolute verbetering van 2,46%.
  • Wanneer toegepast op de Audio-CLAP backbone, verbeterde de Score van 62,56% naar 63,39%, waarmee het de vorige state-of-the-art (BTS, 63,54% wordt vermeld als de vorige beste in de tabel, hoewel de tekst de concurrentiekracht en verbetering van QLung ten opzichte van baselines benadrukt) even evenredig is.
• Out-of-Distribution (SPRSound):
  • QLung demonstreerde superieure generalisatie vergeleken met eerdere state-of-the-art methoden.
  • Op de SPRSound dataset behaalde QLung (op Audio-CLAP) een Score van 59,80%, wat aanzienlijk beter is dan eerdere methoden die leden onder prestatiedegradatie (bijv. BTS scoorde 53,42%, Audio-CLAP scoorde 56,29%).
• Ablatie-studies:
  • Incrementele toevoeging van componenten (Fixed angular margin, Audio quality margin, Class imbalance margin, Angular classifier) bevestigde dat elke component bijdraagt aan de uiteindelijke prestatiewinst.
  • Kwalitatieve analyse (t-SNE en verwarringsmatrices) toonde aan dat QLung compactere en beter gescheiden clusters produceert, met name voor de "both" (gelijktijdige crackle en wheeze) klasse, en het aantal valse alarmen voor normale gevallen vermindert.

Betekenis
Het artikel stelt dat QLung een robuuste oplossing biedt voor klinische scenario's in de echte wereld waar data ruisig, heterogeen en ongebalanceerd is. Door marges adaptief te schalen op basis van opnamekwaliteit en klassenfrequentie, verbetert het framework het vermogen van het model om duidelijke beslissingsgrenzen te vormen. De significante verbetering in out-of-distribution prestaties op de SPRSound dataset suggereert dat QLung effectief de risico's van overfitting op kwalitatief lage data mitigeert en de generalisatie naar ongeziene klinische omgevingen verbetert.